DDos攻擊本質上是時間序列數據，t+1時刻的數據特點和t時刻強相關，因此用HMM或者CRF來做檢測是必然！——和一個句子的分詞算法CRF沒有區別！
註：傳統DDos檢測直接基於IP數據發送流量來識別，通過硬件防火墻搞定。大數據方案是針對慢速DDos攻擊來搞定。
難點：在進行攻擊的時候，攻擊數據包都是經過偽裝的，在源IP 地址上也是進行偽造的，這樣就很難對攻擊進行地址的確定，在查找方面也是很難的。這樣就導致了分布式拒絕服務攻擊在檢驗方法上是很難做到的。領域知識見：http://blog.csdn.net/eric_sunah/article/details/72782224
還有匯總的：http://cleanbugs.com/item/ddos-attack-learning-414049.html

論文：http://www.jos.org.cn/ch/reader/create_pdf.aspx?file_no=3960 可以下載，提到了TCP flood，UDP flood，ICMP flood實驗

摘自：http://wap.cnki.net/lunwen-1013353778.html
基於譜分析與統計機器學習的DDoS攻擊檢測技術研究
陳世文

　　結合國家863項目“高可信網絡業務管控系統”和“面向三網融合的統一安全管控網絡”的研究需求,按照“分布式檢測、層級化攔阻和集中態勢感知”的總體思路,本文對DDoS攻擊檢測技術展開專門研究,從宏觀攻擊流感知與微觀檢測方法兩個角度,提出了基於IP流序列譜分析的泛洪攻擊與低速率拒絕服務(Low-rate Denial of Service, LDoS)攻擊感知方法,在感知到攻擊的基礎上,將DDoS攻擊檢測轉化為機器學習的二分類問題,利用隱馬爾科夫模型、孿生支持向量機和條件隨機場三種機器學習模型,實現概率點檢測、分類超平面檢測以及融合多特征處理優勢的條件隨機場檢測方法。 針對宏觀感知問題,提出了基於快速分數階Fourier變換估計Hurst旨數的泛洪DDoS攻擊感知方法,利用DDoS攻擊對網絡流量自相似性的影響,通過監測Hurst指數變化閾值判斷是否存在DDoS攻擊,相比於小波分析等方法,該方法計算復雜度低,Hurst旨數估計精度高;對於隱蔽性較強的低速率拒絕服務LDoS攻擊,提出了基於巴特利特功率譜估計的感知方法,相比於矩形窗和三角窗方法,巴特利特功率譜估計一致性好,對低速率拒絕服務LDoS攻擊檢測率高。 針對微觀的具體攻擊特征檢測問題,提出了基於隱馬爾科夫模型、基於孿生支持向量機和基於條件隨機場等三種統計機器學習方法的攻擊檢測策略。 首先,從概率點判別角度,提出了一種基於多特征並行隱馬爾科夫模型(Multi-Feature Parallel Hidden Markov Model, MFP-HMM)的DDoS攻擊檢測方法。該方法利用HMM隱狀態序列與特征觀測序列的對應關系,將攻擊引起的多維特征異常變化轉化為離散型隨機變量,通過概率計算來刻畫當前滑動窗口序列與正常行為輪廓的偏離程度。MFP-HMM模型架構采用多維特征並行處理模式,有利於擴展新的特征模塊。特征序列通過滑動窗口後形成觀測序列送入HMM,可通過硬件實現多級流水加速,為可重構設計與分布式部署提供條件。實驗結果表明,基於MFP-HMM的方法優於標準HMM等機器學習方法,檢測準確率高,虛警率低。 其次,從分類超平面判別角度,提出了基於最小二乘孿生支持向量機(Least Square Twin Support Vector Machine, LSTSVM)的DDoS攻擊分類超平面檢測方法,該方法借助最優化方法來解決機器學習問題,利用支持向量機模型較好的非線性處理能力與泛化能力,采用IP包五元組熵、IP標識、TCP頭標誌和包速率等作為LSTSVM模型的多維檢測特征向量,以體現DDoS攻擊存在的流分布特性。基於DARPA2000數據集和TFN2K攻擊采集數據集下的實驗表明,該方法優於標準支持向量機(Support Vector Machine, SVM)等機器學習方法,對於正常突發流量與DDoS攻擊流量檢測準確率較高、虛警率較低。 最後,提出了一種融合多種判別規則的條件隨機場DDoS攻擊檢測方法。該方法不要求各個特征量必須滿足獨立同分布的假設條件,在充分利用條件隨機場綜合處理多特征優勢的基礎上,將基於特征匹配與異常檢測的方法有效地統一起來,實現高檢測率與低誤報率。DARPA2000數據集實驗表明,基於條件隨機場的方法優於傳統SVM等方法,準確率高於99.5%,虛警率FPR低於0.6%,並且抗背景噪聲能力強,魯棒性好。……
[關鍵詞]：DDoS攻擊;自相似性;分數階傅氏變換;Bartlett譜估計;隱馬爾科夫模型;孿生支持向量機;條件隨機場

摘自：http://cdmd.cnki.com.cn/Article/CDMD-90002-2007140546.htm
基於機器學習的分布式拒絕服務攻擊檢測方法研究
孫永強
【摘要】： 近年來,分布式拒絕服務(Distributed Denial of Service: DDoS)攻擊的檢測與防禦技術成為信息安全領域的研究熱點之一。DDoS攻擊具有的分布式特性,使得該類攻擊比傳統的拒絕服務攻擊(Denial of Service: DoS)擁有更多的攻擊資源,具有更強大的破壞力,而且更難以防範。目前,由於現有入侵檢測技術的局限性,DDoS攻擊已經對Internet安全運行構成了極大的威脅,使得對新一代DDoS檢測與防禦技術研究的需求更為迫切。 本文在詳細分析了DDoS的原理及其檢測防禦技術的國內外研究現狀的基礎上,針對現有檢測方法存在的問題,結合機器學習的相關理論進展,研究了基於機器學習的DDoS攻擊檢測方法,重點開展了基於隱馬爾可夫模型(Hidden Markov Model: HMM)的新的DDoS檢測模型與基於自適應學習的分布式協同檢測機制的研究。主要研究工作和創新點包括: 1、結合HMM的相關理論,提出了基於HMM與源IP地址監控的DDoS攻擊檢測方法。該方法采用網絡數據流中的源IP地址信息進行網絡流量狀態的特征表示。首先根據正常數據流進行常用源IP地址庫的學習;然後利用隱馬爾可夫模型進行網絡數據流動態IP地址序列的統計建模。通過正常流量的IP地址序列進行HMM模型學習,來對未知的網絡流量進行基於動態源IP地址序列的實時異常檢測,同時常用源IP地址庫也保持在線學習更新。 2、針對DDoS分布式檢測中存在的問題,提出了一種基於自適應學習的分布式協同檢測方法。在分布式協同檢測框架下,采用數據融合的方法進行檢測,同時結合一種基於回報的自適應學習算法,在保證檢測精度的條件下,降低系統中各檢測結點之間的通訊量,提高系統運行效率。 3、設計並實現了基於機器學習的DDoS檢測實驗原型系統,包括基於HMM的單點檢測模塊和基於自適應學習的分布式協同檢測機制。在局域網環境下,結合上述實驗原型系統對DDoS攻擊進行了模擬和檢測,驗證了本文提出方法的可行性和有效性。 本文的研究內容是國家自然科學基金“基於增強學習的自適應入侵檢測方法研究”的重要組成部分。與其它的檢測方法相比,本文提出方法具有檢測準確性高、實時性強、便於響應、易於部署等特點,具有比較好的應用前景。
【關鍵詞】：分布式拒絕服務攻擊 機器學習 隱馬爾可夫模型 入侵檢測

大數據DDos檢測——DDos攻擊本質上是時間序列數據，t+1時刻的數據特點和t時刻強相關，因此用HMM或者CRF來做檢測是必然！ 和一個句子的分詞算法CRF沒有區別！