1. 程式人生 > >大量日誌資料複雜事件處理技術(Complex Event Processing 簡稱CEP)

大量日誌資料複雜事件處理技術(Complex Event Processing 簡稱CEP)

複雜事件處理概念

複合事件是由史丹佛大學的David Luckham 與Brian Fraseca 所提出,David Luckham 與Brian Fraseca 於1990年提出複合事件架構,使用模式比對、事件的相互關係、事件間的聚合關係,目的從事件雲(event cloud)中找出有意義的事件,使得IT 架構可以更能彈性使用事件驅動架構,並且能使企業更能快速的開發出更復雜的邏輯架構。

 複雜事件處理簡介    

     這裡基於本公司日誌資料分析的一個產品,藉助CEP複雜事件處理的概念進行設計。

      近年來,各大企業建立的安全防禦線(即安全裝置、監控裝置等形成的安全防護線)中產生的日誌資料大幅增加,這些安全防線都僅僅抵禦來自某個方面的安全威脅,形成了一個個“安全防禦孤島”,無法產生協同效應,因此如何處理這些資料成為一個急需解決的問題,從這裡引用複雜事件處理的概念,能夠實時地從源源不斷的海量資料中提取出感興趣及更高層次的資訊,出現了複雜事件處理系統,使用者預先在系統中定義需要檢測的複雜事件模式,具體的一種案例模式來說就是對日誌資料進行以源ip、目的ip、型別等維度進行復雜的關聯分析處理、包含去重、合併等對原始日誌資料進行篩選、統計、關聯分析出具有威脅的日誌資料。

複雜事件處理案例

1、口令猜測威脅事件分析

(1)特徵提取

通常我們常見的窮舉法(或稱暴力法)來破解使用者的密碼、或者植入特洛伊木馬程式或病毒程式盜取客戶資訊,這裡我就以窮舉法進行特徵提取:

1)一般攻擊者先得到該主機上的某個合法使用者的帳號

2)猜測密碼,迴圈窮舉驗證是否登入成功

3)一次次登入失敗

4)目的IP不等於0.0.0.0

(2)分析事件重定義

首先日誌資料的分析過程:日誌資料-歸一化原始事件-複雜關聯分析事件--威脅事件

歸一化原始事件:通過引數型別定義、正則匹配等,無論是口令窮舉、登入失敗統一重定義為口令猜測

複雜關聯分析事件:通過一定的關聯規則:條件篩選、合併去重維度、時間窗、型別定義等

威脅事件:通過威脅規則的複雜關聯分析事件進行重定義,生成可以視覺化、可追溯、可跟蹤、可處置等威脅事件

(3)平臺展示並處置流程

通過頁面展示、許可權、追溯等對威脅事件進行處置

2、複雜持續攻擊過程案例

下面這個場景攻擊方式,攻擊者首先通過漏洞掃描工具找到系統漏洞(如:埠漏洞、Web漏洞),然後通過分析系統漏洞,製作系統密碼、許可權破解的工具進行暴力破解、sql注入等,獲取密碼、許可權等,成功登陸系統或獲取許可權(SSH登陸成功),安裝病毒程式或工具進行木馬遠端控制活動,獲取機密檔案、超許可權操作等,最後傳輸機密檔案、資料等給外網,得到資料。


特徵提取:

1)  偵查:如埠漏洞掃描、Web漏洞掃描等;

2)  定向攻擊:口令窮舉、口令猜測、Sql注入攻擊等;

3)  攻陷+入侵:口令猜測成功、系統登入成功等;

4)  安裝攻擊工具:感染木馬、病毒等;

5)  惡意活動:遠端控制、資訊洩露、資料篡改、可疑檔案傳輸等;