AI in WAF | 騰訊雲網站管家 WAF AI 引擎實踐（下篇）
導語：網站管家 WAF 基於 AI 技術，構建自學習、自進化及自適應機制的 Web 攻擊檢測方案，幫助企業安全團隊真正實現自動化的、無人干預的 Web 安全運維，前路依然任重而道遠。
在 AI in WAF 系列的上篇中，我們提到 AI 應用於 WAF 中存在諸多難以突破的技術問題，這包括行業面臨的 Web 攻擊樣本稀少帶來的 AI 檢測模型建立困難、AI 演算法線上 Web 攻擊檢測的處理效能等問題。因此，在 AI in WAF 實踐中要實現兩個關鍵突破：
第一 、AI 演算法應用層面的突破，解決 AI 模型應用於線上 Web 攻擊檢測的瓶頸問題；
第二 、AI 演算法模型層面上的創新，解決常規 AI 檢測模型的弊端問題，同時最大化 AI 演算法在 Web 攻擊檢測的優勢。
那麼，騰訊雲網站管家 WAF 具體採用了哪些創新實踐呢？
一、另闢蹊徑，更智慧更安全的 AI WAF
在解決演算法應用的挑戰上，騰訊雲網站管家 WAF充分發揮了騰訊資料安全人才的技術創新、豐富的安全實踐、多樣化業務資料、AI 演算法以及工程學上的積累沉澱，通過在各個環節的技術突破，成功將 AI 有效地應用到線上業務的威脅檢測中：
資料收集：應用騰訊海量高質量正常業務資料樣本及攻擊資料樣本；
資料清洗：應用先進的資料清洗方法，最小化樣本干擾噪音影響；
特徵化：應用特徵提取技巧及專家知識干預，保障特徵提取的精準度；
演算法優化：
領先 AI 演算法，確保優秀的檢出率及召回率表現；工程整合： 使用工程學技巧，將各個環節有效結合，解決 AI 檢查時間延遲問題。
在健壯的 AI 演算法能力及引擎效能保障前提下，網站管家 WAF 在 Web 攻擊檢測模型的建立上，採用了更多大膽的創新嘗試 ☟
1、自學習：異常檢測+攻擊識別兩步走
——低漏判低誤判 AI 實踐
在上篇，我們提到了行業普遍嘗試的有監督學習及無監督學習 AI 檢測演算法模型存在的“漏判”及“誤判”挑戰。基於“正常的載荷是類似的，異常有各自的異常”及“攻擊屬於異常流量”的知識經驗，騰訊雲網站管家 WAF 創新地建立起了“異常檢測+攻擊識別兩步走”的學習模型，並高效應用騰訊海量高質量的流量訓練樣本，確保 AI 引擎的學習效率及檢測效果：
第一、無監督學習之異常檢測 AI： 基於騰訊種類豐富的大量正常流量樣本，採取無監督學習的 AI 模型，根據特定維度對流量做概率統計聚類，實時識別出正常流量，進而可以篩選異常流量。
第二、有監督學習之攻擊識別 AI： 在已經篩選出來的異常流量的基礎上，藉助騰訊積累的大量 Web 攻擊樣本，採用有監督學習的 AI 模型，根據攻擊行為標籤，從異常流量中識別出攻擊。
通過演算法技巧和工程手段將異常檢測和攻擊識別進行緊密結合，建立起低漏判低誤判檢測的 AI 檢測實踐，是騰訊雲網站管家解決 AI 技術應用於 WAF 的關鍵一步。
2、自進化：強大的 AI 學習及泛化能力
——未知威脅與 0day 攻擊檢測保障
要實現對未知威脅與 0day 攻擊的檢測，WAF 一定是自我學習、自我進化的。
常規 WAF 依據經驗規則檢測攻擊，而 AI WAF 通過學習流量構建動態模型檢測攻擊，這從檢測機制上改變了 WAF 在應對未知及 0day 攻擊的被動局面。
一方面，網站管家 WAF AI 引擎通過大量學習實際的業務流量及日常檢測的攻擊資料，持續更新進化攻擊模型；
另一方面，應用先進的自研 AI 演算法，持續提高 AI 演算法的泛化能力，提升對新鮮樣本的檢出能力。
在實際應用測試中，網站管家 WAF 對新鮮樣本的檢測達到了超出行業標準的高檢出率和召回率的表現，並在全球範圍內達到了 WAF 行業領先廠商水平。
網站管家 WAF 自我進化的 Web 攻擊檢測能力，將逐步幫助企業安全運維人員化被動為主動，更加有效地應對未知及 0day 攻擊威脅。
3、自適應：AI 特徵學習及引擎訓練
——擁有符合自身業務特徵的個性化 AI WAF
我們知道，每個使用者的業務邏輯各不相同，表達方式各異，傳統 WAF 對所有使用者採用通用的威脅檢測規則，難以幫助業務各異的使用者有效防護攻擊風險；且一旦面臨基於業務適應的需求時，往往只能提供粗暴的“加黑”、“加白”的方式。
針對此問題，網站管家 WAF 創新地提供適用於單個使用者的 AI 引擎學習介面，使用者可以通過介面對 AI 引擎進行干預訓練，並生成只適用於本使用者業務的一對一的AI 威脅模型。也就是說，企業部署騰訊雲網站管家 WAF 後，可以基於自身的業務資料及安全累積對引擎進行訓練，在網站管家 WAF 整體的 AI 引擎基礎之上，發展並擁有一個符合自身業務特徵的個性化 AI WAF！
在實際落地 AI 引擎的開發中，網站管家 WAF 團隊融合了更多的創新嘗試及應用技巧，並在構建 WAF 自學習、自進化、自適應檢測機制上不斷研發，持續輸出技術實踐價值：
二、騰訊雲網站管家 WAF AI 引擎檢測效果
用 AI 技術探索 Web 攻擊檢測的新思路，那麼，將 AI 技術應用到 WAF 實際效果到底如何呢？
首先，從載荷檢測能力角度，AI 技術應用將有效解決傳統 WAF 檢測手段在面對混淆編碼流量和未知流量樣本檢測的“漏判“，以及複雜業務場景下的“誤判”問題：
規則引擎誤判！！
In case ofbeing hacking, you should purchase the Tencent WAFservice when you has not been cracked down,then you can have agood sleep or else just be a chicken.
其次，在實際的實驗資料測試對比中，騰訊雲網站管家 WAF 也表現出遠超行業水平的 WAF 威脅檢測能力：
說明：
1. 橫座標：從1000到29000是每1000次進行一次統計檢測認為正常的樣本數值；豎座標：表示每個模型積累的檢測認為是正常的統計。統計值越小，表明效果越好。
2. 惡意載荷樣本資料來自網際網路蒐集，並大量選取了OWASP TOP 10攻擊型別中，最典型也最常見的 SQLI,XSS 兩種攻擊型別資料，對各類引擎的檢測能力對比：1-7674 SQL; 7675 – 17964 XSS; 17964 – 27663 SQL; 27664 – 29016 其他攻擊；
3. 內部測試，由於測試樣本、方法等影響，測試結果僅供參考。
Web 攻擊檢測技術發展與對比總結：
三、如何應用騰訊雲網站管家 WAF AI 引擎能力
騰訊雲網站管家 WAF 提供靈活的部署模式，適應當前使用者不同的網路環境，推動行業全面落地 AI WAF 應用，幫助使用者解決當前面臨的 WAF 防護困境。
公有云 SaaS 服務
提供公有云 SaaS 服務。通過 cname 引流方式，將使用者的 Web 業務接入騰訊雲網站管家 WAF 防護服務，獲取 AI WAF 檢測能力。
AI 引擎 RPC 服務
支援 AI 引擎 RPC（Remote Procedure Call ) 服務，適用於自身網路具備硬體 WAF 或雲 WAF 私有化軟體的場景。使用者可通過 RPC 服務,呼叫騰訊雲網站管家WAF 的 AI 引擎檢測能力。
WAF 實現完全自學習、自適應、自進化的道路任重而道遠，網站管家 WAF 將在 AI WAF 技術實現上持續探索，更進一步加強 WAF 威脅檢測的敏捷性及自主性，幫助企業安全團隊真正實現自動化的、無人干預的 Web 安全運維，推動 WAF 行業技術的全面革新。
騰訊雲網站管家 WAF
實現 “AI in WAF” 的突破式技術革新
幫助使用者解決當前面臨的 WAF 防護困境