**

作者：王娟**

作者簡介：碩士，畢業于華中科技大學電信學院。現就職于公安部第三研究所，從事網絡安全研究工作。共發表五篇推標國際專利，兩篇國內專利，三篇論文，兩篇軟著。

** 摘要 **

本文提出一種基于鴻鵠數據平臺（炎凰數據推出的免費社區版一站式異構數據分析平臺，以下簡稱鴻鵠）的網絡安全態勢感知系統，系統借助鴻鵠讀時建模、時序處理、數據搜索等高效靈活的超大數據存儲和分析處理能力，支持海量大數據存儲、分類、統計到數據分析、關聯、預測、判斷的網絡安全態勢感知能力需求。以安全大數據為基礎，從全局角度提升對安全威脅的發現識別、理解分析、響應處置能力，最終實現網絡安全態勢感知能力的落地。

**關鍵詞：**網絡安全態勢感知 鴻鵠 讀時建模 關聯分析

1. 引言

Anderson 在1980年發表的論文中首次提出基于日志進行安全審計的思想，此后，經過不斷的發展已經形成了相對完善的理論，各大安全廠商也研發了可用的安全系統。但隨著高速網絡的快速普及和大數據技術的普遍應用，各類流量監測系統、IDS、防火墻、終端監控系統等網絡監控和防護設備，在運行過程中產生了大量有用的數據，如包數據、會話數據、日志、告警等，應用平臺日志數量也呈現爆炸性的增長趨勢，這些數據一定程度上反應了網絡安全狀態。但由于不同的系統設備間缺乏協作，產生的數據格式以及詳略程度也存在差別，因此無法對數據進行有效的融合分析，難以實現從整體和全局角度識別、分析入侵者的攻擊行為，難以對網絡整體安全態勢全面、準確、細粒度的展現。基于此，網絡安全態勢感知技術應運而生，成為下一代安全技術的焦點。

網絡安全態勢感知是對網絡安全性定量分析的一種手段，是對網絡安全性的精細度量，利用網絡安全態勢感知技術可以全面呈現當前網絡的整體安全狀態，預測其發展趨勢并做出有效響應，是實現主動防御的基礎和前提。網絡安全態勢感知系統依賴于防火墻、入侵檢測系統、反病毒系統、日志文件系統、惡意軟件檢測程序等網絡安全基礎設施，收集態勢數據，利用數據處理模型對數據進行融合，形成安全特征信息，并對特征信息關聯分析。

從國內外研究現狀分析，當前基于網絡流量、云平臺關鍵設施和應用系統日志的網絡安全態勢感知技術仍然存在很多問題。一是數據來源和處理思路單一，現有的網絡安全威脅防控產品都是針對單一的數據源，集中在網絡和應用入口檢測數據源，雖然針對性強、容易實現、單一防控效果好，但是缺少從整體上對多源數據進行分析，對安全性事件的綜合處置和關聯分析仍存在一定難度。二是時效性問題，各類流量采集設備報送的內容和結構存在差異，各類監測系統和應用報送的日志結構和粒度也不相同，需要預定義數據模型和數據清洗再進行存儲分析，如果后續需要增加一個原始數據字段來輔助分析，則需要調整數據模型并對原始數據再存儲，造成存儲冗余浪費的同時，降低了系統時效性；此外，針對問題數據，無法快速從原始數據中定位、解決問題，時間成本高。三是建設成本高，一套完整的網絡安全態勢感知系統通常需要在各個流量、業務入口位置部署安全設備，綜合建設成本高。

針對上述問題，本文基于新一代異構大數據即時分析平臺—— 鴻鵠，研究網絡安全態勢感知技術，構建面向網絡信息系統的網絡安全態勢感知系統，實現異構異處安全數據高效關聯分析、安全威脅實時識別定位以及異常行為審計與分析。

**2. **網絡安全態勢感知體系框架

2.1 網絡安全態勢感知體系

網絡安全態勢感知本質上是獲取并理解大量網絡安全數據，判斷當前整體安全狀態并預測短期未來趨勢。其可分為三個階段：態勢提取、態勢理解和態勢預測，概念示意圖（如圖1）是一個迭代循環的的過程。基于大規模網絡環境中的安全要素和特征，采用數據分析、挖掘和智能推演等方法，準確理解和量化當前網絡空間的安全態勢，有效檢測網絡空間中的各種攻擊事件，預測未來網絡空間安全態勢的發展趨勢，并對引起態勢變化的安全要素進行溯源。

圖1 網絡安全態勢感知概念示意圖

2.1.1 態勢提取

態勢提取階段主要對網絡安全數據進行采集與融合，具體過程和方法如下：

1. 定義安全要素和安全特征

從資產維度、漏洞維度以及威脅維度三個維度對網絡安全數據數據進行靶向提取。

2. 數據采集

針對不同維度數據采取不同的數據采集方法，資產維度數據可以采用 WMI、SNMP、中央管理器、端口掃描等方式采集；漏洞維度數據通過開源的漏洞數據庫獲取漏洞數據，通過開放的漏洞數據庫獲取已發現的漏洞；威脅維度數據包括終端數據和流量數據，終端數據采用 Flume、Syslog 等方式采集，流量數據采用 Wireshark、Sniffer、Libpcap 庫等抓取數據包。

3. 數據預處理和融合

對多個信息源數據標準化處理，并進行關聯、組合、融合，為態勢評估提供決策信息。其中數據預處理包括數據清洗、數據集成、數據規約、數據變換。

**· **數據清洗：解決數據錯誤問題，包括對海量不規整數據如噪聲數據、不一致數據、遺漏數據進行用戶分布式處理、雜質過濾、數據清洗等。噪聲數據可以采用均值替代、回歸替代、聚類等方式處理；不一致數據需要通過數據集成方式處理；遺漏數據通過人工填充、相似樣本填充等方式處理。

****· ****數據集成：解決數據冗余問題，集成從實體方面、數據格式方面以及數據自身的集成方面進行。實體方面常用方法包括同義詞詞典、基于知識圖譜的實體對齊等；并將數據格式按照統一后的屬性進行合并；數據自身的集成采用平均法、投票法、權重法來處理。

****· ****數據規約：精簡數據，包括樣本規約、特征規約、維度規約。樣本規約的方法來自統計學，需盡可能保持原始數據集特征。特征規約即找出最小特征集。維度規約目的是減少分析的隨機變量或屬性個數，包括小波變換、主成分分析等方法。

****· ****數據變換：將數據變換為利于分析的表示形式，例如通過聚類將數據劃分為不同類別，提供更高層的數據屬性。常見方法包括分箱、直方圖分析、聚類、決策樹和相關分析等方法。

**· **數據融合：有效融合多源數據，利用冗余性和互補性生成網絡態勢信息。方法包括經典方法和現代方法。經典方法基于模型和概率，包括加權平均法、貝葉斯推理、D-S證據理論等，現代方法主要包括邏輯推理和機器學習的人工智能方法，如聚類分析法、粗糙集、人工神經網絡、進化算法等。

2.1.2 態勢理解

對網絡安全態勢的理解是在網絡安全檢測與分析的基礎上，通過構建網絡安全態勢指標對網絡安全態勢進行評估，從而獲取宏觀的網絡安全態勢。具體過程和方法如下：

1. 網絡安全檢測與分析

建立網絡安全態勢感知的認知模型，利用認知模型對網絡事件進行深度檢測，對網絡攻擊進行全面實時準確的發現、評估以及評測。MDATA 模型（多維數據關聯與威脅分析模型）是一種有效的認知模型，解決了數據分布廣、網絡安全知識因具有時空特性難以表示的問題，主要包括關聯表示、關聯構造、關聯計算三部分。利用 MDATA 模型生成的各類知識庫十分龐大，可以利用霧云計算架構實現面向網絡安全態勢感知認知模型的管理和協同計算。

2. 構建網絡安全態勢指標

建立網絡安全態勢感知指標體系，定義網絡安全態勢感知本體模型，通過顯式的、形式化的、可機讀的語義模型，高效計算理解多源異構的安全數據，對已知網絡安全事件進行有效關聯，并推理導出新的攻擊事件。

3. 網絡安全態勢評估

數據融合是網絡安全態勢感知的基礎，也是網絡安全態勢評估的核心。在融合各類安全數據的基礎上，借助數學模型，經過形式化推理計算得到當前網絡安全態勢的評估值，分為定性和定量評估。量化評估方法包括基于數學模型的量化評估方法、基于知識推理的量化評估方法以及基于機器學習的量化評估方法。基于數學模型的量化評估方法綜合考慮引起網絡態勢變化的要素，基于數學模型構建評估函數，實現態勢要素到網絡安全量化評估值之間的映射，最常用的是權重分析法和集對分析法。基于知識推理的量化評估方法通過整理專家知識建立數據庫和概率評估模型，借助概率論、模糊理論等描述和處理安全屬性的不確定性信息，通過推理控制策略分析網絡安全態勢。基于機器學習的量化評估方法通過模式識別、關聯分析、深度學習等建立網絡安全態勢模板，經過模板匹配及映射，對態勢性質、程度進行分類分級。

4. 網絡安全態勢可視化

網絡安全態勢可視化包括網絡安全數據流的可視化、網絡安全態勢評估的可視化、網絡攻擊行為分析的可視化。可以基于電子地圖展示網絡安全態勢評估指數。當前的可視化工具仍面臨著實時展示的挑戰，不能適應復雜攻擊的各種復雜情況，不能對復雜數據關聯分析。

2.1.3 態勢預測

態勢預測在獲取、變換及處理歷史和當前態勢數據的基礎上，建立數學模型探索數據之間的發展變化規律，并對未來發展趨勢進行推理。傳統的網絡安全事件時間預測技術包括灰色理論預測、時間序列預測、回歸分析預測、基于小波分解表示的預測。基于知識推理的網絡安全事件預測技術包括基于攻擊圖的預測、基于攻擊者能力與意圖的預測以及基于攻擊行為、模式學習的預測。由于網絡攻擊的隨機性和不確定性，目前有很多學者研究基于人工智能態勢預測方法，利用神經網絡、深度學習等算法動態學習和創建攻擊策略與行為模型，實現對網絡安全事件的準確推測。

2.1.4 網絡攻擊溯源

網絡攻擊溯源還原攻擊路徑，確定攻擊者未知或身份，找出攻擊原因。傳統的攻擊溯源技術包括基于日志存儲查詢的溯源技術、基于路由器技術調試的溯源、基于修改網絡傳輸數據的溯源技術等。針對痕跡維度、位置維度、策略維度的數據來源分散，大多是半結構化甚至是非結構化數據，所以研究和優化網絡安全知識庫，存儲非結構化和半結構化原始數據，即時快速定位原始數據尤為重要。

2.2 網絡安全態勢感知系統框架

本文基于網絡流量、大數據基礎設施平臺和應用系統日志，利用安全風險識別與感知、安全事件回溯分析和重點威脅監測與預警技術構建一個網絡安全態勢感知系統，并以此為例，對網絡安全態勢感知系統的常見架構進行介紹。系統架構（如圖2），分為數據接入處理層、數據分析層以及態勢感知應用層。系統接入數據主要包括流量探針數據、平臺和各類應用報送的日志。

圖2 網絡安全態勢感知系統架構

數據接入處理層定義數據標準體系，數據標準體系主要包各個平臺各類報送數據的結構定義、數據邏輯規則定義、數據內容合規性定義、日志報送交互接口的方式和結構定義以及應用操作日志中操作條件報送的語義規則和結構定義。對采集的數據進行解析、清洗、分類、比對、標記等標準化處理，并進行分類存儲，將威脅數據錄入到威脅情報數據庫，對應用報送的規范化日志進行實時解析并錄入日志數據庫，提供數據檢索、分析挖掘等服務。數據接入處理層采用分布式數據實時處理框架，提供海量數據處理能力支撐。

分析挖掘層對基于探針數據對攻擊源、攻擊對象、攻擊設施進行分析，對受攻擊設施風險進行評估、對攻擊特征進行分析統計、對重點攻擊行為進行檢測，基于應用系統的日志對操作用戶行為進行審計分析，對異常用戶、異常行為進行監控預警。

業務應用層基于網絡安全數據綜合分析當前攻擊源、攻擊手段、受攻擊設施等風險情況，通過態勢感知呈現當前平臺的整體安全概況，通過威脅分析、惡意事件回溯等手段對特定安全事件進行專家分析，對特定攻擊源、攻擊手段、被攻擊設施進行安全監控和預警。提供綜合態勢分析感知、威脅分析、安全監測、追蹤溯源、日志分類統計、日志審計分析、異常監控等服務。

**3. **基于鴻鵠的網絡安全態勢感知系統

現有的網絡安全態勢感知系統，數據處理技術上一般使用 Flume + Kafka + Spark Streaming 的流式大數據處理技術框架支撐流量數據的實時處理。然而業務系統繁多，不同層級的系統平臺管理比較分散，出現問題基本通過單點問題排查，很難從全局視角來進行問題發現和根因分析。日志散落在各系統設備上，數據孤立，不能統一管理掌握全局狀態，且在故障發生后，需要對原始日志數據重新定義抽取字段分析，花費大量時間。對系統運行狀態和服務能力缺少監控，沒有很好的手段對系統異常進行預判和告警。此外，網絡安全態勢感知系統有統計報表的需求，但因為分散的數據無法提供集中式的管理和洞察，也無法追蹤記錄用戶的操作行為，暫未滿足審計要求。

現在網絡安全態勢感知系統還存在采集數據過載的問題，為全面分析網絡安全態勢，如果采集所有的網絡數據，將導致分析效率低下；分析師也無法查看所有的數據來分析網絡空間可能面臨的攻擊。為解決采集數據過載的問題，針對不同類型的威脅行為往往會設計相關的規則和特征，靶向采集各類已知的威脅行為，對于未知攻擊只能通過異常數據溯源分析，復現攻擊行為，由于異常數據都是經過數據預處理，攜帶較少原始信息，而對于溯源來說，數據記錄越詳細，越能挖掘更多攻擊信息。為解決上述問題，本文將基于鴻鵠，一種即時大數據分析處理平臺，構建網絡安全態勢感知系統。

3.1 鴻鵠

鴻鵠是一種即時大數據分析處理平臺，采用分布式存儲和計算架構，通過采集企業內部機器數據和運營數據，利用關聯分析、行為識別、數據建模、機器學習等技術，對數據進行集中管控，提供全量數據極速檢索和大數據數據即時分析能力，實現數據集中存儲、即時查詢，關聯分析、安全告警、可視化展現等功能，可應用于安全分析、合規審計、智能運維、業務分析、物聯網等方面，擁有強大的數據可視化能力。平臺架構（如圖3）。

圖3 鴻鵠系統架構全景圖

鴻鵠支持結構化、半結構化、混合結構各類時序型、文本類數據，能夠高效存儲非結構化和半結構化原始數據，通過列式存儲實現了數據存儲的高壓縮比，節省存儲成本；并直接對原始數據查詢分析，簡單快速發掘數據價值。在數據采集時負責將不同的數據源的異構數據接入平臺，數據索引模塊對數據的時間戳自動識別與分析，根據時間戳對數據進行分片，對原始數據分詞，構建倒排索引，最熱的數據暫存到閃存中，滿足一定條件后，索引和原始數據都會被壓縮之后順序寫入磁盤。平臺支持高速數據注入，單節點可以達到 20MB/s 的寫入速度。

在數據分析時，從零構建 SQL 解析和查詢的引擎，當 SQL 解析到達平臺時，鎖定數據查詢范圍，并加載到內存，利用查詢中用到的讀時建模規則構建數據模型，再通過聚類關系分析，即時編譯和向量計算加速等技術進行數據分析，單節點可以達到每秒鐘處理 100 萬條數據的速度。平臺支持 Ad Hoc 查詢、即時查詢、交互式查詢、關聯分析以及自助式分析，提供了強大的數據分析能力。

鴻鵠采用混合建模方式，同時融合了寫時建模的效率和讀時建模的靈活。“寫時建模”即需要預先設定數據模型的傳統 ETL 方式；“讀時建模”通過數據 ELT 方式，在搜索數據的同時提取有用字段，更加靈活敏捷，節省數據導入的開銷。平臺數據分析流（如圖4）。

圖4 鴻鵠數據分析流圖

鴻鵠采用的數據處理模式，可直接對原始數據查詢分析，簡單快速發掘數據價值，是異構多源大數據即時分析平臺。平臺采用云原生、微服務架構，擁有強大的應用擴展能力，基于平臺存算分離、單獨擴展以及靈活的架構，平臺可廣泛應用于安全分析、合規審計、智能運維、業務分析、物聯網等方面。

3.2 基于鴻鵠的網絡安全態勢感知系統

本節將基于鴻鵠，設計一種集安全數據采集、處理、分析和安全風險發現、監測、報警、預判于一體的網絡安全態勢感知系統。該系統整合安全區域內用戶終端、網絡鏈路、應用系統、數據流量等各類感知數據源，基于鴻鵠高效強大的數據處理存儲與分析能力，平臺利用機器智能分析技術，結合數據處理、安全規則模型、攻擊推理模型等分析算法，將看似毫無聯系、混亂無序的安全日志、報警數據轉化成直觀的可視化安全事件信息，從海量數據中挖掘威脅情報，從而實現風險發現、安全預警和態勢感知，提升安全監測的攻擊發現和安全態勢感知的能力。系統架構（如圖5），實現了多源安全數據的匯聚與存儲、面向威脅情報的大數據分析、態勢感知應用。

圖5 基于鴻鵠的網絡安全態勢感知系統

基于鴻鵠強大的多源異構數據處理能力，系統支持多種類型數據格式，使網絡安全態勢感知獲取更多類型的數據。鴻鵠的海量存儲和快速處理能力為高速網絡流量的深度安全分析提供了技術支持，為高智能模型算法提供計算資源。在對異常識別的過程中，可以采用更小的匹配粒度和更長的匹配時間對未知行為進行離群度分析。

系統在海量安全信息基礎上，聚焦于綜合利用安全數據進行集中分析處理，通過整理分類、精簡過濾、對比統計、重點識別、趨勢歸納、關聯分析、挖掘預測等數據融合處理手段認知安全態勢，感知威脅和風險，可根據用戶業務特點和安全需求進行態勢感知可視化呈現。依托于鴻鵠架構，從數據的接收、解析、存儲到分析展現應用了大量的大數據處理分析技術，可應對不同用戶環境對海量安全信息數據的高速處理場景。

基于鴻鵠的態勢感知系統可直接對原始日志數據高效靈活分析，提高故障定位效率，降低故障影響，并在理清鏈路拓撲關系的基礎上，固化節點指標，實現實時監測預警。系統提供了一站式數據分析能力，可以從日志挖掘出系統運行狀態并形成運維日報；保存審計日志并能對用戶行為進行分析的分類，做到系統的安全類行為有跡可循，方便追溯。

3.3 演示示例

基于鴻鵠的態勢感知系統主要包括態勢感知、安全監測、威脅情報、追蹤溯源、日志總覽、應用平臺日志、異常統計分析等功能模塊。系統采用鴻鵠進行數據接入、處理、存儲，支持數據處理能力水平橫向擴展。以少量樣本數據為例，通過頁面文件導入的方式，將現有態勢感知系統對接的數據源如 WAF、抗 DDOS、防火墻、堡壘機等設備的日志數據快速導入到鴻鵠中（如圖6）。

圖6 數據導入

鴻鵠提供了多種內置的數據格式處理，支持開箱即用，可以根據選定的數據格式，對導入的數據的處理效果進行預覽（如圖7）。

圖7 原始數據

數據導入后，基于鴻鵠特有的讀時建模功能，可按照態勢感知的分析要求，在查詢時對數據進行規整、富化、過濾和脫敏等操作，從而快速完成數據建模和即時分析。如對攻擊者 IP，攻擊類型進行快速統計，數據分析界面（如圖8）。最后通過 API 的方式，將讀時建模分析后的樣例數據輸出到態勢感知系統進行態勢展示。

圖8 數據分析

其中，態勢感知模塊呈現整體網絡安全態勢，展示內容包括網絡威脅統計情況，攻擊目標統計情況，攻擊源情況以及安全趨勢發展情況（如圖9）。

圖9 網絡安全態勢感知整體狀況

風險監測模塊以可視化方式呈現網絡信息系統的安全監測情況，主要包括概況、事件統計、漏洞監測、威脅監測、威脅事件分析、趨勢分析等（如圖10）。

圖10 網絡安全監測

日志總覽模塊對各個應用平臺日志進行統計分析，包括各平臺日志量、異常情況、審計情況等（如圖11）。

圖11 日志總覽

基于鴻鵠廣泛的應用日志報送接口，應用平臺日志支持查詢檢索各類應用平臺日志，支持對日志詳情進行分析、對日志關聯行為進行審計（如圖12）。

圖12 應用平臺日志

**4. **結論和未來研究方向

基于鴻鵠的態勢安全感知系統利用海量數據存儲、存算分離、讀時建模、數據清洗、數據分析挖掘、數據可視化分析、人工智能等關鍵領域技術，形成了安全可靠的網絡安全態勢感知體系，建立了全面分層次的大數據中心安全監測及感知能力。基于鴻鵠強大的多源異構整合能力，未來可以構建以實體和關系勾勒數據深度價值分析的數據藍圖，開展模型牽引的、標準統一的數據處理和數據治理；在數據采集方面，構建全方位獲取、全網絡匯聚、全維度整合的安全大數據采集感知體系；在數據融合方面，全面構建智能處理、精細治理、分類組織的數據資源融合體系，形成總關聯、總索引、總導航全面匯聚。