過去五年來，安全數據收集，處理和分析已經爆炸式增長。實際上，最近通過ESG對安全分析的研究發現，28％的組織聲稱他們收集、處理和分析的安全數據明顯多于兩年前，而另外49％的組織正在收集、處理和分析更多的數據。

什么類型的數據？包括你的名字、網絡元數據、端點活動數據、威脅情報、DNS/DHCP、業務應用數據等。此外，我們不要忘記來自IaaS、PaaS和SaaS的安全數據的沖擊。

大規模安全數據增長的后果

安全數據的大量增長帶來了許多后果，包括以下方面：

1、需要更好的安全數據建模和管理。根據SAS軟件，大約80%的時間花在數據分析上，用于數據建模和管理。隨著網絡安全數據量的增長，我注意到這方面的趨勢。組織正在花費更多的時間來確定要收集什么數據、需要什么數據格式、在哪里以及如何路由數據、數據重復刪除、數據壓縮、數據加密、數據存儲等。

基于對數據管理的日益增長的需求，ESG的安全操作和分析平臺體系結構（SOAPA）由一個公共分布式數據管理層來支持，該層旨在為所有安全數據提供這些類型的數據管理服務。由于大多數組織都在逐步采用SOAPA，所以應該盡早考慮安全分析數據模型。簡單地說，考慮一下您想要完成什么，然后返回到所需的數據源。

2、尋求數據合成，豐富和語境化。所有安全數據元素都可以彼此關聯，但是說起來容易做起來難。在過去，許多組織依賴于安全人員和電子表格來關聯由不同分析工具生成的安全事件和警報。當網絡流量分析（NTA）工具檢測到可疑的流量時，分析人員獲取源IP地址，調查DHCP服務器的IP租用歷史，找出涉及到哪個設備，然后挖掘該設備發出的歷史日志文件。

考慮到這些手工任務的低效性，我們已經看到點對點分析工具集成的增加，以及對像SOAPA那樣的架構集成的更大需求。行為分析，如用戶和實體行為分析（UEBA），通過一系列嵌套機器學習（ML）算法注入多個同時發生的安全數據事件，顯示了一些數據綜合的前景。是的，行為分析是一項正在進行的工作，但我看到的最近的創新和進步讓我感到鼓舞。

3、高性能的要求。大型組織正在監視數以萬計的系統，每秒生成超過20，000個事件，并且每天收集TB級的數據。該數據量需要高效的數據管道和正確的網絡、服務器和存儲基礎設施來實時移動、處理和分析這些數據。為了滿足實時數據管道的需要，我看到了Kafka消息總線的廣泛應用。不要忘記，我們需要足夠的馬力來查詢TB到PB的歷史安全數據，以用于事件響應和回顧性調查。這種需求導致了基于開源（如ELK stack、Hadoop等）和商業產品的安全數據湖的激增。

4、AI。好消息是：所有這些數據為數據科學家提供了充分的機會，可以創建和測試數據模型，開發ML算法，并對其進行高精度調整。壞消息是，我們剛剛開始合并數據科學家和安全專業知識，以開發用于安全分析的AI。進步的首席信息安全官具有現實的態度。他們的希望是AI / ML可以通過提供更多背景證據，增加風險評分環境等來提高個人安全警報的保真度。換句話說，AI / ML充當智能防御層，而不是獨立的無所不知的安全性分析神。

5、基于云計算的安全分析。毫無疑問，許多組織正在質疑，將大量資源僅用于收集、處理和存儲TB甚至PB級的安全數據作為現代安全數據分析需求的先決條件是否明智。使用大規模的、可伸縮的基于云的資源不是更容易嗎？根據我對市場的觀察，答案是肯定的。IBM和Splunk報告稱，它們在基于云的SIEM方面增長強勁。SumoLogic聲稱擁有超過2000名客戶，而谷歌（Chronicle Backstory）和微軟（Azure Sentinel）則是基于云的安全分析領域的新亮點。期待亞馬遜也加入這個行列。隨著安全數據的不斷增長，安全分析向云的“提升和轉移”只會獲得動力。

著名科技作家杰弗里·摩爾曾說過：“沒有大數據分析，公司就會變得又瞎又聾，像高速公路上的鹿一樣在網上游蕩。”雖然摩爾在談論網絡的早期，但這句話同樣適用于安全分析。是的，組織可以極大地提高其降低風險、檢測/響應威脅以及通過強大的安全分析自動化安全操作的能力。然而，為了實現這些結果，CISO必須從一開始就對安全數據建模、管道和管理進行充分的規劃和工作。