近年來,AI 技術在圖像識別、語音識別、自然語言翻譯等領域得到廣泛應用。因此,在關鍵的 AI 應用場景上,其安全問題也逐步成為企業所擔憂和關注的話題。
如果說模型誤判是對 AI 系統攻擊,那么信息泄露就是對 AI 系統的竊取。這種攻擊可導致模型功能被第三方還原,造成用戶隱私的泄漏、公司信息資產被竊取等巨大危害。
一個良好的模型,往往需要大量的算力訓練與高質量的數據支持。很多場景下,企業將訓練好的模型部署在云端,開放 API 接口供用戶使用。用戶可以根據大量的輸入查詢,得到大量模型輸出,從而對此系統建模,逆向還原其功能,進而降低商用模型的競爭力并削減其收益。
在醫療或金融領域,用戶的數據是極為重要的資源,如果泄露,會造成嚴重的隱私危機和商業價值流失。由于機器學習是數據驅動的,研究者通常采用分布式方法打破數據孤島,聯合企業間數據,并保證數據安全。
但是在這種場景下,訓練者依然有可能竊取數據端的內容。此外,如果項目成果以模型的方式交付,攻擊者也有可能基于所得模型逆向恢復出訓練數據,引發隱私危機。在考慮模型性能的同時,技術人員與用戶也要對 AI 系統自身的安全有所考慮,確保 AI 模型在業務場景下的安全性,從而避免被攻擊者輕易控制、影響、或欺騙,也避免造成結果誤判或隱私數據泄漏等嚴重后果。
9 月 25 日,騰訊發布業內首個 AI 安全攻擊矩陣。這是一份具有高實用性的 AI 安全技術指導框架,首次全面梳理了學術及工業界最前沿的 AI 安全研究,并從攻擊者視角系統列舉了 AI 技術研發部署各個環節中的攻擊過程與技術實現手段,可幫助 AI 從業者快速了解全生命周期下 AI 系統的風險點與對應緩解方法,為 AI 系統的安全部署和應用落地提供重要的技術參考。
圖|AI 安全的威脅風險矩陣(來源:騰訊)
據了解,該矩陣由騰訊兩大實驗室騰訊 AI lab 和朱雀實驗室聯合編纂,并借鑒了網絡攻防領域中成熟度高、實戰意義強的開源安全研究框架 ATT&CK,全面分析了攻擊者視角下的戰術、技術和流程,能幫助防御者更精準地掌握安全響應方法與防御措施。相比從單一角度研究算法的安全問題,該矩陣的實用價值和參考意義更高。
該 AI 安全的威脅風險矩陣,不僅強調真實場景,還按照較成熟、研究中、潛在威脅三種成熟度直觀地將攻擊技術分類。據騰訊 AI Lab 介紹,矩陣編撰的核心難點在于如何選取和梳理 AI 系統安全問題的分析角度。
作為一種與其他軟硬件結合運作的應用程序,AI 系統安全的分析切入角度與傳統互聯網產品并不完全一致。經過充分調研,該團隊最終從 AI 研發部署生命周期的角度切入,總結歸納出 AI 系統在不同階段所面臨的安全風險,從全局視角來審視 AI 的自身安全。
在上述思想的指導下,該矩陣能夠像字典一樣便捷使用。研究人員和開發人員根據 AI 部署運營的基本情況,可對照風險矩陣,來排查潛在安全問題,并根據推薦的防御建議,降低已知的安全風險。
圖|攻擊者的入侵手段示意圖(來源:騰訊)
據悉,騰訊朱雀實驗室則專注于實戰攻擊技術研究和 AI 安全技術研究,以攻促防、守護騰訊業務及用戶安全。此前,朱雀實驗室就曾模擬實戰中的黑客攻擊路徑,直接控制 AI 模型的神經元,為模型“植入后門”,在幾乎無感的情況下,實現完整的攻擊驗證,這也是業內首個利用AI模型文件直接產生后門效果的攻擊研究。
-End-
原文標題:騰訊發布業內首個AI安全攻擊矩陣,可像查字典一樣排查風險
文章出處:【微信公眾號:DeepTech深科技】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
AI
+關注
關注
87文章
31360瀏覽量
269762 -
騰訊
+關注
關注
7文章
1664瀏覽量
49526
原文標題:騰訊發布業內首個AI安全攻擊矩陣,可像查字典一樣排查風險
文章出處:【微信號:deeptechchina,微信公眾號:deeptechchina】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論