2020年8月18日美國國家標準與技術研究院(NIST)發布聯合報告《可解釋人工智能四項原則草案》(以下簡稱“草案”),介紹了可解釋人工智能(AI)的四項原則,它們構成了可解釋AI系統的基本屬性,涵蓋了可解釋AI的多學科性質,包括計算機科學、工程學和心理學領域。可解釋性是可信AI的主要特征之一,不同的AI用戶需要不同類型的解釋,因此并不存在唯一的解釋。“草案”提出了五類解釋,總結了可解釋AI理論并對可解釋算法進行了概述。“草案”將人類自身決策判斷作為參照來評估可解釋AI四項原則,為設計可解釋AI系統提供了參考。
一、四項原則
1.解釋原則(Explanation)
解釋原則要求AI系統為所有輸出提供相應證據和理由,但不要求證據是正確的、信息豐富的或可理解的,只要表明AI系統能夠提供解釋即可。解釋原則不強加任何的質量評價指標。
2.有意義原則(Meaningful)
有意義原則要求AI系統提供單個用戶可理解的解釋。也就說,只要一個用戶可以理解AI系統所提供的解釋即符合該原則,不要求解釋為所有用戶所理解。有意義原則允許基于不同用戶群體或個人的定制化和動態解釋。不同用戶群體對AI系統的解釋需求不同,如系統開發者與系統使用者需求不同,律師和陪審團需求不同。此外,每個人知識、經驗、心理等方面存在差異導致其對AI解釋的理解不同。
3.解釋準確性原則(Explanation Accuracy)
解釋準確性原則要求相應解釋正確反映AI系統產生輸出的過程,不要求AI系統做出的判斷準確。與有意義原則類似,解釋準確性原則也允許用戶差異性。有的用戶(如專家)需要解釋產生輸出的算法細節,有的用戶可能僅需要關鍵問題的解釋。對算法細節要求的差異性恰恰反映了解釋準確性原則與有意義原則的不同,詳細解釋可以加強準確性但卻犧牲了部分用戶的理解性。基于不同的用戶群體定制化解釋準確性測量指標。AI系統可以提供多類型、多層次的解釋,因此解釋準確性測量指標不是通用或絕對的。
4.知識局限性原則(Knowledge Limits)
知識局限性原則要求AI系統僅可以在其所設定的條件下運行,以保證系統輸出。知識局限性原則要求AI系統能識別出未經設計或批準以及響應錯誤的情況。知識局限性原則可以防止錯誤、危險、不公正的決策和輸出,從而增加AI系統的可信度。AI系統有兩類知識局限性,一是所需判斷不屬于AI系統本身設定,如鳥分類AI系統無法分類蘋果,二是所需判斷超越內部置信度閾值,如鳥分類AI系統無法對模糊圖像上的鳥類進行歸類。
二、五類解釋
1.用戶利益(User benefit):這類解釋用來通知用戶相關AI系統的輸出信息。例如,為貸款申請者提供貸款獲批或者被拒的原因。
2.社會接受度(Societal acceptance):這類解釋用來提高社會對AI系統的信任和接受程度。例如,如果AI系統提供了意想不到的輸出,需向用戶說明出現結果偏差的原因。
3.監管合規(Regulatory and compliance):這類解釋用來協助審核AI系統是否符合相關的法規和安全標準等。例如,為自動駕駛的開發人員和審核人員提供相關輔助,對飛機失事后的司法鑒定進行評估等。
4.系統開發(System development):這類解釋用來幫助和提升AI算法和系統的開發、改進、調試和維護。此類解釋面向技術人員、產品經理和執行人員,同時面向需要系統細節的用戶以及與系統交互的用戶。
5.所有者利益(Owner benefit):這類解釋用于使AI系統運營者獲益。例如,影視推薦系統根據用戶以往觀看歷史為其推薦影視產品,如果用戶接受推薦將繼續使用該服務,那么使用推薦系統的服務運營者也將獲利。
三、可解釋算法
目前研究人員已經開發了各種算法來解釋AI系統。自解釋模型算法,算法本身提供解釋,如決策樹模型、線性和邏輯回歸模型。全局解釋算法,將AI算法視為黑盒進行全局解釋,如用Shapley值判斷特征重要性。單個決策解釋算法,在黑盒模型基礎上為每個決策提供獨立的解釋,如用LIME值解釋單個預測。解釋的對抗性攻擊算法,主要應對解釋準確性不能達到100%時的系統安全問題。
-
AI
+關注
關注
87文章
31359瀏覽量
269762 -
人工智能
+關注
關注
1793文章
47566瀏覽量
239412
原文標題:【政策規劃?智】美國NIST發布《可解釋人工智能四項原則草案》
文章出處:【微信號:gh_22c5315861b3,微信公眾號:戰略科技前沿】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論