據TechnologyReview報道，當機器人決定走特定路線前往倉庫，或無人駕駛汽車決定左轉或右轉時，它們的人工智能（AI）算法是靠什么做出決定的？現在，AI還無法向人們解釋自己做出某項決定的理由，這或許是個需要搞清楚的大問題。

　　2016年，美國新澤西州蒙茅斯縣（Monmouth County）安靜的公路上出現一輛奇怪的無人駕駛汽車。這是芯片制造商英偉達的研究人員開發出的試驗車，盡管它看起來與谷歌、特斯拉以及通用汽車公司研發的無人駕駛汽車沒什么不同，但它展現出AI的更多力量。

　　幫助汽車實現自動駕駛堪稱是令人印象深刻的壯舉，但同時也讓人感覺有點兒不安，因為現在我們還不是非常清楚汽車如何作出決策。汽車傳感器收集的信息被直接傳給龐大的人工神經網絡，后者可對數據進行處理，然后發出相應指令，指揮汽車方向盤、制動以及其他系統運行。

　　表面看起來，它似乎與能與人類駕駛員的反應相匹配。但是當其發生意外事件，比如撞上樹或闖紅燈時，我們可能很難從中找出原因。這些AI算法非常復雜，甚至就連設計它們的工程師都無能為力。現在我們還沒有辦法設計出這樣的系統：它總是能夠向人們解釋為何要做出上述決定。

　　這些無人駕駛汽車的“神秘意識”正指向一個與AI有關的、迫在眉睫的問題。這些汽車算法以AI技術（又被稱為深度學習）為基礎，近年來其已被證明是解決諸多問題的強大工具。這種技術被廣泛用于圖像字幕、語音識別以及語言翻譯等領域。現在，同樣的技術也被期望能夠幫助診斷致命疾病、做出價值數百萬美元的交易決策以及無數足以改變整個行業的其他事情。

　　但是直到我們找到新的方式，能讓深度學習等技術變得更容易被其創造者所理解、更容易向用戶就自己的行為作出解釋后，上述場景才會出現或應該出現。否則很難預測它們何時會出現故障，而且出現故障將是不可避免的。這也是英偉達無人駕駛汽車依然處于測試狀態的原因之一。

　　目前，數學模型正被用于幫助確定誰該獲得假釋、誰應獲得貸款以及誰該求職被錄用。如果你能接觸到這些數字模型，很可能了解它們的推理過程。但是銀行、軍隊、雇主以及其他人現在正將注意力轉向更復雜的機器學習上，它可以幫助自動決策變得更令人匪夷所思，而深度學習可能從根本上改變了計算機的編程方式。麻省理工學院機器學習教授湯米·雅科拉（Tommi Jaakkola）表示：“這個問題不僅與當前有關，更攸關未來的許多問題。無論是投資決策、醫療決策亦或是軍事決策，我們都不能簡單地依賴這種‘黑箱’。”

　　已經有人提議，將詢問AI系統如何得出結論或做出決定作為一項基本法律權利。從2018年夏季開始，歐盟可能要求公司向用戶提供其自動化系統作出決策的理由。這似乎是不可能的，即使對于表面來看相對簡單的系統來說，比如使用深度學習服務廣告或推薦歌曲的應用和網站。運行這些服務的計算機已經在進行自我編程，它們正以我們無法理解的方式工作，即使開發這些應用的工程師也無法明確解釋它們的行為。

　　這就引出許多令人難以置信的問題。隨著技術的進步，我們可能很快就會越過一些門檻，幫助AI實現飛躍。雖然我們人類也并非總是能夠解釋清楚自己的思維過程，但我們能找到通過直覺信任和判斷某人的方法。機器也有類似人類的思維嗎？此前，我們從未開發出創造者也無法理解其運行方式的機器，我們如何與這些不可預測、無法理解的智能機器交流或和睦相處？這些問題促使我踏上了解密AI算法的征途，從蘋果到谷歌再到其他許多地方，甚至包括會見了我們這個時代最偉大的一位哲學家。

　　圖：藝術家亞當·費里斯（Adam Ferriss）利用谷歌Deep Dream程序創造了這張圖，Deep Dream可以通過刺激深度神經網絡的模式識別能力調整圖像。這張圖是利用神經網絡中間層創作的。

　　2015年，紐約西奈山醫院的研究團隊獲得靈感，將深度學習應用到醫院中龐大的病例數據庫中。這個數據集中有攸關病人的數百個變量，包括測試結果以及醫生診斷等。由此產生的程序被研究人員命名為Deep Patient，它被利用70多萬名病人的數據訓練。但測試新的病例時，它展現出令人不可思議的能力--非常擅長預測疾病。無需專家指導，Deep Patient可以在醫院數據中找出隱藏模式，并通過病人的各種癥狀確認疾病，包括肝癌。西奈山醫院團隊的項目領導者約珥·杜德利（Joel Dudley）說：“利用病例數據，許多方法都能預測出疾病，但我們的方法更好用。”

　　與此同時，Deep Patient也讓人覺得有點兒困惑，它對于診斷精神疾病（比如精神分裂癥）非常準確。但是眾所周知，即使是醫生也很難診斷精神分裂癥，為此杜德利想知道為何Deep Patient具備這樣的能力，但他未能找到答案，這種新工具未提供任何線索。如果像Deep Patient這樣的工具真能幫助醫生，在理想情況下，它應該可以提供預測推理，以確保其結論的準確性。但杜德利說：“雖然我們可以建立模型，可是我們真的不知道它們是如何做出決定的。”

　　AI并非總是如此。從一開始，就有兩個學派就如何理解或解釋AI產生分歧。許多人認為，根據規則和邏輯開發的機器最有意義，因為它們的內部運作是透明的，任何人都可以檢查它們的代碼。其他人則認為，如果機器能夠從生物學中獲得靈感，并通過觀察和體驗學習，更有可能出現智能。這意味著，計算機具備了編程能力。它們不再需要程序要輸入指令以解決問題，程序本身就可以基于示例數據和期望輸出產生算法。根據后一種模式，這種機器學習技術后來進化為今天最強大的AI系統，機器本身就是程序。

　　最初，這種方法在實際使用中十分有限，20世紀60年代到70年代，它在很大程度上依然被限于“場地邊緣”。隨后，許多行業的計算機化和大數據集出現重新引發人們的興趣。這鼓勵更強大的機器學習技術誕生，特別是最新被稱為人工神經網絡的技術。到20世紀90年代，神經網絡已經可以自動數字化手寫內容。

　　但是直到2010年初，經過幾次巧妙的調整和改進，更加龐大或更有深度的神經網絡才在自動知覺方面有了巨大進步。深度學習是促使當今AI呈現爆發式增長的主要驅動力，它賦予計算機非凡的能力，比如像人那樣識別口語的能力，代替手動向機器輸入復雜代碼的能力等。深度學習已經改變了計算機視覺，并大幅改進機器翻譯。現在，它正被用于指導醫療、金融以及制造業等領域的各種關鍵決策。

　　與手動編碼系統相比，任何機器學習技術的運作本質上都是不透明的，即使對于計算機科學家來說也是如此。這并非是說將來所有AI技術同樣不可預知，但就其本質而言，深度學習是特別黑的“黑箱”。你無法透視深度神經網絡內部看其如何運行。網絡推理實際上是數以千計的模擬神經元的共同行為，它們排列成數十甚至數百個錯綜復雜的互聯層中。第一層的每個神經元都會接收輸入，就像圖片上的像素強度，然后進行運算，并輸出新的信號。這些輸出會進入更復雜的網絡，即下一層的神經元中。這樣一層層傳遞，直到最后產生整體輸出結果。此外，還有被稱為“反向傳播”的過程，通過調整單個神經元的計算，讓網絡了解到需要產生的“期望輸出”。

　　圖：藝術家亞當·費里斯（Adam Ferriss）利用谷歌Deep Dream程序創造的圖像

　　深度網絡的多層結構讓它能在不同的抽象層上識別事物，以被設計用于識別狗狗的系統為例，較低的層次可識別顏色或輪廓等簡單的東西，更高的層次則可識別更復雜的東西，比如皮毛或眼睛等，最頂層則會確定其對象是狗。同樣的方法也可被應用到其他輸入方面，這些輸入可讓機器自學，包括演講中所用詞匯的發音、文本中形成句子的字母和單詞或駕駛所需的方向盤動作等。

　　為了捕捉和更詳細地解釋這些系統中到底發生了什么，研究人員使用了許多巧妙策略。2015年，谷歌研究人員修改了基于深度學習開發的圖片識別算法，它不需要在圖片中發現目標，而是生成目標或修改它們。通過有效地反向運行該算法，他們發現這種算法可被用于識別鳥或建筑物。

　　被稱為Deep Dream的程序產生的圖像，顯示出看起來非常怪誕的動物從云層或植物中現身，如幻境中的寶塔出現在森林或山脈上。這些圖片證明，深度學習并非完全不可理解，算法也需要熟悉的視覺特征，比如鳥喙或羽毛等。但這些圖片也顯示，深度學習與人類感知截然不同，會讓我們忽略的東西變得不可思議。谷歌研究人員注意到，當算法生成啞鈴圖像時，也會生成舉著它的人類雙臂。機器得出的結論是，手臂是啞鈴的一部分。

　　利用來自神經科學和認知科學領域的想法，這種技術取得更大進步。由美國懷俄明大學副教授杰夫·克盧恩（Jeff Clune）領導的團隊已經采用光學錯覺AI測試深度神經網絡。2015年，克盧恩的團隊展示了特定圖像如何欺騙神經網絡，讓它們誤以為目標不存在，因為圖像利用了系統搜索的低層次模式。克盧恩的同事杰森（Jason Yosinski）還開發出類似探針的工具，它以網絡中部的神經元為目標，尋找最容易被激活的圖像。盡管圖像以抽象的方式顯現，但卻凸顯了機器感知能力的神秘本質。

　　可是，我們不僅僅沒法窺探AI的思維，也沒有簡單的解決方案。深層神經網絡內部計算的相互作用對高層次模式識別和復雜的決策至關重要，但是這些計算堪稱是數學函數和變量的泥潭。雅克拉說：“如果你有很小的神經網絡，你可能會理解它。但是當其變得非常龐大時，每層都會有數千個單元，而且有數百層，那么它會變得相當難以理解。”

　　雅克拉的同事雷吉納·巴爾齊萊（Regina Barzilay）專注于將機器學習應用到醫學領域。2年前43歲時，巴爾齊萊被診斷患上乳腺癌。這個診斷本身就令人感到震驚，但巴爾齊萊也很沮喪，因為前沿統計和機器學習方法還未被用于幫助腫瘤學研究或指導治療。她說，AI很可能徹底改變醫療行業，而意識到這種潛力意味著其不僅僅可被用于病例中。她希望使用更多未被充分利用的原始數據，比如影像數據、病理資料等。

　　去年結束癌癥治療后，巴爾齊萊和學生們開始與馬薩諸塞州綜合醫院的醫生們合作，開發能夠通過分析病理報告確定病人的系統，這些患者是研究人員可能想要研究的特殊臨床病例。然而，巴爾齊萊知道，這套系統需要能夠解釋其推理。為此，巴爾齊萊與雅克拉等人增加新的研究，該系統可以提取和突出文本中的片段，這些片段也處于已經被發現的模式中。巴爾齊萊等人還開發出深度學習算法，它可在乳房X線照片中發現乳腺癌的早期癥狀。他們的目標是給于這種系統解釋推理的同樣能力。巴爾齊萊說：“你真的需要一個回路，機器和人類可通過其加強協作。”

　　美國軍方正向多個項目投資數十億美元，這些項目可利用機器學習引導戰車和飛機、識別目標、幫助分析師篩選大量情報數據。與其他領域的研究不同的是，美國國防部已經確定，可解釋性是解開AI算法神秘面紗的關鍵“絆腳石”。國防部下屬研發機構DARPA項目主管大衛·甘寧（David Gunning）負責監督名為Explainable Artificial Intelligence的項目，他此前曾幫助監督最后促使Siri誕生的DARPA項目。

　　甘寧表示，自動化正滲透到無數軍事領域。情報分析師正測試機器學習，將其作為在海量情報數據中確認模式的新方法。許多無人駕駛地面戰車和飛機正被開發和測試，但坐在無法自我解釋的機器人坦克中，士兵們可能不會感覺不舒服，分析師也不愿意根據沒有推理支持的信息采取行動。甘寧說：“這些機器學習系統本質上經常產生大量假警報，為此網絡分析師需要額外幫助，以便理解為何它們給出如此建議。”

　　今年3月份，DARPA從學術界和工業領域挑選了13個項目，以便獲得甘寧團隊的資助，其中包括華盛頓大學教授卡洛斯·蓋斯特林（Carlos Guestrin）領導的項目。蓋斯特林與同事們已經找到一種新方法，讓機器學習系統為自己的輸出提供推理解釋。實質上，按照他們的方法，計算機可自動從數據集中查找例證，并以它們為佐證。舉例來說，可以分類恐怖分子電子郵件信息的系統，可能需要使用數以千萬計的信息進行訓練和決策。但利用華盛頓大學團隊的方法，它可以凸顯信息中出現的特定關鍵詞。蓋斯特林的團隊還設計了圖像識別系統，通過凸顯圖像中最重要的部分提供推理支持。

　　這種方法和其他類似技術的1個缺點在于，它們提供的解釋總是被簡化，意味著許多重要信息可能遺失。蓋斯特林說：“我們還沒有實現整個夢想，將來AI可以與你對話，并作出解釋。距離打造真正可解釋的AI，我們還有很長的路要走。”

　　了解AI的推理不僅在癌癥診斷或軍事演習等高風險領域至關重要，當這種技術被普及成為日常生活中的重要組成時，AI能夠給出解釋同樣重要。蘋果Siri團隊負責人湯姆·格魯伯（Tom Gruber）說，對于他的團隊來說，可解釋性是個關鍵因素，因為他們正嘗試讓Siri變成更聰明、更有能力的虛擬助理。格魯伯沒有討論Siri未來的具體計劃，但很容易想到，如果你收到Siri推薦的餐廳建議，你可能想知道它推薦的理由。蘋果AI研究總監、卡內基-梅隆大學副教授魯斯蘭·薩拉克霍特迪諾夫（Ruslan Salakhutdinov）將可解釋性作為人類與智能機器之間不斷進化的關系的核心。

　　正如人類的許多行為都是無法解釋那樣，或許AI也無法解釋它所做的一切。克盧恩說：“即使有人能給你看似合理的解釋，可能也不夠充分，對AI來說同樣如此。這可能是智能的本質部分，只有部分行為能用推理解釋。有些行為只是出于本能，或潛意識，或根本沒有任何理由。”如果真是這樣的話，那么在某個階段，我們可能必須絕對相信AI的判斷，或根本不使用它。同樣的，這種判斷必須要納入社會智能。正如社會是建立在預期行為的契約之上那樣，我們需要設計出遵守和適應我們社會規則的AI系統。如果我們想要制造出機器人坦克和其他殺人機器，它們的決策也需要符合我們的道德判斷標準。

　　為了探索這些抽象概念，我拜訪了塔夫茨大學著名哲學家、認知科學家丹尼爾·丹尼特（Daniel Dennett）。丹尼特在其最新著作《From Bacteria to Bach and Back》中稱，智能本身進化的本質部分在于創造能夠執行任務的系統，而這些任務是系統的創造者都不知道如何執行的。丹尼特說：“問題在于，我們必須做出什么樣的努力才能做到這一點，我們給他們定下的標準是什么，我們自己的標準呢？”

　　丹尼爾還對可解釋性AI的探求發出警告，他說：“我認為，如果我們要使用這些東西，并依賴它們，那么我們就需要盡可能牢牢把握住它們如何以及為何給我們這樣的答案。”但是由于還沒有完美答案，我們應該對AI的可解釋性保持謹慎，無論機器變得多么聰明。丹尼特說：“如果它們無法比我們更好地給出解釋，那么我們就不該相信它們。”