構建有效的機器學習 (ML) 系統需要提出許多問題。僅僅訓練一個模型，然后放任不管，是遠遠不夠的。而優秀的開發者就像偵探一樣，總是不斷探索，試圖更好地理解自己的模型：數據點的變化對模型的預測結果有何影響？對于不同的群體，例如在歷史上被邊緣化的人群，模型的表現是否有所不同？用于測試模型的數據集的多樣化程度如何？要回答這些類型的問題并不容易。探索 “What-If” 場景通常意味著編寫一次性的自定義代碼來分析特定模型。此過程不僅效率低下，而且非編程人員很難參與塑造和改進 ML 模型的過程。Google AI PAIR 計劃的一個重點就是讓廣大用戶能夠更輕松地檢查、評估和調試 ML 系統。

我們發布了What-If 工具（https://pair-code.github.io/what-if-tool/），這是開源TensorBoard網絡應用的一個新功能，可以讓用戶在無需編寫代碼的情況下分析 ML 模型。在給定 TensorFlow 模型和數據集指針的前提下，What-If 工具可為模型結果探索提供交互式可視界面。

What-If 工具：展示了一組面部圖片（共 250 張），以及微笑檢測模型得出的結果

What-If 工具擁有各種功能，包括使用Facets自動可視化數據集、手動編輯數據集示例并查看相關更改的影響，以及自動生成局部依賴圖（顯示模型的預測結果如何隨任何單個功能的更改而變化）。下面詳細探索其中兩項功能。

探索數據點上的 What-If 場景

反事實

只需點擊一下按鈕，即可將某個數據點與模型預測不同結果的最相似點進行比較。我們將這些點稱為 “反事實”，它們可以清楚顯示出模型的決策邊界。或者，您也可以手動編輯一個數據點，然后探索模型預測的變化情況。在下方的屏幕截圖中，我們將該工具用于二進制分類模型。此模型根據UCI 人口普查數據集的公開人口普查數據來預測某個人的收入是否超過 5 萬美元。這是 ML 研究人員常用的基準預測任務，特別適用于分析算法公平性的情況，我們很快會談及這個話題。在這個案例中，對于選定的數據點，模型預測此人收入超過 5 萬美元的置信度為 73%。該工具自動找出數據集中與此最相似的人（模型預測其收入少于 5 萬美元），并將二者進行并排比較。在此案例中，只需對年齡和職業作出微小的改變，模型的預測就會出現大幅變化。

反事實對比

表現和算法公平性分析

您也可以探索不同分類閾值的影響，并考慮不同數值公平性標準等限制條件。下方的屏幕截圖展示了微笑檢測模型的結果，該模型使用開源CelebA 數據集（由帶注解的名人面部圖像組成）進行訓練。在下圖中，我們根據頭發是否為棕色，將數據集中的面部圖像分成兩組，并為其中每組繪制一條ROC 曲線和預測結果的混淆矩陣，同時提供滑塊，設定模型必須在達到一定的置信度，才會判定是否為微笑的面部圖像。在此案例中，該工具自動為兩組設置了置信度閾值，以優化模型，從而實現機會均等。

比較兩組數據在微笑檢測模型上的表現，并將其分類閾值設置為滿足 “機會均等” 限制條件

演示

為了說明 What-If 工具的功能，我們發布了一組使用預訓練模型的演示：

檢測錯誤分類：這是一種多分類模型，通過對植物花朵的四次測量來預測植物種類。該工具有助于顯示模型的決策邊界和導致錯誤分類的原因。該模型使用UCI 鳶尾花數據集進行訓練。

評估二進制分類模型的公平性：這是上文提及的微笑檢測圖像分類模型。該工具有助于評估不同子組的算法公平性。在訓練模型的過程中，為了展示該工具如何幫助揭示模型中的此類偏見，我們特意沒有提供來自特定人群子集的任何示例。評估公平性需要謹慎考慮整體環境，但這是很有用的量化起點。

研究不同子組的模型表現：這是根據人口普查信息預測對象年齡的回歸模型。該工具有助于展示模型在不同子組的相對表現，以及不同特點如何分別影響預測結果。該模型使用UCI 人口普查數據集進行訓練。

What-If 的實際應用

我們與 Google 內部團隊一起測試了 What-If 工具的表現，從中看到這個工具的直接價值。有一個團隊很快發現，他們的模型錯誤地忽略了數據集的一個整體特點，進而修復了之前并未發現的代碼錯誤。另一個團隊使用該工具將其示例按表現最佳到最差進行直觀排列，進而發現表現不佳的模型示例類型有何模式。我們希望 Google 內部和外部的人士都能使用此工具，以更好地理解 ML 模型，并開始評估其公平性。此外，由于此代碼是開源的，我們歡迎大家為該工具的發展添磚加瓦。

致謝

What-If 是眾人合作的成果，其成功離不開 Mahima Pushkarna 設計的用戶體驗，Jimbo Wilson 對 Facets 作出的更新，還有許多其他人提供的意見。我們想感謝測試此工具并提供寶貴反饋的 Google 團隊，還要感謝 TensorBoard 團隊的一切幫助。