機器學習也會對數據產生偏見,從而導致錯誤的預測。我們該如何解決這一問題? Google的新論文或許會揭曉答案。 機器學習中的機會均等 隨著機器學習計算穩步發展,越來越多人開始關注其對于社會的影響。機器學習的成功分支之一是監督學習。有著足夠的歷史遺留
機器學習中的機會均等
隨著機器學習計算穩步發展,越來越多人開始關注其對于社會的影響。機器學習的成功分支之一是監督學習。有著足夠的歷史遺留數據和計算資源,學習算法預測未來事件的效果往往令人震驚。以一個假設為例,算法可以被用來高精度預測誰將會償還他們的貸款。貸款人可能會使用這樣的預測,以幫忙決定誰應該首先得到貸款。基于機器學習做出的決定,其實用性往往令人難以置信,并對我們的生活產生了深遠的影響。
然而,最好的預測也可能出錯。盡管機器學習致力于最小化出錯的可能性,但我們該如何防止某些組非均勻的共享這些錯誤?考慮到一些情況下,我們擁有的數據相對較少,且其特征不同于那些與預測任務相關的大眾方法。由于預測精度一般與訓練的數據量息息相關,一些組中的錯誤預測將會更加常見。例如,盡管他們償還了貸款,預測最后也可能將過多的個體標記到“高違約風險”組中。當組中的成員恰逢一個敏感屬性,如種族、性別、殘疾、或宗教時,便會導致不公正的或有偏見的結果。
盡管需要,但機器學習中一直缺乏防止這類歧視,且基于敏感屬性的審核方法。有一種憨厚的方法是在做任何其他事之前,從數據中刪除一組敏感屬性。其想法是一種“無意識的不公平”,然而,由于存在“冗余編碼”也未能成功。即使在數據中不存在某個特定的屬性,其他屬性的組合也可以作為代理。
另一個普用方法被稱之為“統計平價”,其要求預測必須與敏感屬性無關。這直觀上聽起來是可取的,但結果本身往往與敏感屬性相關。例如,男性心臟衰竭的發病率通常比女性更高。當預測這樣的醫療情況時,要阻斷預測結果和組成員之間的一切相關性,既不現實,也不可齲
機會平等
考慮到這些概念上的困難,我們已經提出了一種方法,用于測量和防止基于一系列敏感屬性所產生的歧視。我們還展示了如何調整一個給定的預測,需要的話,它可以更好的權衡分類精度和非歧視。
我們想法的核心是,符合理想結果的個體,應因此而擁有平等正確分類的機會。在我們虛構的貸款例子中,它意味著預測“低風險”會實際償還貸款的人不應該依賴于敏感屬性,如種族或性別。我們稱之為監督學習中的機會均等。
實施時,我們的框架還改善了激勵機制,將差預測的成本從個人轉移到決策者,它可以通過投資提高預測精度以進行響應。完美的預測總能滿足我們的概念,這表明建立更精準預測的中心目標與避免歧視的目標一致。
為了方便你自己探索博客文章中的想法,我們的Big Picture團隊創造了一個美妙的互動,以視覺化不同的概念和權衡。所以,你可以訪問他們的主頁了解更多相關資訊。一旦你瀏覽了演示,請查看論文的完整版,它由得克薩斯大學奧斯汀分校的Eric Price和芝加哥TTI的Nati Srebro共同完成。今年,我們會在巴塞羅召開的神經信息處理系統(NIPS)會議上提交該論文。所以,如果你在附近的話,一定要停下腳步和我們中的一員聊聊天。
我們的論文決不是該重要且復雜話題的終點。它加入了一個正在進行的多學科研究對談話。我們希望可以鼓舞未來的研究,進一步討論可實現的方法,以權衡環境歧視和機器學習,并開發有助于從業者應對這些挑戰的工具。
-
谷歌
+關注
關注
27文章
6168瀏覽量
105393 -
機器學習
+關注
關注
66文章
8418瀏覽量
132646
發布評論請先 登錄
相關推薦
評論