2016年3月23日，一個人設為19歲女性，昵稱為 Tay 的聊天機器人在推特上線。這個微軟開發的機器人能夠通過抓取和用戶互動的數據模仿人類的對話，像人一樣用笑話、段子和表情包聊天。但是上線不到一天，Tay 就被“調教”成了一個滿口叫囂著***的極端分子，微軟只好以系統升級為由將其下架。

微軟聊天機器人的極端言論

這樣的口號并不是聊天機器人的發明，而在社交網絡上大量存在著。美國大選期間，一些所謂的“政治新媒體”賬號發出的摻雜陰謀論、種族主義的內容，在Facebook 上進行了病毒式傳播。這有賴于人工智能協助下的“精準定位”：誰最容易相信陰謀論，誰對現實最不滿？相應的政治廣告和假新聞能精準地投放到這群人中，使人對自己的看法更加深信不疑。

因為設計缺陷而 “暴走”的聊天機器人，和精心策劃的線上政治行為，看起來仿佛是兩回事。但這種我們似乎從未見過的景象，卻指向了同一個“兇器”——大數據驅動下的人工智能。

1?人工智能有作惡的能力嗎？

人工智能會“作惡”嗎？面對智能的崛起，許多人抱有憂慮和***： 擁有感情和偏見的人會作惡，而僅憑理性計算進行判定的計算機似乎也會“作惡”， 且作起來易如反掌。這讓許多人（特別是非技術領域的人）對人工智能的發展持悲觀態度。

這種憂慮并不是最近才有的。人工智能這個詞誕生于上世紀50年代，指可體現出思維行動的計算機硬件或者軟件，而 對機器“擁有思維”之后的倫理探討，早至阿西莫夫開始就在科幻作品里出現。

14 年前，威爾·史密斯主演的電影《機械公敵》里就有這樣一個場景：2035 年的人類社會，超高級的人工智能承擔大量工作，并與人類和諧相處。這些原本完全符合阿西莫夫“三定律”的人工智能，在一次關鍵升級之后對人類發起了進攻。這些機器人擁有了思維進化的能力，在它們的推算下，要達到“不傷害人類”的目的，就必須先消滅“彼此傷害”的人類。

十分高產的科幻作家阿西莫夫（1920-1992）。

圖片來源：sciencesetavenir.fr

看起來，人工智能并不像人類一樣擁有所謂“人性”，并不與我們共享一個道德倫理體系。 然而 將智能的“作惡”簡單理解為“人性缺乏”，未免把這個問題看得太過簡單。

一方面，機器似乎還不夠“智能”。 南京大學計算機科學與技術系副教授、人工智能專家俞揚認為，“人性”對于人工智能來說是一個非常“高層次”的東西。“描述一張圖片上，有草原，有獅子，機器可以做到，”俞揚舉了個例子，“而要歸納它是‘非洲’，就要更高級一些，對機器來說更困難。”他說，判斷一件事情在道德上好不好，意義上怎么樣，目前來講并不是機器的能力范圍。

而正視人工智能的“惡”，或許應該首先找出作惡之源——為什么人工智能忽然變得可怕起來？

另一方面，機器似乎已經太過“智能”，某些方面幾乎要超越人類的理解。 近 10 年，人工智能領域迎來了爆發，這要得益于 “機器學習”的發展：擁有強大運算能力的計算機程序能夠對大量數據進行自動挖掘和分析，并學習各種行為模式。輸入和輸出不再是人工賦予的幾個變量掌控，而是讓機器在大量數據中自己分析特征，決定變量權重。

目前最火的領域“深度學習”就是這樣——行業者有時會將其戲謔地稱為 “當代煉金術”：輸入各類數據訓練 AI，“煉”出一堆我們也不知道為啥會成這樣的玩意兒。 處理數據的神經網絡，通常由數十個或者上百個（或者更多）神經元組成，然后用數層邏輯結構組織起來，運算過程及其復雜。智能程序自己給自己設定算法和權重，而最后為什么輸出了某個決策，人類并不能完全理解。

這看起來就仿佛一種本能一樣——蒙特利爾大學的計算機科學家約書亞·本奇奧將其稱為 “人工直覺” （artificial intuition）。

圖片來源：wpi.edu

我們會***一個我們“無法理解”的決策對象嗎？當它出錯的時候，我們能夠察覺、能夠糾正嗎？

“我們必須清楚地知道人工智能會做出什么樣的決策。對人工智能的應用范圍，以及應用結果的預期，一定要有約束。”俞揚認為，“黑箱”的現實應用，一定要慎之又慎。環境是否可控，是否經過了可理解性的測試，決定了它是否可以用在關鍵的場所，否則就是產品的重大缺陷。

今天的人工智能之所以危險，不僅是因為它已經具備了一定的能力和“權力”，還因為 人類生活的大規模網絡化、數字化，為機器的“學習”提供了足夠多的數據“食糧”。

今天的人工智能與其說是擁有“思維”，不如說是對于人類世界中現存數據的反映和理解。與其說“沒有人性”，會不會是“太有人性”？ 機器是否也繼承了我們既有的偏見、無常和貪婪？?

人工智能的罪惡之源

人工智能在判斷上失誤的一個指責，是它經常會 “歧視”。使用最先進圖像識別技術的谷歌曾經陷入“種族歧視”的指責，只因它的搜索引擎會將黑人打上“猩猩”的標簽；而搜索“不職業的發型”，里面絕大多數是黑人的大辮子。哈佛大學數據隱私實驗室教授拉譚雅·斯***發現，在谷歌上搜索有“黑人特征”的名字，很可能彈出與犯罪記錄相關的廣告——來自谷歌智能廣告工具 Adsense 給出的結果。

而這種危險并不僅僅是 “另眼相看”本身——畢竟將一張黑人的照片打上“猩猩”的標簽，只是有點冒犯罷了。而 人工智能的決策正走入更多與個人命運切實相關的領域，切實影響著就業、福利以及個人信用，我們很難對這些領域的“不公平”視而不見。

人工智能會加劇人類社會的不公平嗎？

圖片來源：Chatbot's Life

對每個畢業季都會收到數以萬計簡歷的大公司人力部門而言， 用機器篩簡歷并不是什么新鮮的事情，百分之七十以上的簡歷甚至都到不了 HR 的眼皮底下。 篩簡歷的 AI（業界用語“雇傭前評估”）因此而獲得了大約30億美元左右的市場。有些關鍵詞，例如性別、地域，或者出身階層，至少在明面上，是不宜成為篩選標準的——這個時候，HR 就會以“并不適合”為由，推掉不喜歡的性別、籍貫乃至星座。那么，徹底排除 HR 或者項目經理個人偏見的人工智能會解決這個問題嗎？答案可能會更糟。

最新的人工智能雇傭輔助技術，并不需要人為設置關鍵詞，而全靠“過往的優秀員工數據”對機器的訓練，決策權重也并不是加或者減去一個過濾的變量就能解決的，看起來似乎十分公平。 然而人工智能的檢視，卻讓少數族裔、女性、或者有心理疾病史的人更難找到工作。

美國 IT 作家、數學家凱西·奧尼爾曾經調查到，人力資源解決方案公司 Kronos 提供的智能篩選服務會用“個性測試”把有心理疾病史的申請者擋在門外；而施樂在招聘的時候發現，人工智能大量過濾掉了有色人種的申請，因為這些申請者提供的地址位于市內某黑人聚居區。

金融領域也不例外。位于美國洛杉磯的科技金融公司 Zest 開發了一個人工智能信用評估平臺 ZAML，使用用戶網絡行為，而不是實際的信用記錄，來判定用戶的信用值。

百度作為搜索引擎合作商，向他們提供了大量可以數據用于歸納出用戶可能的財務狀況。它聲稱有近十萬個數據點，沒有所謂“決定因素”，因為美國法律禁止金融機構以性別、種族或***等決定一個人的信用。然而在現實應用中，對于不同人群的“另眼相看”卻體現得非常明顯——比如，它會“研讀用戶的申請”，檢查申請中是否有語法和拼寫錯誤等，來判定一個人“守規矩”的傾向；然而這導致并不能熟練使用英語的移民群體在信用問題上被抹黑。

圖片來源：Practice Index

歧視的來源是哪里？是打標簽者的別有用心，是數據擬合的偏差，還是程序設計哪里出了 bug？ 機器所計算出的結果，能為歧視、不公、殘酷提供理由嗎？ 這些都是值得商榷的問題。

我們訓練機器的“過往數據”，實際上是人類自身偏見和行為的產物。 《MIT 商業評論》的分析者認為，類似于 ZAML 的智能采用的“貼標簽”策略，很難排除相關性（而非因果性）帶來的偏見。少數族裔常常會因某種特定行為被打上標簽（比如訪問某個網絡社區等），即使他/她有良好的信譽和穩定的工作，只要出現這樣的行為，就可能會被人工智能判定為低信用，需要為他/她的借貸支付更高的利息，或者干脆沒有資格。

機器能解決處理效率的問題，卻不能避免“過往數據”本身造成的缺陷。一個公司過去10年男員工工資比女員工高，有可能源自某個高層的性別歧視；智能篩選卻能把對于此群體的偏見刻印在對于個體的判斷上，這跟人類的刻板印象如出一轍。問題在于，機器的抉擇往往被包裝上“科學”“客觀”的外衣， 此類解決方案往往能夠因為其科技噱頭而賣出高價，殊不知只是用“科學結果”對現有的偏見進行的“大數據洗白”。