美國科技新聞網站BackChannel近日刊文,介紹了Facebook內部的人工智能團隊及其發展現狀。
在被任命為Facebook應用機器學習事業部(以下簡稱“AML”)負責人,幫助這家全球最大社交網絡部署人工智能技術時,杰奎因·奎諾內羅·坎德拉(Joaquin Quinonero Candela)有些遲疑。
杰奎因·坎德拉,FacebookAML事業部工程總監
坎德拉是一位出生在西班牙的科學家,他總是自稱“機器學習人士”。之所以有所遲疑,并不是因為他沒有目睹人工智能給Facebook帶來了多大的幫助。自從2012年加盟這家社交網絡巨頭以來,他已經見證了該公司廣告業務的轉變——他們利用機器學習技術提升了贊助內容的相關性和營銷效果。
更重要的是,他通過一種獨特的方式用技術武裝自己部門的下屬——即便這些人并沒有接受過專業的人工智能技術培訓。不僅如此,他還擴大了機器學習技術在整個廣告部門的普及程度。
但他并不確定同樣的“魔法”能在更大范圍內展現出來,因為這個平臺上的數十億用戶之間的聯系取決于模糊的價值觀,而不是用來衡量廣告的硬性數據。“我需要確定這么做的確有價值。”他提到這次任命時如是說。
盡管有些懷疑,坎德拉還是接受了任命。而現在雖然距離那時僅僅過去兩年時間,但他當初的遲疑卻變得非常可笑。
究竟有多可笑?坎德拉上月在紐約的一次會議上對臺下的一眾工程師發表了演講。“我要發表一份重要聲明。”他警告說,“如果沒有人工智能,Facebook如今已經無法存在下去。你或許并未意識到,但每當你使用Facebook或Instagram或Messenger時,你的使用體驗都有人工智能的一份功勞。”
去年11月,我來到Facebook位于門羅帕克的總部采訪坎德拉和他的團隊時,便得以目睹人工智能如何在突然之間成為Facebook的生存養料。目前為止,提到Facebook在這一領域的發展,很多目光都會集中于該公司組建的世界級Facebook人工智能研究事業部(以下簡稱“FAIR”),該部門的領導者是著名的神經網絡專家嚴·勒坤(Yann LeCun)。
與谷歌(微博)微軟、百度、亞馬遜和蘋果(這家以保密著稱的公司如今也允許其科學家發布研究成果)等競爭對手一樣,FAIR也成為供不應求的頂尖人工智能項目畢業生優先選擇的公司。計算機在視覺、聽覺甚至對話能力上取得的進步都得益于這種類似于大腦的數字神經網絡,而FAIR則是這方面研究成果最為豐厚的機構之一。
但坎德拉的AML事業部則負責將FAIR的研究成果與Facebook的實際產品融合到一起,更重要的是,他們還將幫助該公司的所有工程師,把機器學習技術融合到自己的工作中。
由于Facebook已經離不開人工智能,所以所有工程師都必須使用這項技術。
把人工智能塞到每個人手中
就在我造訪Facebook前兩天,美國剛剛結束總統大選,而該公司CEO馬克·扎克伯格(Mark Zuckerberg)也剛剛在一天前回應稱,那些宣稱Facebook傳播假新聞幫助唐納德·特朗普(Donald Trump)當選美國總統的想法“太瘋狂”。由于人們之前就對Facebook的假新聞泛濫狀況心懷不滿,所以扎克伯格的這番評論無異于火上澆油。
盡管很多爭議并不在坎德拉的職責范圍內,但他知道,Facebook需要借助機器學習技術來解決假新聞危機,而這恰恰是他團隊的職責之一。
但為了讓公司內部的公關人員安心,坎德拉還向我展示其他一些東西,以此體現他的團隊正在從事的工作。令我意外的是,這其實是一套有點無聊的把戲:它可以將一張照片或一段視頻按照某位著名畫家的獨特風格進行渲染。這很容易讓我們想起Snapchat上的各種噱頭——把照片轉化成畢加索風格的畫作早已不是什么新鮮技術。
“這種技術名為神經風格轉移。”他解釋道,“就是一套大規模的神經網絡,它可以通過訓練將一張照片重新繪制成特定風格的畫作。” 他掏出自己的手機,拍了一張照片,然后在屏幕上操作了一番,照片很快就被渲染稱梵高名畫《星夜》(The Starry Night)的風格。
更令人驚奇的是,他還能在視頻播放過程中將內容渲染成類似的風格。但他表示,真正重要的東西其實是在肉眼無法看到的:Facebook開發的神經網絡已經可以在手機上獨立運行。
這同樣不算新奇——蘋果之前也宣稱已經可以在iPhone上完成一些神經網絡計算。但由于Facebook并不控制硬件,所以他們面臨的難度要大得多。坎德拉表示,他的團隊之所以能完成這套“把戲”,是因為他們積累了大量經驗——每個項目都可以降低其他項目的工作難度,每個項目也都可以讓未來的產品在接受更少培訓的情況下,開發類似的產品——從而加快類似項目的開發速度。
“從啟動項目到公開測試,我只花了8個星期,這太瘋狂了。”他說。
他表示,在這么短時間內完成任務還有另外一個秘訣,那就是合作——這也恰恰是Facebook文化的基石。具體到這個項目,正是因為能夠輕易接觸到其他事業部的研究成果——尤其是熟悉iPhone硬件的移動部門——才使得他們能夠把原本需要借助數據中心才能完成的圖像渲染任務,通過手機來獨立實現。
從左到右依次為AML事業部工程總監杰奎因·坎德拉,應用計算機視覺團隊負責人馬諾哈·帕魯麗,技術產品精力里塔·阿奎諾,工程經理拉簡·蘇巴
這項技術不僅可以方便用戶為自己的親友拍攝《吶喊》風格的短片,還能讓整個Facebook變得更加強大。從短期來看,這讓該公司得以更好地解讀語言、理解文本。從長期來看,他還能對你的所見、所言展開實時分析。
“我們以秒為單位,甚至比秒還短——必須實時完成。”他說,“我們是社交網絡,如果我要預測人們對某段內容的反饋,我的系統就要立刻作出反應,對嗎?”
坦德勒又看了一眼他剛才拍的那張梵高風格的自拍像,完全不屑于掩飾自豪之情。“能夠在手機上運行復雜的神經網絡,便能將人工智能放到所有人的手上。”他說,“這并不是偶然發生的,這都得益于我們在公司內部展示人工智能的方式。”
“這是一場漫長的旅程。”他補充道。
微軟老兵大顯神威
坎德拉出生在西班牙,他3歲時隨家人搬到摩洛哥,在那里的法語學校就讀。盡管畢業時的文理學科都獲得高分,但他還是決定入讀馬德里的一所學校,學習一門在他看來最難的學科:通信工程。這門學科不僅需要掌握天線和放大器等物理知識,還要對數據有充分的理解,他認為這“很酷”。
坎德拉對開發自適應系統的教授非常著迷。他自己開發了一套系統,利用智能過濾器來改善手機漫游信號,他現在將其稱做“嬰兒階段的神經網絡”。他對訓練算法格外著迷,而不太喜歡大量編寫代碼。2000年在丹麥度過的一個學期進一步激發了他在這方面的興趣,他在那里見到了機器學習教授卡爾·拉斯穆森(Carl Rasmussen)。
拉斯姆森曾在多倫多師從傳奇人物、機器學習鼻祖吉奧夫·辛頓(Geoff Hinton)。畢業前夕的坎德拉原本要參加寶潔的領導力項目,但卻接到了拉斯姆森的博士項目邀請。于是,他選擇了機器學習。
2007年,他來到位于英國劍橋的微軟研究院工作。入職后不久,他獲悉微軟正在舉行一項面向所有員工的競賽:該公司即將推出必應搜索,所以需要對關鍵字搜索廣告進行改進——精確預測用戶何時會點擊一則廣告。
優勝團隊的方案將被投入實體測試,以便了解它是否有最終發布的價值。而優勝團隊本身也將獲得免費的夏威夷旅行作為獎勵。共有19個團隊參與競賽,坎德拉的團隊與另外一個團隊并列第一。他獲得了免費旅行的機會,但由于微軟遲遲沒有推進更重要的獎勵,導致他感覺自己被欺騙了——微軟一直沒有對他的方案展開測試,以判斷這個方案能否最終作為產品推出。
接下來發生的事情展示出坎德拉的堅決態度。他展開了一場“瘋狂的運動”,說服微軟給他一次機會。他在微軟內部展開了五十多次對話,還開發了一個模擬器來展示自己算法的優越性。他甚至找到直接負責這項決策的副總裁:他在吃自助餐時主動坐到那位副總裁身邊,甚至會抓住跟他一起上廁所的機會向其宣傳自己的方案。他還在沒有事先請示的情況下闖入這位高管的辦公室,聲稱說話必須算數,他的算法的確更好。
最終,坎德拉的算法在2009年隨同必應一起推出。
Facebook 20號樓內景
2012年初的一個周五,坎德拉到Facebook門羅帕克園區拜訪了一個朋友。讓他震驚的是,他聽說該公司的員工不需要獲得上司批準,也可以測試自己的項目。他們就是這么做的。于是他星期一便去Facebook參加面試,周末就拿到了錄取通知。
加入Facebook廣告團隊后,坎德拉的工作是領導一個小組來展示相關性更強的廣告。當時的確使用了機器學習技術,“但我們當時使用的模型不算先進,太過簡單”。坎德拉說。
還有一位與坎德拉同時加盟Facebook的工程師,他叫侯賽因·梅哈納(Hussein Mehanna),他對該公司在人工智能集成度方面的落后程度同樣感到驚訝。“以外人的身份看待他們的產品質量時,我以為一切都已成型,但顯然并非如此。”梅哈納說,“沒過幾個星期,我就告訴杰奎因,Facebook真正缺乏的是一個行之有效的世界級機器學習平臺。我們雖然擁有機器,但卻沒有合適的軟件幫助機器對數據展開盡可能深入的學習。”(目前擔任Facebook核心機器學習負責人的梅哈納同樣是微軟老兵——接受本文采訪的其他幾名工程師也都有著相同的身份。這僅僅是巧合嗎?)
梅哈納所說的“機器學習平臺”指的是部署一套最先進的人工智能范式:憑借著基于人腦行為模式的幾種模型,這種范式把這項技術從上個世紀的“寒冬”(當時,早期的“思維機”想法已經提不起人們的興趣)帶到了最近的繁榮時期。
具體到廣告業務,Facebook需要讓它的系統完成一些人力無法企及的任務:實時而精確地預測有多少人會點擊某一條廣告。坎德拉和他的團隊希望根據機器學習流程開發一套新系統。而由于該團隊希望以平臺的方式來打造這套系統,讓該部門內的所有工程師都可以使用,所以他們在開發過程中努力確保建模和訓練都能廣泛推廣和復制。
構建機器學習系統的重要因素之一便是獲得海量數據——數據越多,效果越好。幸運的是,這恰恰是Facebook最大的資產之一:如果每天都有十多億人與你的產品互動,你就可以收集大量培訓資料,獲得數不清的用戶行為范例。
這也讓整個廣告團隊的開發速度從幾個星期推出一個新模型,變成了每個星期推出幾個新模型。而由于這將成為一個平臺,讓其他人也可以在內部開發自己的產品,所以坎德拉必須在開發過程中讓多個團隊都參與其中。他們把整個過程精確地分成三個步驟:“先關注性能,再關注實用性,然后構建一個社區。”他說。
坎德拉的廣告團隊已經證明機器學習給Facebook帶來的巨大轉變。“我們在預測點擊、點贊、轉化等指標時實現了不可思議的成功。”他說。接下來自然是將這種方法延伸到更多服務中。事實上,FAIR負責人勒坤一直主張設立一個與之配合的部門,負責將人工智能技術應用到實際產品中。
“我非常希望成立這樣一個部門,因為你需要組織一群頂尖工程師,雖然他們不必直接關注產品,但卻需要關注基礎技術,好讓很多產品部門都可以對其加以利用。”勒坤說。
2015年10月,坎德拉成為新成立的AML團隊負責人(但只擔任了一段時間,原因在于他很謹慎,而且同時保留了廣告部門的職位,需要同時身兼二職。)他與FAIR保持了密切關系,后者在紐約、巴黎、門羅帕克都設立了辦事處。事實上,無論FAIR的研究員與AML的工程師在哪里比鄰而坐,就相當于在那里設立了一個FAIR辦事處。
雙方的合作方式可以通過一款正在開發的產品全面體現出來:這款產品可以針對用戶發表在Facebook上的照片提供語音描述。過去幾年,訓練一套系統識別某個場景中的物體,并得出一般性的結論,已經成為標準的人工智能實踐模式。例如,可以通過這項技術判斷一張照片究竟是在室內還是室外拍攝的。
但FAIR的科學家最近發現了一些方式來訓練神經網絡,幾乎可以描述一張圖片中所有有趣的問題,并通過這些物體在圖片中的位置以及與其他物體的關系,判斷這張照片的主題——從而精確分析出某張照片的主題是人與人的擁抱,還是某人正在騎馬。
“我們把這項成果展示給AML的人。”勒坤說,“他們想了一會兒說,‘你知道,這在一種情況下非常有用。’” 他們之后便開發了一款原型功能,當盲人和視力受損的人將手指放在一張照片上時,便可用手機為其描繪照片上的內容。
“我們一直在溝通。”坎德拉提到FAIR時說道,“整體目標是把基礎科學轉化成具體項目,這就需要一種粘合劑,對吧?我們就是粘合劑。”
把基礎研究用于實踐
坎德拉將人工智能應用分為四大領域:視覺、語言、語音和拍攝效果。他表示,這四大領域都可以促成一套“內容理解引擎”。Facebook希望了解如何才能真正理解某段內容的含義,從而判斷評論背后的細微意圖;參透語言背后的精確含義;在飛速而過的視頻畫面中識別朋友的面部;解讀你的面部表情并將其復制到虛擬現實的化身上。
“我們希望實現人工智能技術的通用應用。”坎德拉說,“我們需要理解和分析的內容呈現爆炸式增長,但我們添加標簽和區分事物的能力卻沒有同步提升。” 要解決這個問題,就要開發一套通用系統,使得一個項目的成果可以進行累積,還能為其他從事相關項目的團隊提供幫助。
坎德拉說:“如果我能開發許多算法,把一項任務的知識轉移到另一項任務,那豈不是很了不起?”
這種轉化可以對Facebook推出產品的速度產生重大影響。以Instagram為例。自從推出以來,這款圖片服務都以逆向時間順序展示用戶的照片。但在2016年初,該公司決定使用相關性算法展示圖片。
好消息是,由于AML已經在News Feed等產品中應用了這種算法,“不必從頭開始。”坎德拉說,“他們有一兩個精通機器學習的工程師與幾十個正在部署各種排名應用的團隊展開聯系。之后便可復制這些模式,一旦有問題,還可以與這些模式的負責人溝通。”正因如此,Instagram才得以在短短幾個月內完成如此重大的轉變。
AML團隊一直在探索各種用例,用自己的神經網絡與不同團隊的成果進行結合,從而開發一項適用于“Facebook規模”的獨特功能。“我們在使用機器學習技術構建自己的核心能力,同時取悅我們的用戶。”AML感知團隊首席工程師唐默·萊萬德(Tommer Leyvand)說。(他同樣來自微軟。)
最近推出的一項名為“社交推薦”(Social Recommendations)的功能就是典型例子。大約一年前,一位AML工程師跟一位Facebook共享團隊產品經理談到了人們在向好友征求當地的餐館和服務建議時展開的深度互動。
“問題在于如何向用戶展示相關信息。”AML自然語言團隊產品經理里塔·阿奎諾(Rita Aquino)說。共享團隊曾經嘗試對特定短語進行文字匹配。“當你每天接受10億個帖子時,這未必很精確,也未必可以大范圍應用。”阿奎諾說。
Facebook技術產品經理里塔·阿奎諾
通過訓練神經網絡,然后用實時行為來測試各種模型,該團隊便可察覺細微的語言差異,從而精確判斷用戶何時針對某一區域詢問就餐或購物建議。這便會觸發一條請求,顯示在相應聯系人的News Feed信息流中。接下來,仍然由機器學習來判斷他人何時提供有用的建議,并將企業或餐廳的地點顯示在用戶News Feed信息流里的地圖上。
阿奎諾表示,她在Facebook任職的一年半期間,人工智能從產品中難得一見的元素,變成了從初始階段就融入其中的技術。“人們希望與之互動的產品更加智能。”她說,“其他團隊看到社交推薦功能和我們的代碼后會問:‘你們我們如何才能做到?’你不必非得是機器學習專家,也可以根據自己所在部門的經驗進行嘗試。”
具體到自然語言處理領域,該團隊也開發了一套可以方便其他團隊使用的Deep Text系統。它對Facebook翻譯功能使用的機器學習技術起到了幫助,這項技術每天被應用到40多億帖子中。
在圖片和視頻領域,AML團隊則開發了一套名為Lumos的機器學習視覺平臺。這個平臺最早源自馬諾哈·帕魯麗(Manohar Paluri),當時身為FAIR實習生的他負責開發一個宏偉的機器學習項目,他稱之為“Facebook的視覺皮質”——其目的是處理和理解Facebook上發布的所有圖片和視頻內容。
應用計算機視覺團隊負責人馬諾哈·帕魯麗
在2014年的一場黑客松活動上,帕魯麗和同事尼基爾·喬里(Nikhil Johri)用一天半時間開發了一個原型產品,并將結果展示給滿懷熱情的扎克伯格和Facebook COO雪莉·桑德伯格(Sheryl Sandberg)。
當坎德拉組建AML事業部后,帕魯麗與他一同領導計算機視覺團隊,并開發了Lumos,幫助所有Facebook工程師(包括Instagram、Messenger、WhatsApp和Oculus)充分利用這個視覺皮質。
有了Lumos,“公司里的任何人都可以使用這些多樣化的神經網絡上的功能,然后針對他們特定的場景構建各種模型,了解實際運行效果。”帕魯麗說,他同時任職于AML和FAIR兩個團隊,“最后可以讓一個人來給系統糾錯,對其重新訓練,然后推動它進步,不需要AML團隊再介入其中。”
帕魯麗給我簡單地展示了效果。他在筆記本上啟動Lumos,然后運行了一個樣本任務:提煉神經網絡對直升機的識別能力。有一個頁面上包含很多圖片——如果我們不斷滾屏,大約會有5000張圖片——里面有很多直升機照片,還有一些類似直升機的東西。(一個是玩具直升機,還有一些則是像直升機一樣飄在空中的物體。)
在訓練過程中,Facebook使用了公開發布的圖片(不包括僅限于好友或部分用戶查看的內容)。即便我并不是工程師,對人工智能技術更談不上精通,但我卻可以輕而易舉地找到負面例子來訓練系統構建“直升機圖片分類器”。
最終,這個被稱作“監督式學習”的歸類步驟可能更加自動化,因為該公司正在追求機器學習領域的圣杯——“非監督式學習”——在這種模式下,神經網絡可以自己判斷這些圖片中究竟是什么內容。帕魯麗表示,該公司已經取得了一些進展。“我們的目標是在未來1年將人類的注釋減少100倍。”他說。
從長遠來看,Facebook認為視覺皮質將與自然語言平臺共同成為坎德拉所謂的通用內容理解引擎。“我們最終無疑會將它們融為一體。”帕魯麗說,“到那時,我們就會直接開發‘皮質’。”
Facebook希望他們在技術進步中使用的核心原則可以通過發表論文等方式傳播到公司外部,利用這種民主化模式更加廣泛地傳播機器學習技術。“你不必再花費漫長的時間開發智能應用,速度可以大幅加快。”梅哈納說,“想象一下這項技術對制藥、安全和交通的影響。我認為,在這些領域開發應用的速度可以加快好幾百個量級。”
面臨無解難題
盡管AML已經深度融合到研發流程之中,為該公司的產品賦予了視覺、分析甚至語言能力,但該公司CEO扎克伯格還認為,在他努力利用Facebook為社會創造福利的過程中,這項技術將起到至關重要的作用。
在扎克伯格之前發表的5700字宣言中,這位CEO 7次提到了“人工智能”或“AI”,都是在描述如何利用機器學習和其他技術提升社會安全性和信息量的背景下提到的。
要實現這些目標并非易事,這與坎德拉最初對AML的職位猶豫不決時的原因相同。如果你試圖成為主要的信息來源,并為數十億用戶構建個人關系,即使是機器學習也無法解決這一過程中面臨的所有人為問題。正因如此,Facebook才不斷修改News Feed算法——當你自己都無法真正確定時,又該如何通過訓練讓系統給出最優組合呢?
“我認為這個問題幾乎無解。”坎德拉說,“如果隨機展示新聞,你會覺得浪費時間。如果只展示來自朋友的新聞,那就會贏家通吃。最終會不停地討論兩種極端情況之間的哪個狀態才是最好的。我們試圖展開一些探索。”
Facebook將繼續使用人工智能來解決這個問題,這已經成為其在每個領域發展的基礎動力。“機器學習和人工智能領域有很多研究都希望能夠優化合適的探索水平。”坎德拉滿懷希望地說。
當Facebook被人當做假新聞的元兇時,他們自然會要求人工智能團隊盡快從該平臺上清洗所有的新聞毒瘤。這是一場罕見的全員行動,甚至連一向著眼長期前景的FAIR團隊也參與進來。勒坤表示,該團隊擔任顧問的角色。
結果,在FAIR的努力下,他們已經開發出一款有助于解決該問題的工具:一個名為WorldVec(vec是“向量”的縮寫)的工具。WorldVec為神經網絡增加了某種記憶能力,幫助Facebook給所有內容都貼上信息標簽,例如它的來源,以及都有哪些人分享過這些內容。
借助這些信息,Facebook便可了解假新聞的分享特征,并使用該公司的機器學習算法根除毒瘤。“結果表明,尋找假新聞并不像判斷人們最喜歡哪些內容那么困難。”勒坤說。
坎德拉的團隊之前開發的系統加快了Facebook推出這些審核產品的速度。這些產品的具體表現仍然有待觀察。坎德拉表示,現在就通過數據展示該公司利用算法減少了多少假新聞,還為時過早。
但無論這些新的措施是否奏效,這些困惑本身還是引發了一個問題:這種用算法解決問題的模式——在機器學習時代得以進一步加強——是否會不可避免地帶來有害的結果。很顯然,有人認為這已經在2016年發生了。
坎德拉否認這種觀點。“我認為我們把世界變得更加美好。”坎德拉還主動講了個故事。就在他接受采訪的那天,坎德拉給他在Facebook上的一個聯系人打了個電話——那人是他朋友的父親,他們之前只見過一面。
他看到那人發了許多支持特朗普的內容,并對這些內容感到困惑。隨后,坎德拉意識到,他的工作是根據數據制定決策,而他卻忽視了重要信息。所以,他給那人發了信息,希望跟他聊聊。那位聯系人同意了,于是,他撥通了電話。
“這并沒有改變我身處的現實,但卻讓我以截然不同的方式來看待事情。”坎德拉說,“在沒有Facebook的世界里,我永遠不會有這樣的聯系人。”
換句話說,盡管人工智能成為Facebook的關鍵元素,甚至事關這個平臺的存亡,但它卻并非唯一答案。“現在的挑戰在于,人工智能仍處于初級階段。”坎德拉說,“我們才剛剛起步。”
評論
查看更多