人工智能(AI)技術(shù)的環(huán)境影響,近期引發(fā)了人們的普遍關(guān)注——我堅(jiān)信,這也將成為AI在未來(lái)十年內(nèi)的一大核心難題。這場(chǎng)對(duì)話始于艾倫AI研究所的最新研究,他們主張優(yōu)先考慮“綠色AI”的實(shí)現(xiàn)通道,即更多關(guān)注AI系統(tǒng)的能源效率。
這項(xiàng)研究的動(dòng)機(jī)在于,艾倫研究所發(fā)現(xiàn)目前AI領(lǐng)域的各類(lèi)重大進(jìn)步背后,都有驚人的碳排放量作為支撐。OpenAI發(fā)表于2018年的博文指出,自2012年以來(lái),全球超大規(guī)模AI訓(xùn)練所帶來(lái)的計(jì)算量增長(zhǎng)了30萬(wàn)倍。盡管該文沒(méi)有計(jì)算模型訓(xùn)練帶來(lái)的碳排放,但有人敏銳發(fā)現(xiàn)了問(wèn)題核心并給出答案。根據(jù)Emma Strubel及其同事發(fā)表的論文,美國(guó)人平均每年排放二氧化碳約3萬(wàn)6千噸。與之對(duì)應(yīng),訓(xùn)練并開(kāi)發(fā)一套運(yùn)用神經(jīng)結(jié)構(gòu)搜索技術(shù)的機(jī)器翻譯模型,總計(jì)將產(chǎn)生62萬(wàn)6千噸二氧化碳。
遺憾的是,從環(huán)境角度來(lái)看,這些所謂“紅色AI”項(xiàng)目造成的實(shí)際后果可能比報(bào)告上的更加糟糕。實(shí)際上,AI項(xiàng)目的時(shí)間、能源以及資金總成本通常要比帶來(lái)最終成果的階段性成本高出一個(gè)數(shù)量級(jí)。
現(xiàn)實(shí)情況在于,紅色AI項(xiàng)目還存在重要度、大量集中的趨勢(shì)(例如開(kāi)發(fā)新型對(duì)象檢測(cè)模型以改善復(fù)雜環(huán)境中的自主導(dǎo)航能力,或者從大量非結(jié)構(gòu)化Web數(shù)據(jù)中學(xué)習(xí)富文本表示等),這意味著只有大型科技企業(yè)以及一部分學(xué)術(shù)機(jī)構(gòu)才有能力掌握如此龐大的計(jì)算資源。換言之,超大的數(shù)據(jù)規(guī)模與高昂的計(jì)算成本,將導(dǎo)致小體量玩家完全插不上手。
那么,我們?cè)撊绾瓮苿?dòng)綠色AI的發(fā)展?或者說(shuō),我們應(yīng)不應(yīng)該不惜代價(jià)優(yōu)先推動(dòng)綠色AI項(xiàng)目?
紅色AI不一定是壞事
當(dāng)今,大部分所謂“紅色AI”項(xiàng)目,都將目標(biāo)定在推動(dòng)自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)以及其他重要AI領(lǐng)域的科學(xué)發(fā)展層面。雖然這類(lèi)項(xiàng)目的碳成本確實(shí)可觀,但對(duì)社會(huì)產(chǎn)生的積極影響同樣值得期待。
例如,人類(lèi)基因組計(jì)劃(HGP)花費(fèi)27億美元,耗時(shí)長(zhǎng)達(dá)13年,繪制出完整的人類(lèi)基因組圖。業(yè)界曾有觀點(diǎn),認(rèn)為人類(lèi)基因組計(jì)劃太過(guò)復(fù)雜、成本高昂而且缺少短時(shí)間內(nèi)帶來(lái)科學(xué)突破的潛力。但如今,我們完全能夠利用測(cè)序技術(shù)在數(shù)小時(shí)內(nèi)繪制出特定個(gè)體的基因組圖,成本約為100美元。而這項(xiàng)技術(shù)的存在,正是以人類(lèi)基因組計(jì)劃的主要成果(參考基因組)為前提。盡管當(dāng)初的計(jì)劃效率低下,但仍為未來(lái)可能全面實(shí)現(xiàn)的個(gè)性化醫(yī)療鋪平了道路。
同樣,衡量紅色AI項(xiàng)目的成本與成果也至關(guān)重要。紅色AI實(shí)驗(yàn)帶來(lái)的大量產(chǎn)出(例如,用于對(duì)象識(shí)別的圖像表示,以及自然語(yǔ)言處理中的單詞嵌入)也有望在更廣泛的應(yīng)用中發(fā)揮巨大的推動(dòng)作用。
通往綠色AI的道路
但無(wú)論具有怎樣的潛在科學(xué)回報(bào),紅色AI項(xiàng)目都注定存在不可持續(xù)性,由此帶來(lái)的環(huán)境問(wèn)題終將抹殺一切。仍然以之前提到的項(xiàng)目為例,人類(lèi)基因組計(jì)劃雖然成功完成了人類(lèi)基因測(cè)序工作,但只有成本更低的新型DNA預(yù)測(cè)技術(shù)才有可能使其真正得到推廣。換言之,AI社區(qū)必須在構(gòu)建深度學(xué)習(xí)模型時(shí),充分考慮到徹底能耗的必要性。
下面我分享一點(diǎn)個(gè)人拙見(jiàn),聊聊推動(dòng)行業(yè)轉(zhuǎn)向綠色AI的幾個(gè)可行步驟:
強(qiáng)調(diào)可重復(fù)性:可重復(fù)性與中間成果的共享,對(duì)于提升AI開(kāi)發(fā)效率至關(guān)重要。AI研究成果通常不會(huì)公開(kāi)代碼,否則其他研究人員會(huì)發(fā)現(xiàn)自己即使掌握同樣的代碼也無(wú)法完成結(jié)果重現(xiàn)。此外,研究人員在開(kāi)源工作中可能面臨種種內(nèi)部障礙。正是這些因素,導(dǎo)致如今人工智能領(lǐng)域的發(fā)展仍然以紅色AI項(xiàng)目為主導(dǎo)——這類(lèi)項(xiàng)目能夠用“暴力”解決可重復(fù)性問(wèn)題,同時(shí)阻止一切有效共享。但情況正在緩慢變化,NeruIPS等主影響力會(huì)議已經(jīng)在要求參會(huì)者提交可重復(fù)的代碼與研究論文。
提高硬件性能:最近幾年,專用型硬件迎來(lái)了一大波迅猛發(fā)展,它們不僅在深度學(xué)習(xí)任務(wù)當(dāng)中帶來(lái)更佳的性能水平,同時(shí)也顯著增強(qiáng)了能源效率(即每瓦性能產(chǎn)出)。AI社區(qū)對(duì)于GPU的旺盛需求,促使谷歌公司開(kāi)發(fā)出TPU,并將其推向芯片市場(chǎng)幫助用戶打造屬于自己的專用方案。在接下來(lái)的幾年內(nèi),相信英偉達(dá)、英特爾、SambaNova、Mythic、Graphcore以及Cerebras等廠商都將把硬件設(shè)計(jì)目標(biāo)集中在AI類(lèi)工作負(fù)載層面。
理解深度學(xué)習(xí):我們都知道深度學(xué)習(xí)技術(shù)行之有效,但這項(xiàng)已經(jīng)擁有數(shù)十發(fā)展歷史的技術(shù)之上,仍然籠罩著層層迷霧。目前的研究團(tuán)體并不完全理解深度學(xué)習(xí)為何有效以及如何起效。揭開(kāi)深度學(xué)習(xí)背后的基礎(chǔ)科學(xué),并對(duì)其優(yōu)勢(shì)及局限性做出正確表征,無(wú)疑有助于幫助從業(yè)者開(kāi)發(fā)出更加準(zhǔn)確高效的模型方案。
深度學(xué)習(xí)民主化:將深度學(xué)習(xí)的準(zhǔn)確度極限推向新的高度當(dāng)然令人興奮,但俗話常說(shuō),“完美是優(yōu)秀的天敵。”現(xiàn)有模型在廣泛對(duì)接應(yīng)用場(chǎng)景時(shí)已經(jīng)擁有充足的準(zhǔn)確度,而且?guī)缀醺鱾€(gè)行業(yè)及科學(xué)領(lǐng)域都可以從深度學(xué)習(xí)工具中受益。如果各個(gè)領(lǐng)域的人們都能接觸到這項(xiàng)技術(shù),我們絕對(duì)能夠在性能與能效等層面迎來(lái)無(wú)數(shù)令人驚訝的創(chuàng)新。
加強(qiáng)合作:世界上大多數(shù)企業(yè)都沒(méi)有構(gòu)建AI技術(shù)體系的能力,但這些企業(yè)的領(lǐng)導(dǎo)者已經(jīng)意識(shí)到,他們有必要將AI乃至深度學(xué)習(xí)技術(shù)介入未來(lái)的產(chǎn)品與服務(wù)當(dāng)中。企業(yè)應(yīng)當(dāng)積極與初創(chuàng)公司、孵化器項(xiàng)目以及高校建立合作伙伴關(guān)系,避免單槍匹馬面對(duì)AI發(fā)展戰(zhàn)略這一強(qiáng)敵。
雖然今天我們經(jīng)常能在硅谷的大街上看到跑來(lái)跑去的無(wú)人駕駛汽車(chē),并心生一種技術(shù)高峰已然到來(lái)的錯(cuò)覺(jué)——但請(qǐng)醒醒,我們的AI探索之旅才剛剛邁出第一步。
在航空領(lǐng)域,二十世紀(jì)初的飛行“先鋒時(shí)代”表現(xiàn)出重要項(xiàng)目分布于世界各地,但整體進(jìn)展非常緩慢的特征。而到五十年后的飛行“噴氣時(shí)代”,航空業(yè)經(jīng)歷了新的持續(xù)發(fā)展新周期——飛機(jī)變得更大、更安全、更快也更省油。為什么?因?yàn)楣こ虒W(xué)(例如渦輪發(fā)動(dòng)機(jī))與社會(huì)結(jié)構(gòu)(例如監(jiān)管機(jī)構(gòu))的根本性進(jìn)步,為飛行的民主化進(jìn)步帶來(lái)了必要的實(shí)現(xiàn)前提與推廣基礎(chǔ)。
2020年代,AI技術(shù)有望取得更令人難以置信的進(jìn)步。但就基礎(chǔ)設(shè)施與能源利用效率來(lái)看,我們恐怕仍處于“先鋒時(shí)代”。隨著AI研究的發(fā)展,我們必須努力為模型打造出最佳平臺(tái)、工具與方法,確保其易于訪問(wèn)且能夠輕松重現(xiàn)。只有這樣,高能效AI才能獲得不斷前進(jìn)的動(dòng)力。
-
AI
+關(guān)注
關(guān)注
87文章
31028瀏覽量
269381 -
人工智能
+關(guān)注
關(guān)注
1792文章
47373瀏覽量
238875 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5506瀏覽量
121258
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論