大模型就像新世界的小火花,它是互聯網大數據時代發展到一定階段必然會迸發出來的產物;今天的人工智能的范式可能還是處于非常早期的階段。就像“日心說”和“地心說”,當人類敢于把自己從中心位置挪開,認知的角度發生改變的時候,往往就是人類文明進步的開始。
大模型作為一項重大里程碑式的技術變革,正在給人類社會帶來什么?有哪些機遇和挑戰?它的技術發展、商業模式、生態建設正處于什么階段?在11月7日舉行的“上海之巔 論道AI”大模型閉門會上,螞蟻集團首席技術官何征宇分享了螞蟻的思考和實踐。
何征宇認為,大模型就像新世界的小火花,它是互聯網大數據時代發展到一定階段必然會迸發出來的產物。作為一個新世界的開端,大模型不是目的,甚至只是一個“鉆木取火”般產生類人智能的手段。我們需要從科學的角度去研究大模型的智能涌現現象,發現它背后的原理,才能理解它的能力與局限,真正釋放它的內在價值。他也介紹了螞蟻堅決投入大模型的三個方向:全棧布局、長線發展、服務產業。
該會議由財聯社、《科創板日報》與上海市人工智能行業協會聯合主辦,來自人工智能行業領軍學者、知名上市公司、大模型企業和投資機構的高層共50多名代表參會。
以下內容整理自何征宇的現場分享。
▌“GPT有上界,但我們對智能算法的追求無上界”
今天我們為什么會在這里談論大模型?我認為大模型的出現是一個歷史的必然,它源自于人類對于自身的好奇,也建立在人類發展過程中若干次偉大創造的基礎之上。
一是文字的發明,讓人類有了抽象、沉淀和傳播知識的方法。一個人的壽命是有限的,但有了文字之后,人類才可能一代一代將知識總結并且傳承下來。
二是互聯網的產生,讓知識可以快速流動,并且匯聚起來。今天我們看到的大模型的所有語料,在沒有互聯網的時代是不可想象的。就算是現代圖書館里記錄的知識,對于今天大模型的語料來說也只是滄海一粟。沒有互聯網,就無法把世界上的知識匯聚到一起,無法去探究真實世界的語言分布,我們今天就不可能聊大模型是不是世界模型這個問題。
三是找到了GPT這個高效的知識壓縮方法。OpenAI為什么做這么快?我認為OpenAI無比地堅信他們找到了大模型的第一性原理——知識的無損壓縮等于智能。這一點直到今天科學界、哲學界也沒有詳細論證過,但是OpenAI堅信這一點,他們也找到了一些很好的工程實現的方法,把這個事情做了出來。
從螞蟻集團視角,我們是把大模型這個新的技術提升到戰略角度來研究的,我們首先要看清它的本質。微軟出過一篇文章,叫做《Sparks of Artificial General Intelligence: Early Experiments with GPT-4》, 他們覺得GPT4是AGI的一個小火花。我延伸一下,我認為大模型是新世界的小火花。這里有兩層意思。
第一層意思,它只是個小火花,GPT4的智能能力是個現象,不是發明。
今天我們更加為之興奮的其實是大模型帶來的智能水平,或者說智能涌現現象,它到底是個發明還是一個發現?我認為就像原始人看到火一樣,他首先看到的就是一個自然現象:樹被雷劈了,有火生起來。原始人初次看到火的時候,肯定會害怕,就像很多人看到AI會很害怕一樣。后來原始人發現火能夠驅趕野獸,甚至碰一碰有點痛,但他們搞不清楚這個東西是什么,只是覺得很厲害,馬上就有“拜圣火教”。
AI也是一樣?,F在也有可能存在一部分人恐懼AI,要求徹底禁止AI研究,而另外一部分人盲目崇拜AI的現象。但是我覺得,只有當有那么一群人嘗試去理解火到底是什么,然后開始能夠掌握火,才可以推動人類文明的發展。
人類控制火的水平也是人類劃分時代的方法:從石器時代到青銅時代最關鍵的是火帶來了冶煉技術,讓人類能夠制作金屬工具,解放了生產力。從青銅時代到鐵器時代是因為人類掌握了更高的火的溫度。到現在人類掌握了火箭技術,并因此很可能成為跨行星物種。這背后更重要的是我們弄清楚了火產生的原理,是一種氧化反應。最先進的火箭技術也是對火的更高級的控制技術。
我拿火種來比喻人工智能,是因為我認為今天大模型迸發的智能涌現現象就好像是一群原始人看到了火種。今天我們看到了GPT,大家都覺得成本很高,不經濟不環保,ROI不高。若干年后我們回頭看,可能覺得今天的GPT, 甚至現在所有的大模型的訓練方法,不過是“鉆木取火”帶來的一點小火花而已。
第二層意思,這個小火花很重要。
正如螞蟻集團董事長兼CEO井賢棟在2023年第二屆外灘大會上所講,“大模型不只是一個新技術,是一個新世界”。因為我們認為由于計算的不可規約性,也是算法熵壓縮的不可計算性,知識壓縮算法的優化是無止境的。
舉個例子,很多人會說圓周率是不可壓縮的,因為它沒有規律。但是人類就有這個智慧,可以寫一段程序來計算圓周率。那是不是這段程序就是壓縮后的圓周率了呢?而且還可以跟其他知識混合,再繼續壓縮這段程序?因此,知識的壓縮可能是無止境的,而且事實上現在大家在更小的模型規模上也觀測到了智能涌現的現象。我們也應該在算法優化,工程實現上持續探索,我相信還有更好的產生智能的知識壓縮方法等待我們去發現。
▌看到AI深“黑盒”面
現在AI所表現出來的好像什么都能干,但是你會發現他跟精神病一樣,一本正經地胡說八道。人一本正經胡說八道的時候,自己是知道的。但是AI胡說八道的時候,它自己是不知道的。
螞蟻也一直在研究AI的安全可信。我們覺得大模型有非常多的風險,它的挑戰也是巨大的。
第一是認知一致性對齊。為什么會有這個擔心?因為AI的價值觀可能跟人類的價值觀從來就不可能對齊,目前看只靠大模型技術本身是不太可能實現這個目標的,除非有搜索增強或者知識圖譜,甚至更多技術的幫助。
第二是決策白盒化。如果真的把大模型用到決策系統中,一定是要白盒化。例如,當你在做一筆支付的時候,如果被拒付了,你一定會打電話給客服了解為什么會拒付?如果我們只能告訴你這是大模型決策的,我相信一定會被投訴。所以大模型要真正用在決策場景,一定要有白盒化的能力。
第三是交流協同演進。市面上有各種通用大模型,但事實上各有特點。人類之所以能夠發展到今天,不是因為一兩個人的智慧,如何像人類社會一樣集百家之長,取得突破進展?我認為需要協作。大模型之間如何能夠更好的協作,不是說簡單的從語料層面,或者是從API層面去打通,而是大模型之間能夠有一個協同演進的機制。我們覺得這也是未來的一個關鍵挑戰。
▌螞蟻為什么堅定投入大模型
我們判斷,螞蟻不能錯過這次技術范式的演進和變革。我們下了很大的功夫研究,投入的資源也非常大。11月6日,根據國家七部委聯合公布的《生成式人工智能服務管理暫行辦法》指導要求,螞蟻百靈大模型完成備案,基于百靈大模型的多款產品已陸續完成內測,將向公眾開放。在這里,我也介紹下螞蟻集團對大模型的整體布局。
第一,全棧布局。
我們覺得它是一個新的技術,我們有原始人看到火一樣的興奮。我們全棧布局的邏輯就是這么來的,我們一定要研究清楚,并且研究到其化學反應的本質。螞蟻大模型堅持自主研發、全棧布局,目前已形成包括大模型底層基礎設施、基礎大模型、行業大模型、應用產品在內的完整技術鏈條。我們是從集群開始自己搭的,螞蟻建設了超過萬卡的異構集群,其中硬件算力效率(HFU)超過60%,集群有效訓練時長占比90%以上,RLHF訓練在同等模型效果下訓練吞吐性能相較于業界方案提升3.59倍,推理性能相較于業界方案提升約2倍。
第二,長線發展。
從螞蟻的角度來看,大模型是一個基礎技術,基礎技術就要堅持長期主義,做好長期不賺錢的準備,至少在我們看來,它不是一個今天就可以拿出來賺錢的技術。在沒有完全搞清楚它的風險與危害之前,我們會做一些積極的應用嘗試,但會避免貿然直接使用在商業場景。
第三,要面向產業,面向消費者,面向很多好玩的東西。
我們覺得大模型真正歷史性的突破是幫助行業生產力提升,而且有可能讓人類社會生產力劇增。我們做大模型技術的最終目標還是會面向產業,也包括金融產業、醫療產業等專業服務場景,幫助他們去做產業升級。
另外,螞蟻在大模型的安全上堅決投入。
任何一項技術都有它的不可控性。我們分析下來,大模型安全還有若干個難點。第一是不可控;第二是覆蓋面廣,任何東西都可以生成;第三就是,安全的本質其實還是對抗,一定會有壞人來濫用這個技術;第四就是防護的時效性等問題。
安全力方面,螞蟻研發了大模型安全一體化解決方案——“蟻天鑒”。“蟻鑒”平臺作為業內首個工業級大模型應用的安全評測產品,可支持每天50萬飽和式攻擊,全面覆蓋生成內容數百類風險;“天鑒”平臺可在大模型運行時,采用大模型對抗大模型的方式,對風險進行防御。其中前置安全護欄功能,能精確召回20多類提問風險意圖,對生成內容的風險攔截率提升99.7%。
同時我們也特別關注AI倫理問題。我們和螞蟻集團法務團隊一起,邀請了很多外部的倫理專家法律專家,幫我們導入了一些常識性的倫理問題來強化我們的大模型。
▌結語
怎么用AI、大模型技術,為人類提供一個更好的智能化工具,提升生活幸福感,這是我們一直在追求的。
我們覺得大模型也不是AI的全部,AI 是個更大的范疇。通用人工智能是我們的目標,大模型不是目的,它是一個手段,甚至只是剛才講的“鉆木取火”的手段,可能并不是最好的獲得類人智能的手段。人腦大概只用40瓦就足夠每天做很多很多的推理。今天的人工智能的范式可能還是處于非常早期的階段。就像“日心說”和“地心說”,當人類敢于把自己從中心位置挪開,認知的角度發生改變的時候,往往就是人類文明進步的開始。大模型也是一樣的道理,要看到大模型智能涌現現象背后的本質。當我們徹底理解它的時候,或許我們才真正迎來“日心說”一般劃時代的技術革命。
為了這一天的到來,我們愿意和同行一起,分享前行中的實踐和經驗,共建行業的標準和生態。為一個真正通用人工智能時代的到來,一起努力。
謝謝大家。
-
人工智能
+關注
關注
1792文章
47424瀏覽量
238948 -
螞蟻集團
+關注
關注
0文章
98瀏覽量
3622 -
大模型
+關注
關注
2文章
2488瀏覽量
2856
原文標題:螞蟻集團CTO何征宇:大模型是新世界的小火花
文章出處:【微信號:chinastarmarket,微信公眾號:科創板日報】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論