在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

從AI遠見到中國速度:Scaling Law發(fā)現者為何引全球熱議?

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2025-01-02 10:01 ? 次閱讀

wKgZPGd0j56AOnsTAAoVKGcMjA4974.jpg

從20世紀50年代起,AI技術經歷了70多年的發(fā)展。其間多種技術曾占據不同時代的高位,而當時間來到21世紀20年代,抵達我們今天正在經歷的新一輪AI崛起,預訓練大模型毫無疑問就是這個時代的主角。

那么,究竟是誰點燃了這次AI爆發(fā)的星星之火,推開了大模型的大門?相信你把這個問題拋給不那么了解AI的朋友,他也會脫口而出:是OpenAI啊。但就像大模型會出現幻覺一樣,最近外網全面熱議的一件事告訴我們,這個答案也可能摻雜了一些幻覺成分。

Scaling Law規(guī)模化法則,也被稱為大模型的尺度定律。這一定律揭示了大語言模型的模型性能與其規(guī)模、訓練數據集大小,以及訓練資源之間存在著一種可預測的關系。也就是說投入資源越多,模型規(guī)模越大,最終的模型效果也就可能越好。從AI模型走向AI大模型,以及采取預訓練機制的必要性都是由此而產生。因此Scaling Law也被業(yè)界廣泛認為是模型預訓練的第一性原理。

但就這項核心理論的起源,最近卻有一項討論火爆外網。根據AI大佬爆料,以及《南華早報》等權威媒體的報道,中國科技巨頭百度比OpenAI更早發(fā)現了這一原理。這也意味著中國AI在大模型時代的前瞻性探索上可能更為超前。

而“AI突破總來自百度”這一現象的背后,更展示了體系化AI創(chuàng)新的核心價值。如何在全球AI競賽的大背景下,全面釋放出百度的體系化AI創(chuàng)新價值,將是未來中國AI發(fā)展的核心課題。

wKgZPGd0j6CARJi4AAKENT7TeGk383.jpg

事情的起源是這樣的。11月12日,在Lex Fridman的播客節(jié)目中,Anthropic聯合創(chuàng)始人&CEO Dario Amodei探討了Claude、AI模型的擴展規(guī)律、AGI、AI未來等多個話題。其中,作為AI領軍人物的Dario Amodei也談到了Scaling Law這個關鍵規(guī)律的發(fā)現。他提到了他最早發(fā)現這個規(guī)律,始于此前在百度工作時的相關研究。根據資料顯示,Dario Amodei于2014 年 11 月到2015 年 10 月期間在百度工作,當時他在百度硅谷人工智能實驗室(SVAIL)工作,致力于將深度學習模型擴展到大規(guī)模高性能計算系統。

Dario Amodei提到,2014年與吳恩達在百度研究AI的時候,他就已經發(fā)現了模型發(fā)展的規(guī)律Scaling Law,“隨著你給它們提供更多數據,隨著你讓模型變大,隨著你訓練它們的時間越來越長,模型的表現開始越來越好。當時我并沒有精確地衡量,但我和同事們都非常非正式的感覺到,給這些模型的數據越多、計算越多、訓練越多,它們的表現就越好”。

這個說法很快也得到了其他途徑的權威證明。11月27日,Meta研究員、康奈爾大學博士候選人Jack Morris在X上表示,“大多數人不知道,關于Scaling Law的原始研究來自2017年的百度,而不是2020年的OpenAI”。

這個說法的來源是,在百度于2017年發(fā)表的論文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》論文當中,已經對Scaling Law做出了詳細研究,并探討了機器翻譯、語言建模等領域的Scaling現象。業(yè)內人士認為,這篇論文的重要性被嚴重忽視了。

而透過這次全球AI界的正本清源,我們真正能夠看到的是百度在AI領域的前瞻性與系統化創(chuàng)新能力。很多AI的答案總是由百度來找到,已經成為業(yè)界的全新共識。

wKgZPGd0j6GAdRQ2AAIJDicu7_g848.jpg

十年之前,互聯網技術正在持續(xù)發(fā)展,移動時代正處在高位。當時幾乎沒有哪家科技公司愿意從眼前的利益中抽身,去看看更遙遠的未來。

但如果每家科技企業(yè)都固守短期利益,那么當科技拐點到來,下一輪技術突破開啟,整個社會的科技競爭力不足就會暴露出來。我們只能重復一次又一次科技模仿者的角色。

好在百度決定打破這個循環(huán),用預判能力提前點燃AI的星星之火。這種預判性,已經為百度,乃至為整個中國AI領域帶來了極大效益。比如盡管外部剛剛爆料出百度更早發(fā)現Scaling Law的信息。但百度早已經基于對Scaling Law的研究和理解,很早就投入到預訓練大模型的工作當中。于是可以在全球第一梯隊發(fā)布大模型技術,率先打造投入應用的AIGC產品

早在2013年1月的百度年會上,李彥宏宣布成立了深度學習研究院,并親自任院長。李彥宏認為,“這應該是全球企業(yè)界第一家用深度學習來命名的研究院”。這意味著,在全球大多數科技企業(yè)對AI的認知停留在科幻電影的階段,百度已經率先將AI技術作為學術研究與業(yè)務落地的發(fā)展方向,繼而開始體系化、系統化進行AI創(chuàng)新。

多年以來,百度在硬件、基礎軟件、模型算法、業(yè)務落地等維度進行了AI探索。后來的事實也證明,對單項AI技術的投入只能是模仿,只有從源頭上進行體系化研發(fā)投入,才能提供源源不斷的AI創(chuàng)新成果。由李彥宏的前瞻性出發(fā),啟動搭建的百度AI系統,讓百度十年來成為AI人才、AI技術與AI基礎設施的策源地。

從人才角度看,全球AI人才看到了百度AI的未來,爭相加入到這個體系中來。比如說2014年,吳恩達加入百度并在研究院首席科學家,擔任百度公司首席科學家,負責百度研究院的領導工作。2014年5月19日,百度宣布任命吳恩達博士為百度首席科學家,全面負責百度研究院。同樣在2014年,Dario Amodei斯坦福博士后畢業(yè)后加入百度硅谷AI實驗室。之后,Dario amodei又招募了Jim fan來百度實習。這些人后來都成為AI爆發(fā)的全球領軍人物,將百度的AI積淀帶向世界。

從業(yè)務發(fā)展的角度看,百度在自然語言處理、機器視覺、知識圖譜等領域打下了堅實的技術底座,并率先將AI技術帶到搜索、信息流、地圖、自動駕駛等核心業(yè)務,全面迭代了科技行業(yè)與AI技術的關系,為未來千行百業(yè)的智能化指定了航標。

wKgZO2d0j6KACBkMAAEGvfuoUdA926.jpg

從基礎設施的角度看,百度打造的飛槳+文心大模型體系已經成為AI開發(fā)者與產業(yè)智能化共同依托的技術底座。目前,飛槳文心開發(fā)者數量已達1808萬,服務了43萬家企業(yè),創(chuàng)建了101萬個模型。百度已經成為AI模型與AI開發(fā)者的搖籃。

不至Scaling Law,百度在AI領域點燃了無數星星之火。它們燃燒盛放,成為中國AI在全球賽場上的動力引擎。

wKgZPGd0j6KAFenJAAI_1dt3V74825.jpg

時間來到今天,預訓練大模型驅動全球新一輪科技革命。在這個階段當中,百度憑借跨越十年的AI洞見,以及由此打造的體系化AI創(chuàng)新,全面提升了中國AI的發(fā)展加速度。

比如說,百度在2019年發(fā)布了第一代文心大模型,幾乎與OpenAI處于同一時期;2023年,百度是全球第一家推出生成式AI產品的科技大廠,讓中國用戶有了與無時間差的AI革命體驗。

今天,百度文心大模型日調用量已經超過15億。對比今年5月2億的日調用量,半年時間達到了原來的7.5倍,對比一年前5000萬的日調用量,達到了30倍。文心已經真正成為中國預訓練大模型的底牌與王炸。

而把百度的前瞻能力與體系化AI創(chuàng)新,放在更大的全球科技競賽背景中看,會發(fā)現其有著極其深遠的意義。

日前,外媒Axios援引知情人士消息,美國候選總統特朗普計劃任命一位人工智能部長(AI czar),以協調聯邦政策和政府對新興技術的使用。“AI部長”將在集中公共和私人資源方面發(fā)揮作用,確保美國在全球范圍內占有人工智能發(fā)展的領先地位。這預示著特朗普下一個任期內AI技術發(fā)展將加速迎來變局。AI對于社會經濟、國家戰(zhàn)略的意義正被推升到史無前例的高度。

在全球AI競賽的必然趨勢下,百度的深入積累的AI技術路徑、研究方法與工程化實踐、應用探索,都將成為未來中國AI加速度的來源。

如何透過Scaling Law的全球熱議,看清百度AI基座的不可替代性,并將這種價值應用在未來必將發(fā)生的AI競賽中,將是中國AI接下來一個深刻且富有想象力的命題。

wKgZPGd0j6OACrhwAAHf5oVXuhw127.jpg

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    31359

    瀏覽量

    269761
  • 大模型
    +關注

    關注

    2

    文章

    2519

    瀏覽量

    2970
收藏 人收藏

    評論

    相關推薦

    2025年:大模型Scaling Law還能繼續(xù)嗎

    模型在推理能力方面是一個重要的進步。 然而,最近關于人工智能進展停滯的報道中包含了一種對進展速度的悲觀情緒。許多人可能仍然在思考大型語言模型(LLM)擴展法則,這些法則預測計算、數據和模型大小的增加將導致更好的模型,是否已經“遇到了瓶頸”。我們是否達到了基
    的頭像 發(fā)表于 01-15 14:32 ?77次閱讀
    2025年:大模型<b class='flag-5'>Scaling</b> <b class='flag-5'>Law</b>還能繼續(xù)嗎

    行芯亮相2024中國AI芯片開發(fā)論壇

    此前,2024年12月5日-6日,由車乾信息和設計網聯合主辦的“2024中國AI芯片開發(fā)論壇”在深圳召開。在數字化、智能化時代背景下,人工智能技術正以前所未有的
    的頭像 發(fā)表于 12-09 11:17 ?286次閱讀

    訊飛星火低代碼智能體平臺全新升級

    Scaling Law魔法觸達瓶頸,智能體正在創(chuàng)造下一個風口。
    的頭像 發(fā)表于 11-28 14:42 ?557次閱讀

    2024深圳 | 中國AI芯片開發(fā)論壇

    “2024中國AI芯片開發(fā)論壇”將于12月5-6日在深圳舉辦。本次論壇由車乾信息&設計網主辦,深圳工業(yè)展協辦,本次論壇重點探討:高算力AI
    的頭像 發(fā)表于 11-20 01:02 ?1013次閱讀
    2024深圳 | <b class='flag-5'>中國</b><b class='flag-5'>AI</b>芯片開發(fā)<b class='flag-5'>者</b>論壇

    OpenAI開啟推理算力新Scaling LawAI PC和CPU的機會來了

    大模型應用的角度看,知識檢索和AI推理將不再涇渭分明,而是深度交織、彼此強化。在這樣一個智能融合的未來圖景中,CPU作為連接存儲、網絡和各類加速器的紐帶,其地位將變得舉足輕重。
    的頭像 發(fā)表于 09-27 16:20 ?640次閱讀
    OpenAI開啟推理算力新<b class='flag-5'>Scaling</b> <b class='flag-5'>Law</b>,<b class='flag-5'>AI</b> PC和CPU的機會來了

    浪潮信息趙帥:開放計算創(chuàng)新 應對Scaling Law挑戰(zhàn)

    Scaling Law帶來的AI基礎設施Scale up和Scale out的挑戰(zhàn),數據中心需要以開放創(chuàng)新加速算力系統、管理和基礎設施的全向Scale進程,推動AI產業(yè)的創(chuàng)新發(fā)展。 ?
    的頭像 發(fā)表于 08-15 16:02 ?316次閱讀
    浪潮信息趙帥:開放計算創(chuàng)新 應對<b class='flag-5'>Scaling</b> <b class='flag-5'>Law</b>挑戰(zhàn)

    RISC-V在中國的發(fā)展機遇有哪些場景?

    聯網市場的重要參與,擁有龐大的用戶基數和豐富的應用場景。RISC-V在中國的發(fā)展將受益于這一市場需求的增長。 2. 人工智能(AIAI算力需求:隨著人工智能技術的廣泛應用,對算力
    發(fā)表于 07-29 17:14

    全球智慧領袖共襄2024 TUYA全球開發(fā)大會,開啟智慧商業(yè)新紀元

    ,深入探討了生成式AI在千行百業(yè)的創(chuàng)新應用和最佳實踐。其中,以“開發(fā)引領行業(yè)創(chuàng)新發(fā)展”為主題的分論壇引發(fā)全場。Delos亞洲區(qū)總裁、國際WELL建筑研究院亞洲區(qū)總
    的頭像 發(fā)表于 06-07 08:15 ?480次閱讀
    <b class='flag-5'>全球</b>智慧領袖共襄2024 TUYA<b class='flag-5'>全球</b>開發(fā)<b class='flag-5'>者</b>大會,開啟智慧商業(yè)新紀元

    全球智慧領袖共襄2024 TUYA全球開發(fā)大會,開啟智慧商業(yè)新紀元

    涂鴉智能(NYSE: TUYA,HKEX: 2391)攜手來自全球開發(fā),深入探討了生成式AI在千行百業(yè)的創(chuàng)新應用和最佳實踐。 其中,以“開發(fā)引領行業(yè)創(chuàng)新發(fā)展”為主題的分論壇引發(fā)全場
    的頭像 發(fā)表于 06-03 14:51 ?611次閱讀
    <b class='flag-5'>全球</b>智慧領袖共襄2024 TUYA<b class='flag-5'>全球</b>開發(fā)<b class='flag-5'>者</b>大會,開啟智慧商業(yè)新紀元

    2024 TUYA全球開發(fā)大會盛大啟幕,Cube AI大模型重磅首發(fā)!

    AI浪潮席卷全球的當下,把握時代脈搏,全面擁抱生成式AI已成為共識。面對AI帶來的無限可能,開發(fā)們紛紛投身其中,積極探尋
    的頭像 發(fā)表于 05-31 08:15 ?388次閱讀
    2024 TUYA<b class='flag-5'>全球</b>開發(fā)<b class='flag-5'>者</b>大會盛大啟幕,Cube <b class='flag-5'>AI</b>大模型重磅首發(fā)!

    2024 TUYA全球開發(fā)大會盛大啟幕,Cube AI大模型重磅首發(fā)!

    AI浪潮席卷全球的當下,把握時代脈搏,全面擁抱生成式AI已成為共識。面對AI帶來的無限可能,開發(fā)們紛紛投身其中,積極探尋
    發(fā)表于 05-30 09:13 ?241次閱讀
    2024 TUYA<b class='flag-5'>全球</b>開發(fā)<b class='flag-5'>者</b>大會盛大啟幕,Cube <b class='flag-5'>AI</b>大模型重磅首發(fā)!

    王力新一代AI靈犀系列旗艦新品震撼發(fā)布,遙感技術3.0行業(yè)

    AI靈犀,前“鎖”未見。5月21日,全國安防門鎖首家上市企業(yè)王力新一代AI靈犀系列旗艦新品全球發(fā)布會在中國永康隆重舉行。王力董事長王躍斌、王力研究院執(zhí)行院長徐念龍博士等公司領導,
    的頭像 發(fā)表于 05-22 13:35 ?347次閱讀

    華為Pura70 Ultra手機AI消除功能公眾

    然而,近日有網友在網絡平臺展示利用該手機圖庫里的AI消除功能,對照片中女性胸部衣物進行涂抹的操作,該功能成功地將涂抹區(qū)域進行了修補,生成了相應的畫面,從而引起廣泛關注。隨后,官方已修復此問題。
    的頭像 發(fā)表于 04-26 15:18 ?1258次閱讀

    吉利多款轎車與小米SU7撞期,行業(yè),楊學良發(fā)聲

    領克于較近發(fā)布的07 EM-P引發(fā)網絡,某位博主甚至言辭激烈,稱此舉直接讓小米SU7多添一位競爭對手。然而吉利控股集團高級副總裁楊學良在后續(xù)的轉發(fā)聲明中提出希望公眾避免將吉利新車與小米SU7進行類比或對立
    的頭像 發(fā)表于 03-10 10:50 ?1442次閱讀

    機構預測:今年全球AI服務器數量可超160萬臺,增長40%

    160萬臺,年成長率達40%,而后續(xù)預期CSP也將會更積極投入。JAEALOT2024年1月22日1月17日,TrendForce集邦咨詢指出,AI話題,2024
    的頭像 發(fā)表于 01-26 08:26 ?919次閱讀
    機構預測:今年<b class='flag-5'>全球</b><b class='flag-5'>AI</b>服務器數量可超160萬臺,增長40%
    主站蜘蛛池模板: 久久狠色噜噜狠狠狠狠97| 欧美福利视频网站| 久久久久久久国产精品电影| 色偷偷.com| 狠狠干网站| 成人免费看黄网站无遮挡| 一区二区三区精品国产欧美| 亚洲一二三区在线观看| 狠狠天天| 西西人体44rt高清午夜| 国产呦系列呦交| 成人欧美另类人妖| 国产成人啪午夜精品网站| 轻点灬大ji巴太粗太大了小说 | 伊人精品视频在线| 天堂成人网| 欧美激情综合| 国产精品伦视频观看免费| 久久精品国产亚洲综合色| 国产精品高清一区二区三区不卡| 在线看片福利| 毛片观看网址| 欧美一级特黄aaaaaa在线看首页| 午夜干b| 免费欧美黄色片| 狂野欧美性色xo影院| 被啪漫画羞羞漫画| 超级淫小黄文大全很污的那种| 亚洲天堂成人网| 亚洲已满18点击进入在线观看| 天堂最新版免费观看| 噜噜噜噜噜久久久久久91| 在线女同免费观看网站| 国产综合在线观看视频| 亚洲一区免费观看| 婷婷激情视频| 日韩毛片高清免费| 狠狠色狠狠色综合| 日本一本在线视频| 婷婷在线网| 日韩精品视频免费观看|