在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

曠視把開辟基礎算法新路的斧頭交給了28歲的年輕人

DPVg_AI_era ? 來源:lp ? 2019-04-23 10:45 ? 次閱讀

在高智商選手云集的AI領域,自詡靠“刷題”成功的張祥雨接連在CVPR、NIPS等頂會“中獎”,28歲就擔任小組leader,為公司開辟基礎算法新路。為什么曠視會把探索未來的重任交給他?

曠視把開辟基礎算法新路的斧頭交給了28歲的年輕人。

張祥雨,曠視研究院base model組負責人,帶領組里30多位年輕人為曠視尋找下一個兼具學術和產業價值的算法模型。

張祥雨在VALSE2019

在號稱平均年齡僅24歲的曠視研究院,28歲的張祥雨已經有leader的樣子:每天為團隊里來自清華、北大等名校的員工甚至實習生討論和規劃研究方向,他們的研究成果可能會決定公司下一個突破性的基礎技術。

實際上,就是這樣一個不到30歲的年輕人,在近年來深度學習推動學術和產業兩界發展的進程中,雖然身居幕后卻享有不世之功:2015年橫空出世的ResNet,張祥雨是主要作者之一,負責底層框架和編碼,跟一作何愷明打配合;之后又提出ShuffleNet,ShuffleNet憑借輕量級低功耗和高性能,成為曠視拿下OPPO、小米等手機大廠視覺訂單的技術核武器。

現在,張祥雨又把研究重點放到了另一個領域:AutoML。AutoML自動化設計、訓練AI模型,是用“計算換智能”的新范式。如果說手工設計AI模型是坦克的話,AutoML就是飛機,可以極大地加速產品及解決方案在各行業落地,大大降低人力操作成本。

張祥雨認為,70%的AI從業者依然從事著能被機器替代的重復性工作,AutoML這項看似會讓AI從業者“失業”的工作,他們從去年就已經開始了,這項工作的意義不僅僅能讓AI自動設計AI成為現實,更重要的是,還能夠讓曠視的產品和方案找到快速落地的捷徑,提升整個行業的AI建模和訓練效率,真正實現“以非凡科技,為客戶和社會持續創造最大價值”。

孫劍的第一個深度學習博士

跟曠視研究院院長孫劍的經歷一樣,張祥雨也是一名“土生土長”的西安交大人,從本科到博士都在西安交大就讀,在大三那年(2011年),張祥雨拿下了美國大學生數學建模競賽(MCM)特等獎提名獎(Finalist),當時創下西安交大參加該項競賽以來歷史最好成績。

憑借這次獲獎經歷,張祥雨獲得了后來到微軟亞洲研究院實習的資格。

獲得實習資格的有三人,但最終只有一個人能留下。當時還在微軟亞洲研究院擔任首席研究員的孫劍給這三人出了一道題:用一個月的時間,將人臉檢測的速度提升十倍。

這個任務現在來看比較容易實現,但當時還沒有引入深度學習,張祥雨就靠著對模型調參,用了三天左右的時間完成任務,孫劍看過之后當場決定留下張祥雨。

張祥雨之前并沒有做科研的經驗,這次有意思的實習考驗讓他初嘗到做科研的成就感。他也意識到走學術路線,需要到產業界去鍛煉。

到了微軟之后,張祥雨加入了視覺計算組,這個小組里的每一位成員名字放在當下來看都是業界大牛:小組負責人孫劍,組員包括何愷明、危夷晨、代季峰、袁路、曹旭東、任少卿等。

在組里,張祥雨尤其擅長編程,并且還是唯一一個會CUDA人。剛加入小組時,就憑借這一技之長成為多個項目的核心成員,比如幫助危夷晨做Head Dance游戲,為袁路做瀏覽器圖片布局等。

2013年,張祥雨面臨一個重要選擇:博士課題。當時受微軟亞洲研究院工作的一些影響,張祥雨傾向于做人臉這個領域。但是導師孫劍果斷讓他去做深度學習,“孫老師認為Deep learning以后必然會火,他一直非常有前瞻力,我很相信他”。

于是,張祥雨就成了孫劍組里第一個做深度學習的博士生。

他做的第一個深度學習相關的工作就是復現深度學習經典論文AlexNet,這篇由Alex Krizhevsky和2018年圖靈獎得主Geoffrey Hinton等人完成的論文,讓深度學習和神經網絡重新崛起。

張祥雨花了兩個月的時間對論文進行了復現,包括寫完底層全部code。

復現AlexNet的經歷算是深度學習的入門,之后他的主要工作是做框架、寫code。當時深度學習的框架非常少,于是張祥雨干脆自己寫了一個,包括CPUGPU的。

2013年底Caffe問世,為了對Caffe的模型做兼容,張祥雨就把接口也改成Caffe一樣,還起了個名字叫Caffe Pro。

這份code關鍵的一個亮點是支持圖優化,支持多卡,這為后來ResNet的誕生打下了基礎。

ResNet的誕生

在完成這份code以后,孫劍就把何愷明、任少卿、張祥雨拉到一起做深度學習,在組隊之前,何愷明做了圖像重建和哈希計算,任少卿做人臉。

經過一年的磨合,“何張任”組合在孫劍的帶領下小有所成,ECCV、TPAMI等國際視覺會議的論文中開始出現這三個二十多歲中國人的名字。

這幾位年輕人真正爆發是在2015年。

當時包括谷歌、百度在內的大廠都在參加ImageNet大規模視覺識別挑戰賽,當時人類識別圖像正確分類的誤差率為5.1%,誰能打破5.1%,就代表在這一領域機器超越了人類,而2014年最好的成績是6.67%,由谷歌創造,但依舊沒能實現5.1%,百度也積極嘗試,試圖第一個打破5.1%。

“何張任”組合決心跟大廠們硬剛一下。

事實證明,想要突破大廠們都還沒打破的記錄并非易事。主要是由于神經網絡想提升能力就得持續加深,但一加深就不收斂,導致實驗結果很不理想。

有一天,張祥雨突然意識到收斂的問題跟梯度消失有關系,如果做一些獨立性假設的話,是可以推出一套參數初始化的法則,讓梯度消失的問題解決。因此他推導出一組公式,后來在微軟內部命名為“xiangyu初始化法”。

接著,“何張任”組合又引入一種新的修正線性單元(ReLU),將其稱為參數化修正線性單元(PReLU),并且通過對修正線性單元的非線性特征進行直接建模,推導出一種符合理論的初始化方法,并直接從頭開始訓練網絡,將其應用于深度模型的收斂過程。

這種方法應用到比賽之后結果出爐:錯誤率已降低至4. 94%,超越人類!

不過,張祥雨認為,打破記錄確實可以長點臉,但是并不足以證明AI直接超過了人類。他們發現,挑戰到了后面就完全變成了一個工程問題,成了怎么用有限的資源訓練起來更大的網絡。

“其實我個人是非常不滿意的,因為雖然打敗了人類,但更多是一個噱頭,我們也知道這些方法并不很work,主要是靠調參和堆模型。”張祥雨說。

張祥雨又重新復盤,他發現2014年的ImageNet冠軍谷歌GoogLeNet只用了一點幾個G的復雜度就實現了非常高的準確度,他認為GoogLeNet可能是其他幾個模型的必經之路。

經過幾個月的研究,張祥雨發現,GoogLeNet最本質的是它那條1x1的shortcut。“說白了,可以把它簡化到最簡單,可以發現GoogLeNet只有兩條路,一條是1×1,另一條路是一1x1和一個3x3”。

到底是什么在很低的復雜度上支撐起了GoogLeNet這么高的性能?

張祥雨猜想,它的性能由它的深度決定,為了讓GoogLeNet 22層的網絡也能夠成功地訓練起來,它必須得有一條足夠短的直路。

基于這個思路,張祥雨開始設計一個模型,利用一個構造單元不斷的往上分,雖然模型結構的會非常復雜,但是不管怎么復雜,它永遠有一條路,但深度可以非常深。“我認為這種結構就可以保持足夠的精度,同時也非常好訓練,我把這個網絡稱為分形網。”

張祥雨把分形網的成果跟何愷明商量,何愷明的意見是:結構還是過于復雜。

“復雜的東西往往得不到本質”,何愷明一語中的,并建議進一步對這個模型進行化解,用它的一個簡化形式。

于是張祥雨又延伸之前的假設:最短的路,決定容易優化的程度;最長的路,決定模型的能力,因此能不能把最短路盡可能的短,短到層數為零?把最深的路,無限的變深?

基于這個思路,誕生了ResNet,有一條路沒有任何參數,可以認為層數是0。

“何愷明老師的研究思路對我啟發很大,從紛繁的結構中找出最work的本質屬性,這種極簡化的思想是ResNet的核心,并且使得ResNet有很強的泛化能力,任何人都可以在基礎上做各種修改,能啟發別人的研究。”張祥雨說。

ResNet提出后,“何張任”組合打比賽,張祥雨負責code部分,當年一下取得5項挑戰賽第一,“何張任”組合在導師孫劍的指導下獲2016年CVPR最佳論文獎,迄今單篇引用超20000,ResNet也成為計算機視覺領域最流行的框架之一。

從ShuffleNet到AutoML:年輕人拿起了公司戰略的斧頭

2016年7月,孫劍加盟曠視,擔任首席科學家,張祥雨也在博士畢業后追隨導師,開啟了在曠視工作的歷程。

而剛剛來到曠視,張祥雨便遇到了一個非常嚴峻的問題:產品落地較為困難,特別是在手機領域,實在沒有一個靠譜的網絡可以去依賴。

就在這時,作為論文評審的張祥雨審了一篇論文,這篇論文是Keras作者Fran?ois Chollet等人寫的,張祥雨比較認可論文里所提到的Xception網絡,他敏銳地意識到這個idea可以用于輕量級網絡設計,“以后絕對可以用到移動端”,是未來可發展的一個方向,并且還給了這篇論文一個Oral。

雖然這篇論文后來被另外的評審給否了,但是給張祥雨帶來非常大的靈感和啟發。不久之后,張祥雨和同事周昕宇開始一起研究移動端模型,在前期的工作基礎上提出了一個高性能模型,二人不謀而合,同時想到了一個想法——Shuffle。

二人在努力合作后,以共同一作的身份中標了CVPR,并且不論是從實驗結果還是對業界的影響上,ShuffleNet都是成為移動端網絡模型的杰出代表之一,2017年蘋果推出帶有3D人臉解鎖功能的iPhoneX ,安卓手機廠商隨后跟進,包括VIVO、小米還有錘子手機的人臉解鎖技術,其實就是ShuffleNet在背后提供計算,能夠讓各種配置不一的手機都能實現毫秒級人臉解鎖。

2018年,作為ShuffleNet的升級版,ShuffleNet V2 為ECCV 2018 所收錄。而在剛剛落幕的VALSE 2019中,ShuffleNet V2 一舉斬獲拿下 “VALSE 2018 年度杰出學生論文獎”。其論文技術及一套輕量高效模型方法論的提出,有遷移通用能力的同時,還兼具理論實踐意義和學術借鑒意義。

技術有時候是為了跟上業務需求,但對曠視和張祥雨而言,需要做出一些超前的底層技術,能夠讓技術預見到公司未來幾年戰略需求,同時還能拉開跟對手的差距,是最理想的情況,但這對一個年僅28歲的年輕人來說并非易事。

在關鍵時刻,導師孫劍的建議起到了非常重要的作用。當年張祥雨還是博士生時,孫劍建議他做深度學習;2017年,孫劍建議他做高性能網絡,2018年,孫劍建議做AutoML。

AutoML領域的研究,之前一直是被國外如谷歌、微軟等大企業“壟斷”的狀態,谷歌已經推出Cloud AutoML產品,走得非常前面,既能讓公司業務有很好的落地路徑,也給競爭對手造成了不小壓力。

經過一年多的研究,今年4月,張祥雨作為共同一作發表了曠視的第一篇AutoML技術論文。論文提出的超網絡包含所有子結構,只訓練一次,所有子結構便可以直接從超網絡獲得其權重,無需從頭訓練。實驗結果表明,在精度、內存消耗、訓練時間、模型搜索的有效性及靈活性方面最優,超過了谷歌、Facebook等公司AutoML的成績。

模型自動化是當前AI技術的一個趨勢和未來浪潮,也成為曠視人工智能框架Brain++的核心要素之一,拉通從數據到部署的算法全要素、全流程生產,曠視研究院的Brain++ AutoML將成為戰略升級的重要技術支撐。可以說,張祥雨的工作直接影響著公司未來業務。

大學也刷題,三年看1800篇論文

不同于曠視研究院常被提及的各類金牌得主、高智商神童,即便自己的學生生涯始終保持著Top1的績點,張祥雨也從不認為自己是“神童”型選手。“我資質真的一般,都是拼命刷題刷的。”

那么在高智商選手云集的AI領域,接連在CVPR、NIPS等頂會“中獎”的人為什么是他?28歲就能拿起斧頭為公司開辟基礎算法新路的人,為什么也是他?

在曠視研究院的工區,張祥雨的工位很難不被注意到,新智元看到在他桌子上高壘著兩摞紙,張祥雨說這是他最近在看的論文。

張祥雨工位上的論文

“從2016年到現在,我已經看了1800篇了,看過的都用軟件記下來”。粗略算一下,張祥雨平均每天看兩篇論文。而這只是他每天做實驗、管理團隊之余,停歇片刻去做的事情。

今年,4月16日,北京智源人工智能研究院發布“智源學者計劃”,公布了首批智源青年科學家候選人名單,張祥雨是九位候選人中最年輕的一位。

作為一位過來者,張祥雨也經歷了從求學到求職、從研究團隊的組員到組長的成長歷程。在新智元的專訪過程中,張祥雨也為年輕的學生或初入職場的新人提出了兩個建議:腳踏實地以夯實基礎和開拓視野以保持前瞻,他認為這兩點是AI領域從業者的必要素質,而他一直身體力行。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1796

    文章

    47643

    瀏覽量

    239908
  • 深度學習
    +關注

    關注

    73

    文章

    5512

    瀏覽量

    121454
  • 曠視
    +關注

    關注

    0

    文章

    77

    瀏覽量

    6596

原文標題:孫劍首個深度學習博士張祥雨:3年看1800篇論文,28歲掌舵曠視基礎模型研究

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏

    評論

    相關推薦

    AI創企Mistral與法新社達成內容合作協議

    近日,法國AI初創公司Mistral與全球知名的新聞通訊社——法新社,正式簽署一項內容合作協議。根據該協議,Mistral公司的聊天機器Le Chat將獲得法新社所有文本報道的訪問
    的頭像 發表于 01-18 11:36 ?347次閱讀

    法國AI創企Mistral與法新社達成內容合作協議

    近日,法國的一家人工智能初創公司Mistral與全球知名的通訊社法新社簽署一項重要的內容合作協議。根據該協議,Mistral的聊天機器Le Chat將獲得訪問法新社所有文本報道的權
    的頭像 發表于 01-17 10:30 ?123次閱讀

    算法加速的概念、意義、流程和應用

    運算通常需要高并行度或專門邏輯。算法加速就是這些計算密集、規律性高的部分從通用 CPU 中“提取”出來,交給一個專門設計的硬件模塊來完成。 類比:如果 CPU 想象成一位“通才”工
    的頭像 發表于 01-15 09:34 ?121次閱讀

    中標北京市大數據中心感知管理服務平臺二期建設項目

    近日,成功中標北京市大數據中心感知管理服務平臺(二期)建設項目,此次中標不僅是對技術實力和服務能力的認可,更標志著
    的頭像 發表于 12-31 09:20 ?276次閱讀

    亮相2024數字科技生態大會

    2024數字科技生態大會上,展示多項聯網領域的前沿技術及應用成果,包括大模型、行業場景方案以及創新智能終端。
    的頭像 發表于 12-06 10:34 ?319次閱讀

    夸克學術搜索受熱捧,成年輕人PC端AI應用首選

    PConline最新數據顯示,夸克PC端在2024年國內電腦端AI應用下載量中位居榜首,成為年輕人首選的PC端AI產品。這一成就不僅彰顯夸克在AI技術領域的深厚積累,更體現其對于年輕
    的頭像 發表于 11-19 11:23 ?470次閱讀

    重慶兩江新區與吉利汽車集團、科技簽署合作協議

    日前,重慶兩江新區與吉利汽車集團、科技簽署戰略合作協議。市委書記袁家軍,市委副書記、市長胡衡華會見了吉利控股集團董事長李書福、科技董事長兼CEO印奇一行并見證簽約。
    的頭像 發表于 09-02 14:13 ?557次閱讀

    聚焦物聯網場景,科技核心技術能力持續升級

    電子發燒友網報道(文/李彎彎)最近,上交所顯示,科技有限公司已更新提交相關財務資料。該公司早在2021年3月12日上市申請就獲受理,同年9月9日通過上市委會議,2021年9月30日提交注冊。作為
    的頭像 發表于 07-25 00:09 ?4287次閱讀

    亮相第五屆民航未來機場高峰論壇,展示智慧民航領域的應用成果

    大會不僅是民航業的一次盛會,更是展示最新科技成果、深化交流合作的重要平臺。在此次大會上的亮相,受到了業界的廣泛關注。
    的頭像 發表于 07-23 09:43 ?593次閱讀
    <b class='flag-5'>曠</b><b class='flag-5'>視</b>亮相第五屆民航未來機場高峰論壇,展示智慧民航領域的應用成果

    能否傳感器采集的信號通過藍牙模塊交給電腦處理分析以后再傳回給單片機運作?

    能否傳感器采集的信號通過藍牙模塊交給電腦處理分析以后再傳回給單片機運作
    發表于 05-22 06:39

    年輕人只想躺平,機器開始進廠“打工”

    機器行業芯事
    電子發燒友網官方
    發布于 :2024年05月15日 17:41:02

    與樂天國際物流在北京正式簽署戰略合作協議

    4月17日,與韓國樂天國際物流(LOTTE GLOBAL LOGISTICS)在北京正式簽署戰略合作協議。
    的頭像 發表于 04-23 11:52 ?583次閱讀
    <b class='flag-5'>曠</b><b class='flag-5'>視</b>與樂天國際物流在北京正式簽署戰略合作協議

    一加Ace3V正式發布,年輕人的第一臺AI手機

    近日,一加手機再次引領市場風向標,正式推出了全新的中端機型——一加Ace3V。這款手機不僅搭載強大的第三代驍龍7+移動平臺,更在內部融入了創新的潮汐架構和前沿的AI算力模型,為年輕人帶來了前所未有的AI手機體驗。
    的頭像 發表于 03-25 10:20 ?814次閱讀

    18年,6570個日夜,小熊電器何以撩動年輕人

    小熊電器,用十八年解一道“年輕方程式”
    的頭像 發表于 03-25 09:23 ?1917次閱讀
    18年,6570個日夜,小熊電器何以撩動<b class='flag-5'>年輕人</b>?

    科技與上海家化正式簽署《AI科技創新合作框架協議》

    3月18日,在2024年上海家化“致美·致時代”年度發布會上,上海家化聯合股份有限公司與北京科技有限公司正式簽署《AI科技創新合作框架協議》,雙方將在AI賦能美業領域進一步展開深度合作,以AI科技推動中國美業和日化行業邁入數智化升級的全新階段。
    的頭像 發表于 03-20 10:21 ?625次閱讀
    主站蜘蛛池模板: 毛片啪啪| 免费视频不卡一区二区三区 | 久久这里只有精品免费视频 | 色妞视频资源在线观看 | 日韩毛片视频 | 嗯好舒服好爽好快好大 | 成人女人a毛片在线看 | 婷婷综合七月激情啪啪 | 8050午夜一级 | 二级黄绝大片中国免费视频0 | 亚洲人成网站在线观看妞妞网 | 456成人网 | 免费视频在线视频观看1 | 中文字幕一区二区三区 精品 | 日本黄在线| 天天舔天天射天天操 | 在线看片你懂得 | 欧美在线精品一区二区三区 | 欧美人与牲动交xxxxbbbb | 天堂在线中文字幕 | 国产精品久久久久久久久久妇女 | 午夜久久精品 | 手机在线视频你懂的 | 最近国语视频免费观看在线播放 | 欧美地区一二三区 | 久久99久久精品免费思思6 | aaa在线 | 天天草比| 色噜噜噜噜噜在线观看网站 | 特黄一级毛片 | 最新合集丨新片速递 | 色五阁| 午夜香蕉网 | 欧美肉到失禁高h视频在线 欧美三级成人 | 欧美色网在线 | avtt亚洲一区中文字幕 | ts在线视频 | 免费激情网址 | 天天视频在线观看免费 | 日韩精品网址 | 精品视频一区在线观看 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品