在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

機(jī)器學(xué)習(xí)科研的十年

DPVg_AI_era ? 來(lái)源:YXQ ? 2019-07-22 08:46 ? 次閱讀

十年前,MSRA的夏天,剛開(kāi)始嘗試機(jī)器學(xué)習(xí)研究的我面對(duì)科研巨大的不確定性,感到最多的是困惑和迷茫。十年之后,即將跨出下一步的時(shí)候,未來(lái)依然是如此不確定,但是期待又更多了一些。這其中的變化也帶著這十年經(jīng)歷的影子。

起始:科研是什么

我從大三開(kāi)始進(jìn)入交大APEX實(shí)驗(yàn)室,有幸隨著戴文淵學(xué)長(zhǎng)做機(jī)器學(xué)習(xí),當(dāng)時(shí)的我覺(jué)得“機(jī)器學(xué)習(xí)”這個(gè)名字十分高大上然后選擇了這個(gè)方向,但是做了一年之后依然摸不著頭腦,心中十分向往可以做科研,獨(dú)立寫論文的生活,卻總是不知道如何下手。

文淵在我進(jìn)實(shí)驗(yàn)室的一年后去了百度。當(dāng)時(shí)還沒(méi)有得到學(xué)長(zhǎng)真?zhèn)鞯奈遥_(kāi)始了我科研的第一階段,從大四到碩士的第二年,期間一直自己摸索,不斷地問(wèn)自己 “科研是什么”。

和課程作業(yè)不同,學(xué)術(shù)研究沒(méi)有具體的問(wèn)題,具體的方法,具體的答案。文淵的離開(kāi)讓我一下子不知道該怎么做,當(dāng)時(shí)的我的想法很簡(jiǎn)單,快點(diǎn)尋找一個(gè)具體的方向,完成一篇論文。因?yàn)?a target="_blank">ACM班的機(jī)會(huì)暑假在MSRA的短暫實(shí)習(xí),雖然學(xué)會(huì)了很多東西,但并沒(méi)有給我答案。MSRA回來(lái)之后,在實(shí)驗(yàn)室薛老師的建議下,我選擇了一個(gè)現(xiàn)在看來(lái)正確而又錯(cuò)誤的方向 — 深度學(xué)習(xí)

那是AlexNet出現(xiàn)之前兩年,深度學(xué)習(xí)的主流熱點(diǎn)是非監(jiān)督學(xué)習(xí)和限制玻爾茲曼機(jī)。沒(méi)有導(dǎo)師的指導(dǎo),沒(méi)有工具,當(dāng)時(shí)我靠著實(shí)驗(yàn)室的兩塊顯卡和自己寫的CUDA代碼開(kāi)始了死磕深度學(xué)習(xí)的兩年半。實(shí)驗(yàn)室的學(xué)長(zhǎng)問(wèn)我,你準(zhǔn)備要干啥,我說(shuō):“我要用卷積RBM去提升ImageNet的分類效率。” 這一個(gè)回答開(kāi)啟了圖書(shū)館和實(shí)驗(yàn)室的無(wú)數(shù)個(gè)日日夜夜,為了給實(shí)驗(yàn)室的老機(jī)器多帶一塊高功率的顯卡,我們打開(kāi)了一臺(tái)機(jī)器的機(jī)箱,在外面多塞了一個(gè)外接電源。

我的生活就持續(xù)在調(diào)參的循環(huán)中:可視化權(quán)重的圖片, 看上去那么有點(diǎn)像人臉,但是精度卻總是提不上來(lái),再來(lái)一遍。從一開(kāi)始hack顯卡代碼的興奮,到一年之后的焦慮,再到時(shí)不時(shí)在樹(shù)下踱步想如何加旋轉(zhuǎn)不變的模型的嘗試,在這個(gè)方向上,我花費(fèi)了本科四年級(jí)到碩士一年半的所有時(shí)間,直到最后還是一無(wú)所獲。

現(xiàn)在看來(lái),當(dāng)時(shí)的我犯了一個(gè)非常明顯的錯(cuò)誤 — 常見(jiàn)的科學(xué)研究要么是問(wèn)題驅(qū)動(dòng),比如“如何解決ImageNet分類問(wèn)題”;要么是方法驅(qū)動(dòng),如 “RBM可以用來(lái)干什么”。當(dāng)時(shí)的我同時(shí)鎖死了要解決的問(wèn)題和用來(lái)解決問(wèn)題的方案,成功的可能性自然不高。如果我在多看一看當(dāng)時(shí)整個(gè)領(lǐng)域的各種思路,比如Lecun在很早的時(shí)候就已經(jīng)做end to end,或許結(jié)局會(huì)不那么一樣吧。

當(dāng)然沒(méi)有如果,賭上了兩年半的時(shí)間的我留下的只是何時(shí)能夠發(fā)表論文的緊張心情。焦慮的我開(kāi)始打算換一個(gè)方向,因?yàn)镽BM當(dāng)時(shí)有一個(gè)比較經(jīng)典的文章應(yīng)用在了推薦系統(tǒng)上,我開(kāi)始接觸推薦系統(tǒng)和kddcup。

比較幸運(yùn)的是,這一次我并沒(méi)有把RBM作為唯一的一個(gè)方法,而是更加廣泛地去看了推薦系統(tǒng)中的矩陣分解類的算法,并且在實(shí)驗(yàn)室搭建了一個(gè)比較泛用的矩陣分解系統(tǒng)。推薦系統(tǒng)方向的耕耘逐漸有了收獲,我們?cè)趦赡闗DDCup11中獲得了不錯(cuò)的成績(jī)。KDD12在北京,放棄了一個(gè)過(guò)年的時(shí)間,我完成了第一篇關(guān)于基于特征的分布式矩陣分解論文,并且非常興奮地投到了KDD。

四月底的時(shí)候,我們收到了KDD的提前拒搞通知 — 論文連第一輪評(píng)審都沒(méi)有過(guò)。收到拒搞通知時(shí)候的我的心情無(wú)比沮喪,因?yàn)檫@是第一篇自己大部分獨(dú)立推動(dòng)完成的文章。

轉(zhuǎn)折在五月,KDDCup12 封榜,我們拿到了第一個(gè)track的冠軍,我依然還記得拿到KDDCup12冠軍的那一個(gè)瞬間,我在狀態(tài)里面中二地打了excalibur,仿佛碩士期間的所有陰霾一掃而盡。那時(shí)候的我依然還不完全知道科研是什么,但是隱隱之中覺(jué)得似乎可以繼續(xù)試試。

第零年:可以做什么

我對(duì)于科研看法的第一個(gè)轉(zhuǎn)折,在于我碩士臨近畢業(yè)的時(shí)候。

李航老師來(lái)到我們實(shí)驗(yàn)室給了關(guān)于機(jī)器學(xué)習(xí)和信息檢索的報(bào)告,并且和我們座談。在報(bào)告的過(guò)程中,我異常興奮,甚至?xí)r不時(shí)地想要跳起來(lái),因?yàn)榘l(fā)現(xiàn)我似乎已經(jīng)知道如何可以解決這么多有趣問(wèn)題的方法,但是之前卻從來(lái)沒(méi)有想過(guò)自己可以做這些問(wèn)題。

聯(lián)系了李航老師之后,在同一年的夏天,我有幸到香港跟隨李航和楊強(qiáng)老師實(shí)習(xí)。實(shí)驗(yàn)室的不少學(xué)長(zhǎng)們?cè)?jīng)去香港和楊強(qiáng)老師工作,他們回來(lái)之后都仿佛開(kāi)了光似地在科研上面突飛猛進(jìn)。去香港之后,我開(kāi)始明白其中的原因 — 研究視野。經(jīng)過(guò)幾年的磨練,那時(shí)候的我或許已經(jīng)知道如何去解決一個(gè)已有的問(wèn)題,但是卻缺乏其他一些必要的技能 — 如何選擇一個(gè)新穎的研究問(wèn)題,如何在結(jié)果不盡人意的時(shí)候轉(zhuǎn)變方向?qū)ふ倚碌耐黄泣c(diǎn),如何知道整個(gè)領(lǐng)域的問(wèn)題之間的關(guān)系等等。

“你香港回來(lái)以后升級(jí)了嘛。” — 來(lái)自某大俠的評(píng)論。這也許是對(duì)于我三個(gè)月香港實(shí)習(xí)的最好概括的吧。香港實(shí)習(xí)結(jié)束的時(shí)候我收獲了第一篇正式的一作會(huì)議論文(在當(dāng)年的ICML)。因?yàn)镵DDCup的緣故,我認(rèn)識(shí)了我現(xiàn)在博士導(dǎo)師Carlos的postdoc Danny,Danny把我推薦給了Carlos(UW)和Alex(CMU)。我在申請(qǐng)的時(shí)候幸運(yùn)地拿到了UW和CMU的offer。

在CMU visit的時(shí)候我見(jiàn)到了傳說(shuō)中的大神學(xué)長(zhǎng)李沐,他和我感嘆,現(xiàn)在正是大數(shù)據(jù)大火的時(shí)候,但是等到我們畢業(yè)的時(shí)候,不知道時(shí)代會(huì)是如何,不過(guò)又反過(guò)來(lái)說(shuō)總可以去做更重要的東西。現(xiàn)在想起這段對(duì)話依然依然唏噓不已。我最后選擇了UW開(kāi)始了我六年的博士生活。

感謝博士之前在APEX實(shí)驗(yàn)室和香港的經(jīng)歷,在博士開(kāi)始的時(shí)候我似乎已經(jīng)不再擔(dān)心自己可以做什么了。

第一年:意外可以收獲什么

如果給我在UW的第一年一個(gè)主題的話,或許是“意外”。在交大時(shí)候因?yàn)榕d趣的關(guān)系一直去蹭系統(tǒng)生物研究員敖平老師的組會(huì)探討隨機(jī)過(guò)程和馬爾可夫鏈。到UW的第一個(gè)學(xué)期,我無(wú)意看到一篇探討如何用Lagevin過(guò)程做采樣的文章,我想這不就是之前組會(huì)上探討過(guò)的東西么,原來(lái)這些方法也可以用到機(jī)器學(xué)習(xí)上。我直接借用了原來(lái)的交大學(xué)會(huì)的知識(shí)完成了第一篇高效采樣HMC的文章。我后來(lái)并沒(méi)有繼續(xù)在這個(gè)方向上面耕耘下去,不過(guò)另外一位同在組會(huì)的學(xué)弟繼續(xù)基于這個(gè)方向完成了他的博士論文。

同樣的在這一年,我和導(dǎo)師開(kāi)始“質(zhì)疑深度學(xué)習(xí)” — 如果別的的機(jī)器學(xué)習(xí)模型,有足夠大的模型容量和數(shù)據(jù),是否可以獲得和深度學(xué)習(xí)一樣的效果呢?當(dāng)時(shí)Carlos看好kernel methods,而我因?yàn)檫^(guò)去的一些經(jīng)歷決定嘗試Tree Boosting。雖然最后在vision領(lǐng)域依然被卷積網(wǎng)絡(luò)打敗而嘗試挑戰(zhàn)失敗,但是為了挑戰(zhàn)這一假說(shuō)而實(shí)現(xiàn)高效Tree boosting的系統(tǒng)經(jīng)過(guò)小伙伴建議開(kāi)源成為了后來(lái)的XGBoost。

在第一年暑假結(jié)束的時(shí)候,因?yàn)榕既坏脑颍议_(kāi)始對(duì)quantile sketch算法感興趣。這里主要的問(wèn)題是如何設(shè)計(jì)一個(gè)近似的可以合并的數(shù)據(jù)結(jié)構(gòu)用來(lái)查找quantile。這個(gè)方向有一個(gè)經(jīng)典的方案GK-sketch的論文,但是只能夠解決數(shù)據(jù)點(diǎn)沒(méi)有權(quán)重的情況。經(jīng)過(guò)一兩天的推導(dǎo),我在一次去爬山的路上終于把結(jié)論推廣到了有權(quán)重的情況。有趣的是新的證明比起原來(lái)的證明看起來(lái)簡(jiǎn)單很多。這個(gè)結(jié)論沒(méi)有單獨(dú)發(fā)表,但是后來(lái)意想不到地被用到了分布式XGBoost算法中,證明也收錄在了XGboost文章的附錄中。

△ 陳天奇在XGBoost Workshop上演講

研究并不是一朝一夕,做想做的事情把它做好,開(kāi)始的時(shí)候興趣使然,而在幾年之后意想不到的地方獲得的收獲,這樣的感覺(jué)走非常不錯(cuò)。

第二年和第三年:選擇做什么

在新生聚會(huì)上,Carlos對(duì)我說(shuō),你已經(jīng)有論文的發(fā)表經(jīng)歷了,接下來(lái)要靜下心來(lái)做發(fā)大的,“只做best paper水平的研究”。和很多nice的導(dǎo)師不同,Carlos對(duì)于學(xué)生的要求非常嚴(yán)格,說(shuō)話也是非常直白甚至于“尖刻“。很多的老師不論我們提出什么樣的想法,總會(huì)先肯定一番,而Carlos則會(huì)非常直接地提出質(zhì)疑。一開(kāi)始的時(shí)候會(huì)非常不習(xí)慣,感覺(jué)到信心受到了打擊,但是慢慢習(xí)慣之后開(kāi)始習(xí)慣這樣風(fēng)格。到現(xiàn)在看來(lái),誠(chéng)實(shí)的反饋的確是我收益最大的東西。我進(jìn)入博士的一年之后,主要在想的問(wèn)題是做什么樣的問(wèn)題,可以值得自己深入付出,做扎實(shí)有影響力的工作。

在博士的第三年,Carlos在建議我把XGBoost寫成論文,用他的話說(shuō):“寫一篇讓讀者可以學(xué)到東西的文章”。和傳統(tǒng)的寫法不同,我們?cè)谖恼碌拿恳粋€(gè)章節(jié)插入了實(shí)驗(yàn)結(jié)果驗(yàn)證當(dāng)章節(jié)提出的觀點(diǎn)。而他對(duì)于做圖的處理也成為了我現(xiàn)在的習(xí)慣,直接在圖里面插入箭頭注釋,減少讀者的閱讀負(fù)擔(dān)。經(jīng)過(guò)幾次打磨論文終于成為了我們想要的模樣。

博士前對(duì)于深度學(xué)習(xí)遺憾讓我又逐漸把目光轉(zhuǎn)回到深度學(xué)習(xí)。這個(gè)時(shí)候,我選擇了不再一個(gè)人作戰(zhàn),在博士的第二年和第三年,我和興趣使然的小伙伴們合作,一起開(kāi)始了MXNet的項(xiàng)目。項(xiàng)目從零開(kāi)始,在短短的一年時(shí)間里面做出完整的架構(gòu)。我第一次看到集合了大家的力量齊心協(xié)力可以創(chuàng)造出什么樣的東西。研究的樂(lè)趣不光是發(fā)表論文,更多還是可以給別人帶來(lái)什么,或者更加大膽地說(shuō) — 如何一起改變世界。

博士第二年暑假,我在小伙伴的介紹下進(jìn)入Google Brain跟隨Ian Goodfellow實(shí)習(xí)。當(dāng)時(shí)GAN的論文剛剛發(fā)表,我也有幸在成為Ian的第一個(gè)實(shí)習(xí)生。

實(shí)習(xí)的開(kāi)始,我們討論需要做的問(wèn)題,Ian和我把可能要做的項(xiàng)目畫在一個(gè)風(fēng)險(xiǎn)和回報(bào)的曲線上,讓我選擇。到最后我選擇了自己提出的一個(gè)課題,在這個(gè)曲線里面風(fēng)險(xiǎn)最高,回報(bào)也最高。

我一直有一個(gè)理想,希望可以構(gòu)建一個(gè)終身學(xué)習(xí)的機(jī)器學(xué)習(xí)系統(tǒng),并且解決其中可能出現(xiàn)的問(wèn)題。這個(gè)理想過(guò)于模糊,但是我們想辦法拿出其中的一個(gè)可能小的目標(biāo) — 知識(shí)遷移。如果一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)要終生學(xué)習(xí),那么在不斷收集數(shù)據(jù)之后必然需要擴(kuò)充模型的規(guī)模來(lái)學(xué)習(xí)更廣或者更深,按照現(xiàn)在的做法我們?cè)谀P透淖冎笾荒軖仐壴瓉?lái)的模型重新訓(xùn)練,這顯然是不夠高效的。

是否有一個(gè)方法可以從已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)上面進(jìn)行知識(shí)遷移也就成為了一個(gè)重要的問(wèn)題。我先花了一個(gè)半月的時(shí)間嘗試了比較顯然的Knowledge distillation的方法一直沒(méi)有得到正面的結(jié)果。在最后的一個(gè)月,我改變了思路。實(shí)習(xí)結(jié)束的前一個(gè)星期,我打開(kāi)Tensorborard上最近一組實(shí)驗(yàn)的結(jié)果:實(shí)驗(yàn)表明新的思路正面的效果。這最后幾步的幸運(yùn)也讓我的這一個(gè)冒險(xiǎn)之旅有了一個(gè)相對(duì)圓滿的結(jié)果。這篇論文最后被發(fā)表在了ICLR上,也是我最喜歡的結(jié)果之一。

博士的第三年,我和小伙伴們開(kāi)發(fā)了一種可以用低于線性復(fù)雜度就可以訓(xùn)練更深模型的內(nèi)存優(yōu)化算法。當(dāng)時(shí)我非常興奮地把這一結(jié)果寫下來(lái)然后把稿子后給導(dǎo)師看。他和我說(shuō):Hmm,這個(gè)結(jié)果如果投到NeurIPS的話或許可以中一篇poster,但是這并不是特別有意思。在我沉默之后他又補(bǔ)充了一句:論文并非越多越好,相反你可能要嘗試優(yōu)化你的論文里面最低質(zhì)量的那一篇。最后我們只是把這篇論文掛在了Arxiv上。Carlos的說(shuō)法或許比較極端(這篇論文依然影響了不少后面的工作),但也的確是對(duì)的,用李沐之前說(shuō)過(guò)的一句話概括,保證每一篇論文的質(zhì)量接近單調(diào)提升,已經(jīng)是一件難以做到但是又值得最求的事情。

選擇做什么眼光和做出好結(jié)果的能力一樣重要,眼界決定了工作影響力的上界,能力決定了到底是否到達(dá)那個(gè)上界。交大時(shí)敖平老師曾經(jīng)和我說(shuō)過(guò),一個(gè)人做一件簡(jiǎn)單的事情和困難的事情其實(shí)是要花費(fèi)一樣多的時(shí)間。因?yàn)榧词乖俸?jiǎn)單的問(wèn)題也有很多瑣碎的地方。要想拿到一些東西,就必然意味著要放棄一些其他東西,既然如此,為什么不一直選擇跳出舒適區(qū),選一個(gè)最讓自己興奮的問(wèn)題呢。

第四年之后:堅(jiān)持做什么

博士第三年,我和小伙伴們參加GTC,結(jié)束后老黃party的角落里,我一個(gè)人在發(fā)呆。深度學(xué)習(xí)的框架發(fā)展已經(jīng)鋪開(kāi),可接下來(lái)應(yīng)該做什么,我一下子感到迷茫。第三年的暑假我沒(méi)有去實(shí)習(xí),而是決定一個(gè)人在學(xué)校嘗試開(kāi)發(fā)腦海中顯現(xiàn)的抽象概念 — 深度學(xué)習(xí)中間表示。暑假結(jié)束之后,我完成了第一個(gè)版本,可以比較靈活地支持深度學(xué)習(xí)系統(tǒng)里面的計(jì)算圖內(nèi)存優(yōu)化。但是總是覺(jué)得還缺少著什么 — 系統(tǒng)的瓶頸依然在更接近底層的算子實(shí)現(xiàn)上。暑假之后在去加州的飛機(jī)上,我嘗試在紙上畫出為了優(yōu)化矩陣乘法可能的循環(huán)變換,回來(lái)之后,我們決定推動(dòng)一個(gè)更加大膽的項(xiàng)目 — 嘗試用自動(dòng)編譯生成的方式優(yōu)化機(jī)器學(xué)習(xí)的底層代碼。

這個(gè)項(xiàng)目早在之前我也有一些想法,但是一直沒(méi)有敢去吃這個(gè)螃蟹。原因是它的兩個(gè)特點(diǎn):從零開(kāi)始,橫跨多領(lǐng)域。因?yàn)橐龅讓哟a生成和想要支持新的硬件,我們需要重新重新搞清楚很多在之前被現(xiàn)有的操作系統(tǒng)和驅(qū)動(dòng)隱藏掉的問(wèn)題,這就好象是在一個(gè)荒島上一無(wú)所有重新搭建起一個(gè)城堡一樣。而這里面也涉及了系統(tǒng),程序語(yǔ)言,體系結(jié)構(gòu)和機(jī)器學(xué)習(xí)等領(lǐng)域。

這讓我想起之前在ACM班時(shí)候重頭搭建編譯器和MIPS處理器并且連接起來(lái)的經(jīng)歷。也是那段經(jīng)歷讓我覺(jué)得為了解決問(wèn)題去吃多個(gè)領(lǐng)域的螃蟹是個(gè)讓人興奮的事情。那段經(jīng)歷給我留下的第二個(gè)印記是理解了合作和傳承的重要性。這門課程設(shè)計(jì)有一個(gè)傳統(tǒng),每一門課程的老師都由上一屆學(xué)長(zhǎng)擔(dān)任。每一屆的同學(xué)都會(huì)在之前的基礎(chǔ)上有所改進(jìn)。我也曾經(jīng)為這門課做過(guò)一些微小的貢獻(xiàn)。演化到現(xiàn)在,這門課程已經(jīng)從只做簡(jiǎn)單的答辯,到現(xiàn)在已經(jīng)有在線評(píng)測(cè)的OJ。大家一起的合作塑造了這個(gè)課程。推動(dòng)新的機(jī)器學(xué)習(xí)系統(tǒng)和塑造這門課程一行,需要各個(gè)團(tuán)隊(duì)的同學(xué)合作,足夠時(shí)間的耐心關(guān)注和不斷地改進(jìn)。

我的合作者們也被“卷入”到了這個(gè)項(xiàng)目中。我的體系結(jié)構(gòu)合作者一直想要設(shè)計(jì)新的AI硬件,我在雛形完成之后花了大量的時(shí)間討論如何協(xié)同設(shè)計(jì)新的硬件的問(wèn)題。我們開(kāi)始討論怎么管理片上內(nèi)存,怎么可以比較容易地生成指令集,甚至怎么調(diào)度內(nèi)存讀寫和計(jì)算并行的問(wèn)題都暴露出來(lái)。有一天,我和合作者說(shuō)我們需要引入虛擬線程的概念來(lái)隱藏內(nèi)存讀寫開(kāi)銷,然后他很快和我說(shuō),這是體系結(jié)構(gòu)里面經(jīng)典的超線程技術(shù),發(fā)明人正是我們的系主任Hank。我們也在不斷地重新發(fā)現(xiàn)經(jīng)典的問(wèn)題的解決方法在新場(chǎng)景的應(yīng)用,讓我覺(jué)得上了一堂最好的體系結(jié)構(gòu)課程。

兩年間的不少關(guān)鍵技術(shù)問(wèn)題的突破都是在有趣的時(shí)候發(fā)生的。我在排隊(duì)參觀西雅圖藝術(shù)博物館的infinity mirror展覽的途中把加速器內(nèi)存拷貝支持的第一個(gè)方案寫在了一張星巴克的餐巾紙上。到后來(lái)是程序語(yǔ)言方向的同學(xué)們也繼續(xù)參與進(jìn)來(lái)。我們爭(zhēng)論最多的是如何如何平衡函數(shù)式語(yǔ)言和經(jīng)典計(jì)算圖做讓大家都可以搞懂的中間表達(dá),這一討論還在不斷繼續(xù)。經(jīng)過(guò)大家的努力,TVM的第一篇論文在項(xiàng)目開(kāi)始的兩年之后終于發(fā)表。兩年間參與項(xiàng)目的同學(xué)也從兩個(gè)人,到一個(gè)團(tuán)隊(duì),再到一個(gè)新的lab和一個(gè)社區(qū),這兩年也是我博士期間最充實(shí)的兩年。

因?yàn)樽隽瞬簧佟翱缃纭钡墓ぷ鳎页1粏?wèn)起你到底屬于哪個(gè)領(lǐng)域。過(guò)去半年一直在各地給報(bào)告,報(bào)告這樣開(kāi)頭:算法突破,數(shù)據(jù)的爆發(fā),計(jì)算硬件的提升三者支撐了機(jī)器學(xué)習(xí)的變革,而整合這三者的,則是機(jī)器學(xué)習(xí)系統(tǒng)。這也是為什么我要做機(jī)器學(xué)習(xí)系統(tǒng)的原因。曾經(jīng)一個(gè)教授問(wèn)我這樣的問(wèn)題,如果明天有一樣新的化學(xué)反應(yīng)過(guò)程可能帶來(lái)機(jī)器學(xué)習(xí)的變革,你會(huì)怎么做。我答道:“我投入會(huì)去學(xué)習(xí)研究這個(gè)化學(xué)過(guò)程”。雖然我不知道遙遠(yuǎn)的未來(lái)會(huì)需要什么,到底是系統(tǒng),算法,還是化學(xué),從問(wèn)題出發(fā),用盡所有可能的方法去最好地解決機(jī)器學(xué)習(xí)問(wèn)題,應(yīng)該這就是我想要堅(jiān)持的研究風(fēng)格吧。

總結(jié)

在寫這篇總結(jié)的時(shí)候,心中有不少感嘆。我常想,如果我在焦慮死磕深度學(xué)習(xí)的時(shí)候我多開(kāi)竅一些會(huì)發(fā)生什么,如果我并沒(méi)有在實(shí)習(xí)結(jié)束的時(shí)候完成當(dāng)時(shí)的實(shí)驗(yàn),又會(huì)是什么。但現(xiàn)在看來(lái),很多困難和無(wú)助都是隨機(jī)的漲落的一部分,付出足夠多的時(shí)間和耐心,隨機(jī)過(guò)程總會(huì)收斂到和付出相對(duì)的穩(wěn)態(tài)。

每個(gè)人的研究道路都各不相同,我的經(jīng)歷應(yīng)該也是千萬(wàn)條道路中其中一條罷了。博士的經(jīng)歷就好像是用五年多時(shí)間作為籌碼投資給自己,去突破自己做自己原來(lái)想不到的事情。中不管坎坷曲折都是無(wú)可替代的一部分。

科研從來(lái)不是一個(gè)人的事情,對(duì)于我來(lái)說(shuō)特別是如此。我在交大的時(shí)候和一群年輕的同學(xué)一起摸索推薦系統(tǒng)的算法,而在博士期間搭建的每一個(gè)系統(tǒng)都包含了很多合作者一起的努力。也正是大家一起的努力才帶來(lái)了現(xiàn)在的成果。我個(gè)人在這十年間受到了不少老師,同學(xué),家人的鼓勵(lì)和幫助,感謝他們他們給予了我這無(wú)比珍貴的十年時(shí)光。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1792

    文章

    47425

    瀏覽量

    238957
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8425

    瀏覽量

    132770

原文標(biāo)題:陳天奇:機(jī)器學(xué)習(xí)科研的十年

文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    蘋果十年造車終成空,轉(zhuǎn)向all in AI

    電子發(fā)燒友網(wǎng)報(bào)道(文/黃山明)近日,有知情人士透露,蘋果公司將取消已經(jīng)持續(xù)十年之久的“泰坦計(jì)劃”,這也意味著蘋果或?qū)⒎艞壪蛟燔嚪较虬l(fā)力。造車項(xiàng)目組的許多員工將被轉(zhuǎn)移到該公司的機(jī)器學(xué)習(xí)和人工智能部門
    的頭像 發(fā)表于 02-29 00:11 ?4128次閱讀

    華為預(yù)制模塊化數(shù)據(jù)中心連續(xù)十年蟬聯(lián)全球第一

    近日,第三方國(guó)際權(quán)威機(jī)構(gòu)Omdia發(fā)布《2023全球預(yù)制模塊化數(shù)據(jù)中心報(bào)告》,對(duì)全球預(yù)制模塊化數(shù)據(jù)中心市場(chǎng)動(dòng)態(tài)、市場(chǎng)份額、發(fā)展趨勢(shì)進(jìn)行洞察和分析。報(bào)告顯示,2023華為預(yù)制模塊化數(shù)據(jù)中心位居全球市場(chǎng)份額第一,至今已連續(xù)十年蟬聯(lián)全球第一。
    的頭像 發(fā)表于 12-31 11:41 ?222次閱讀

    華數(shù)機(jī)器人榮獲高工金球獎(jiǎng)十年行業(yè)貢獻(xiàn)企業(yè)

    近日,2024(第十一屆)高工機(jī)器人年會(huì)暨高工金球獎(jiǎng)?lì)C獎(jiǎng)典禮在深圳舉辦。華數(shù)機(jī)器人榮獲高工機(jī)器人2024度「金球獎(jiǎng)」十年行業(yè)貢獻(xiàn)企業(yè)獎(jiǎng)項(xiàng)。
    的頭像 發(fā)表于 12-23 13:57 ?194次閱讀

    睿創(chuàng)微納五&十年功勛員工頒獎(jiǎng)大會(huì)圓滿舉行

    12月11日,睿創(chuàng)微納五&十年功勛員工頒獎(jiǎng)大會(huì)在煙臺(tái)園區(qū)圓滿舉行,公司董事長(zhǎng)帶領(lǐng)核心管理團(tuán)隊(duì)為5、10功勛員工頒發(fā)紀(jì)念銀幣和金幣。?? 百余名員工獲頒紀(jì)念銀幣,以表彰他們五
    的頭像 發(fā)表于 12-12 10:35 ?414次閱讀

    沃達(dá)豐與谷歌深化十年戰(zhàn)略合作

    沃達(dá)豐近日宣布,其與全球科技巨頭谷歌的戰(zhàn)略合作伙伴關(guān)系得到了進(jìn)一步深化。這一為期十年的協(xié)議,總價(jià)值超過(guò)10億美元,旨在將谷歌最新推出的生成式人工智能支持的設(shè)備引入歐洲和非洲市場(chǎng),為沃達(dá)豐的廣大客戶提供更為先進(jìn)和智能的服務(wù)體驗(yàn)。
    的頭像 發(fā)表于 10-09 16:22 ?270次閱讀

    特斯拉與晶圓廠商或簽訂十年長(zhǎng)單,深化供應(yīng)鏈合作

    韓國(guó)領(lǐng)先的晶圓代工廠商?hào)|部高科正積極籌備與美國(guó)電動(dòng)汽車巨頭特斯拉簽署一項(xiàng)意義重大的長(zhǎng)期供貨協(xié)議,聚焦于電源管理芯片(PMIC)的代工合作。據(jù)悉,該合同若順利獲得最終批準(zhǔn),將鎖定至少十年的合作期限,目前雙方正處于合同簽署前的最后驗(yàn)證階段。
    的頭像 發(fā)表于 09-25 16:08 ?1183次閱讀

    十年預(yù)言:Chiplet的使命

    未來(lái)十年內(nèi)芯片算力提升的核心動(dòng)力。 議題一: 算力困局如何突圍? 韓銀和研究員: 現(xiàn)有的高性能計(jì)算架構(gòu)正遭遇算力瓶頸。目前全球頂級(jí)的高性能計(jì)算系統(tǒng),由美國(guó)橡樹(shù)嶺國(guó)家實(shí)驗(yàn)室基于HPE Cray EX235a架構(gòu)研發(fā)的超級(jí)計(jì)算機(jī)Frontier,其算
    的頭像 發(fā)表于 08-27 11:09 ?486次閱讀
    <b class='flag-5'>十年</b>預(yù)言:Chiplet的使命

    BOE京東方與聯(lián)合國(guó)教科文組織UNESCO簽訂合作協(xié)議 成為首個(gè)支持聯(lián)合國(guó)“科學(xué)十年”的中國(guó)科技企業(yè)

    法國(guó)時(shí)間7月25日,BOE(京東方)與聯(lián)合國(guó)教科文組織(UNESCO)在法國(guó)巴黎總部基于《2024—2033科學(xué)促進(jìn)可持續(xù)發(fā)展國(guó)際十年》決議(簡(jiǎn)稱“科學(xué)十年”)簽訂為期三的合作伙伴
    的頭像 發(fā)表于 07-26 13:04 ?351次閱讀
    BOE京東方與聯(lián)合國(guó)教科文組織UNESCO簽訂合作協(xié)議 成為首個(gè)支持聯(lián)合國(guó)“科學(xué)<b class='flag-5'>十年</b>”的中國(guó)科技企業(yè)

    亞馬遜豪擲千億美元,未來(lái)十年加速數(shù)據(jù)中心建設(shè)

    近日,全球電商巨頭亞馬遜宣布了一項(xiàng)宏偉的投資計(jì)劃,擬在未來(lái)十年內(nèi)投資超過(guò)1000億美元用于數(shù)據(jù)中心建設(shè)。這一決策標(biāo)志著亞馬遜對(duì)云計(jì)算和人工智能領(lǐng)域的深度布局與堅(jiān)定承諾,其投資規(guī)模之大,遠(yuǎn)超以往在零售倉(cāng)庫(kù)建設(shè)上的投入。
    的頭像 發(fā)表于 07-02 10:40 ?571次閱讀

    聯(lián)發(fā)科談未來(lái)十年的戰(zhàn)略布局

    聯(lián)發(fā)科在近日舉行的股東大會(huì)上,明確了其未來(lái)十年的戰(zhàn)略布局。董事長(zhǎng)蔡明介表示,公司將重點(diǎn)投入5G、AI、車用及Arm構(gòu)架運(yùn)算市場(chǎng),以謀求長(zhǎng)遠(yuǎn)發(fā)展。
    的頭像 發(fā)表于 05-29 10:39 ?569次閱讀

    普渡機(jī)器人榮獲“EqualOcean 2024商用機(jī)器人出海先鋒Top10”稱號(hào)

    當(dāng)商用機(jī)器人行業(yè)的多數(shù)企業(yè)迎來(lái)了十年的立足之際,有人預(yù)言2024將是機(jī)器人行業(yè)的“元年”。
    的頭像 發(fā)表于 04-30 10:11 ?719次閱讀
    普渡<b class='flag-5'>機(jī)器</b>人榮獲“EqualOcean 2024商用<b class='flag-5'>機(jī)器</b>人出海先鋒Top10”稱號(hào)

    特斯拉入華十年全球車主超600萬(wàn),中國(guó)車主已達(dá)170萬(wàn)

    特斯拉首席執(zhí)行官埃隆·馬斯克在十年前首次訪問(wèn)中國(guó)期間,親自將首批Model S交到了新浪CEO曹國(guó)偉、理想汽車CEO李想等一眾名人以及前力帆足球俱樂(lè)部董事長(zhǎng)尹喜地等企業(yè)家手中。
    的頭像 發(fā)表于 04-22 14:56 ?486次閱讀

    Redmi新十年產(chǎn)品定位:Turbo系列重塑中端性能格局

    王騰表示,“Redmi新十年的使命不變,挑戰(zhàn)升級(jí)。我們將堅(jiān)守性價(jià)比和質(zhì)量至上原則,加大對(duì)國(guó)產(chǎn)供應(yīng)鏈的扶持力度,推動(dòng)產(chǎn)品邁向高端市場(chǎng),致力于成為新生代的科技首選品牌。”
    的頭像 發(fā)表于 04-01 15:06 ?1482次閱讀

    蘋果公司汽車項(xiàng)目停滯,十年投入未能實(shí)現(xiàn)完全自動(dòng)駕駛

    根據(jù)彭博社馬克-格爾曼(Mark Gurman)的報(bào)道,蘋果長(zhǎng)達(dá)十年的“泰坦計(jì)劃”終于告敗,原因在于蘋果工程團(tuán)隊(duì)過(guò)于盲目自信,始終無(wú)法攻克FSD技術(shù)困境。
    的頭像 發(fā)表于 03-04 10:09 ?352次閱讀

    工業(yè)機(jī)器人減速器行業(yè)的十年變革

    十年來(lái),減速器行業(yè)國(guó)產(chǎn)替代,道阻且長(zhǎng),但我們?nèi)孕栌y而上。GGII預(yù)測(cè),到2027,減速器領(lǐng)域國(guó)產(chǎn)份額仍將超過(guò)50%。
    的頭像 發(fā)表于 02-27 11:06 ?1335次閱讀
    工業(yè)<b class='flag-5'>機(jī)器</b>人減速器行業(yè)的<b class='flag-5'>十年</b>變革
    主站蜘蛛池模板: 你懂的 在线观看| 黄页网址免费观看18网站| 未满十八18周岁禁止免费国产| 国产高清片| 躁天天躁中文字幕在线| 米奇久久| 黄色免费小视频| 欧美爱爱网| 久久www免费人成高清| 国产乱辈通伦影片在线播放| 综合视频网| 理论在线看| 六月丁香啪啪| 高h道具触手play肉男男| 五月网婷婷| 日本国产中文字幕| 国模大尺度在线| 亚洲视频在线视频| 加勒比在线免费视频| 黄色伊人网| 尤物黄色| 全日本爽视频在线| 激情深爱| 天天操夜夜添| 黄在线观看在线播放720p| 国产福利vr专区精品| 色综合久久综合欧美综合网| 久久综合欧美成人| 午夜精品网站| 视频在线免费看| 伊人狠狠丁香婷婷综合色| 日日噜噜夜夜狠狠tv视频免费| 河南毛片| 深夜在线视频免费网址| 欧美性猛交xxxx免费看久久| 超h 高h 污肉男男| 欧美在线视| 1024成人| 人人澡人人澡人人看青草| 在线国产你懂的| 噜啪啪|