AI 科技評論按:深度學習三駕馬車、四大金剛中,相比于YannLeCun經常以(曾任)Facebook人工智能研究院FAIR負責人以及Facebook首席AI科學家的身份發表言論、接受采訪,Geoffrey Hinton經常進行對深度學習反思的講座,吳恩達更是研究兼創業的社交媒體大紅人,Yoshua Bengio似乎要低調得多,我們不常見到Bengio的公開采訪和新聞。
CIFAR 機器與大腦學習項目的聯合主席 Yoshua Bengio
近日,Graham Taylor對 Yoshua Bengio進行了一次采訪,聊了聊Bengio的學術方法論和如何管理實驗室,是一次誠摯的反思,也是一份給年輕博士、教授、實驗室管理者們的參考建議。AI 科技評論全文編譯如下。
Graham Taylor 是 CIFAR 機器和大腦學習項目的全球學者,任圭爾夫大學和矢量研究所工程學院的副教授。Yoshua Bengio目前是 CIFAR 機器與大腦學習項目的聯合主席,加拿大計算機科學與運籌學系的全職教授,蒙特利爾大學統計學習算法研究主席。
Taylor :能講講您第一次任職教授的經歷嗎?
Bengio:我第一次任職是在蒙特利爾大學,從事機器學習、神經網絡研究,當時我是唯一研究這一方向的人,所以我非常有激情,欣然接受了每個來到我身邊想學習的學生,現在想起來,我當時應該更謹慎一些。
當時我通過在博士后期間合作過的朋友,與 Geoff ,還有在多倫多從事機器學習、神經網絡研究的學者取得了聯系。與學界內的人建立聯系非常重要,畢竟當時我是蒙特利爾大學唯一從事這一方向的人。我很幸運,很感謝蒙特利爾大學看到了我的潛力,很快就減少了我的授課壓力。
Taylor:一開始就減少了課程安排?
Bengio:是的。一般來說教授要教三門課,但前七年,我只需要上兩門課程,而在成為加拿大研究主席后,就變成了一門課程。教學負擔過重,還要兼顧實驗室,這當時對我來說挑戰非常大。我有些遺憾,當時的工作太忙,又正逢我的第二個孩子出生,讓我有些不知所措。現在回想起來,我當時應該學會平衡自己的工作和生活。
Taylor:在學校里有沒有人能給予一些指導呢?
Bengio:沒有。事實上我當時應該去向更資深的教授請教經驗,即使不一定是同一研究方向的教授,也可以請教一些教學經驗。如果我不那么害羞,可能會和資深的教授建立聯系并獲得他們的反饋。我當時沒有意識到的一點 ——新人應該主動去與資深教授建立聯系。盡管資深教授可能不會主動來找你,但只要新教授主動去聯系,資深的教授們都很樂意向新人授經驗。
Taylor:除了校內,您還獲得了哪些最佳建議呢?
Bengio:在我擔任教授的第一個十年里,我和 Geoff Hinton 經常聯系,盡管我們不在同一個城市。他給予了我很大幫助,讓我明白了專注的重要性。
不要讓自己的精力過于分散;總是追求當前的想法,就會忘記了長期的挑戰。建立自我的過程是很難的,我們很容易被當下的事情分散注意力,比如發表足夠的論文、然后要申請終身教職等等。但事實上,我們必須要花一些時間專注于長期的事情,這才是事業成功的關鍵。總是局限于當下,很容易陷入困境,錯過一些重要的事情。Geoff 讓我理解到了這一點。
Taylor:你認為機器學習成為眾人矚目的焦點是件好事嗎?某些公司或其他合作者可能會拿著一個非常具體的應用項目來找你,這同樣會分散你的注意力。
Bengio:我想每個人都需要找到自己的路,在某一領域研究透徹,成為專家并取得突破。因此,作為年輕的教員,如果想要做出一些實際應用,就應該專注于一個方向,并成為這個方向內最強大的人。
應用機器學習的一個風險,是它的應用方向很多。90 年代時我就曾接觸了許多的應用方向。
Taylor:所以和現在一樣多的應用方向嗎?
Bengio:在 90 年代,神經網絡和機器學習在企業界也有許多研究,加拿大學界鼓勵與工業界合作,這能幫助實驗室獲得更多研究資金,非常有吸引力。我當時把一些合作的資金用于支持一些長期研究。這不是他們預想之內的,但學業界和企業界的合作間接地鼓勵并推動了長期發基礎研究。我們應該賦予長期的研究更大的價值,因為AI如今的驚人的進步都是這些長期研究帶來的。
我想再多說一下研究授權的事情。我開始時沒有意識到,加拿大自然科學和工程研究委員會(NSERC)這樣的組織,向他們申請課題經費的時候,他們其實并不太關心你是否按照自己之前描述的去做了,他們會希望你做好研究并能在之后匯報自己的成果。
在研究中,很難預測什么是熱門的、會遇到什么問題。學會適應和調整是很重要的,NSERC 允許這樣做(但與企業合作的、為了幫助企業的項目可能并不適用)。其實你不需要把自己做事的范圍限定的太緊,只要你能讓掏錢的人覺得滿意就行。NSERC的要求就只是做好科學、發布研究成果、維持靈活的研究路徑。
Taylor:你管理實驗室的方法是什么、有沒有什么非常推薦的做法?你的實驗室有那么多學生、設備和項目。
Bengio:請求別人的幫助。實驗室發展的早期我不能給博士后很多工資。通常我會選擇對實驗室相對熟悉的博士后,他們不需要兩年的時間來適應環境,而且還可以幫助管理團隊。作為博士后,其實并沒有學習過如何去管理團隊或領導團隊,但這種管理能力正是我們需要的。我發現很有意義的一件事,是去發現學生自身的領導力。我很樂意用實習生,實驗室有許多來自其他地方的本科生或研究生,當然也有喜歡并擅長管理的博士生。有時候會有那么一個很會管理的;也有一些學生最終可以一個人指導好幾個別的學生。我們不應低估年輕人的管理能力。
Taylor:現在給博士后的工作機會很多,招聘高質量的博士后會更加困難嗎?
Bengio:是的,也不是。在這方面,我不認為我是一個好的榜樣。
我通常會尋找有一定數學或物理背景并且涉足機器學習的人,這些人可以快速地學習機器學習,因此兩到三年的博士后是很值得招募的。他們或許暫時無法進入 Google Brain 這樣的地方工作,因為他們還沒有證明自己在機器學習方面的能力。這里面有一些運氣成分,不過對我來說還成功了好幾次。
Taylor:你是如何說服博士后進入實驗室而不去企業界工作的呢?
Bengio:來到機器學習實驗室并參與到發表研究中,將大大提高他們對于工業界的價值,這對他們之后找到好工作、高薪資都是有幫助的。當然這因人而異,有些博士生畢業以后不需要做博士后就可以找到很好的工作了。所以更重要的因素可能是想不想發展自己的學術生涯,因為錢并不是人們唯一關心的事情。 對于這類博士生,做一個博士后當然是一件好事:了解學術界如何運作,參與管理角色等等。
基礎研究實驗室的工作和在企業的工作是差別很大的,在企業中,你會成為研究人員或是有大量開發工作的技術人員,而在實驗室,你則有更多自由去做基礎研究。企業界的具體職位有很多,但是博士后更喜歡的像實驗室的那種工作很少。
Taylor:但進入企業界工作的博士生還是會繼續增長,對嗎?例如在 Google Brain,DeepMind,FAIR這類地方?
Bengio:是的,即使像 Element AI 這樣的新公司也有類似的團隊。
Taylor:就人數上來說,您認為實驗室需要多大規模?
Bengio:這取決于教授,以及其管理團隊的經驗。我的實驗室是從三個人開始的,現在我有一個很棒的團隊。一下子是沒辦法做到這樣的,所以我逐漸學會了如何管理更多人,建立基礎設施和資金。實驗室應該以自己的速度發展,有些教授不喜歡實驗室太多人,這當然也可以。但其實當你有更多的學生,你可以生產更多的論文。但是,你花在每個學生上的時間會更少,所以對學生來說可能沒那么有意義。
我實驗室 15 年的大團隊管理經驗告訴我,促進學生之間的合作很重要。換句話說,不要將每個學生束縛在他們自己的項目中,而是讓他們靈活地合作。另外,學生們與教授不是一對一的關系,應該將整個實驗室的人組成一個大的網絡。
Taylor:所有人互相之間都有溝通。
Bengio:沒錯,這很管用。如果在工作中一個人只能依賴于某一個人的反饋,而對方又很忙沒有時間,那他們會感覺很不舒服。但如果有十幾個同事可以給予反饋,這會創造豐富得多的網絡,方便大家溝通。
Taylor:通過哪些辦法可以創建這種網絡式的環境?有一些措施可能比較具體,有一些就是微妙地改變實驗室文化了吧。
Bengio:具體的措施比如,我會要求學生呆在實驗室,而不是在家工作。我會給他們自由去選擇項目,即使是其他教授的項目也可以,我會幫助他們接觸到其他教授,讓我們這個小組變得更大,讓學生可以與其他教授討論。我們也會定期組織活動,如閱讀小組,研討會和外部活動。
Taylor:我最近和一位在美國工作的朋友討論了共同指導學生的問題,他認為幾個導師之間的首要議題是討論誰出多少錢。在加拿大好像并不是這樣?
Bengio:在加拿大的實驗室工作,和美國很大的一點不同,是這里的學生花費比美國低很多。資金還是挺重要的一個因素對吧,不過可能也和文化有關吧。其實相比于資金怎么分配,我更加考慮的是共同合作這件事本身,而且不一定有什么具體的成果要求。說到這里也和前面談到過的授權以及合作方式有關系了,就是,我對家長包辦的婚姻不是很有信心。換句話說,在共同指導以及合作的事情上,我們不會去搞一個共同指導協議之類的東西,而更多的是因為我們有共同的興趣,經常交流,這時候共同指導和合作自然而然地就發生了。
希望我解釋清楚了,這就像婚姻,是給了鼓勵,然后看它會不會發生。如果是一場早已安排好的婚姻,最后的結局有可能是好的,但也更有可能會像是一個監獄,甲乙兩個人被迫接受這種特定的關系、被迫在同一個項目里合作。但其實可能甲和丁的關系要處得好得多也有可能。例如,在實驗室里,我們有這樣一個概念—— 有一個資金池,你可以與任何你想要合作的的人合作,無論如何你都會得到資助。
Taylor:這是因為參與項目的主要研究人員們喜歡資金池的做法嗎?
Bengio:我會將自己的研究資金組成共同的資金池。這并不是一種通用的方法,但通常對于有資深教授的實驗室來說,這種做法會讓學生更容易獲得資金。在申請項目經費的時候我也會寫明這一點。參與研究的人如果不受到資金的限制,就可以更享受、探索出更多的想法。
Taylor:對于新教授來說,考慮研究什么方向是很重要的,是做一個沒有別的人做的全新的領域,還是做已經有別的學校成員、資深教授在做的,可以有充分合作的領域呢?
Bengio:是這樣,只要你能和大部隊相處得來,那么參與已有的研究領域要容易得多。因此,只要你能接受團隊的風格,那么在實驗室里,初級教員就可以輕松上手。他們不必受到資金的壓力,他們可以提出自己的想法,與其他人一起合作指導學生,也很早就可以獲得關于自己的研究的反饋。
Taylor:我想談談關于招收學生的事情。最近正是深度學習的熱潮來臨,應該有很多學生申請實驗室工作,和以前會很不一樣吧。如果你對對方不是很有興趣你會怎么辦?學生們突然增加的這么多興趣你又是如何應對的?
Bengio:首先,實驗室不只是在進行研究,而是讓它為人所知。做研究的人可以去參加研討會和會議,可以去參觀其他實驗室,你不一定非要等別人邀請你。你可以大方地說,「嘿,我也在這一領域工作,可以與大家交流一下嗎?」然后你會慢慢在界內為人所知。另外,如果你通過研究資助進行正式的合作,也會這樣的網絡效應。
這對實驗室的招人來說是一個巨大的幫助,當然也有教學上的幫助。教學的另一作用就是是讓學生了解你,特別是你的研究生或者是最后一年的本科生。你可以談論你關心的事情,與他們建立聯系。你可以慢慢發現學生的優點,并試著把它們引入到你的實驗室里。
我的實驗室里有來自本科生和其他地方的暑期實習生。通過這種方式,可以了解一個人是否具有研究潛力。這樣做比面試一次就招募一個人要安全得多,畢竟留下來的人會與你一起共事五年。
我去年收到了 700 份簡歷申請,今年可能有 1000 個,而其實我需要招募的只有幾十個,所以必須有條理,需要秘書去幫助整理。如果不這樣的話,可能會淹沒在上千份簡歷里,也沒有辦法親自一一回復每一封郵件。
Taylor:我們要討論的最后一件事是與企業界的合作。你怎么判斷是否是合適的合作?
Bengio:沒法立刻判斷,都是幾年后才能意識到。通常情況是雙方的期望之間存在不匹配,與企業界的合作必須小心這一點,你需要明確告訴對方,學術界的人可以為他們做什么而不能做什么。重要的是讓他們明白學術不是廉價勞動力,也不會產出產品,而是可以創造一些能改變商業模式的想法。企業需要明白,這只是投資的一部分。他們還需要讓內部人員將算法和原型轉變為產品,否則合作注定要失敗。說實話很多人不愿意聽到這些,因為這意味著企業要花更多的錢。但是這些話不得不說。
Taylor:您是否曾經放棄過與公司的合作?
Bengio:不會。一般會發生的事情是,雙方合作過之后都同意續簽合作合同不是很有價值了,就終止了。
Taylor:通常合作都會有固定的時間?
Bengio:是的,這些合同通常是一年,兩年或三年。
Taylor:最后您還有什么想要分享的內容嗎?
Bengio:傾聽你的直覺。許多人缺乏自信,因此他們錯過了機會。作為研究人員,我們的主要工作是提供有意義的想法來推動知識進步。這些想法隱藏在我們大腦某個地方,我們需要培養一種能力,讓這些想法能夠發展成熟并發布出來,因此你需要有足夠的時間來思考,而不是一直編程,寫作甚至閱讀。多考慮一下那些讓你煩惱的大問題。
Taylor:謝謝 Bengio。您說的很多東西都是我在工作幾年后才明白的經驗教訓。但是對于有人來說,在第一年或第二年看到這些是非常有價值的。正如您前面提到過的,讀博士的目標并不僅僅是管好一個實驗室而已。
-
人工智能
+關注
關注
1792文章
47394瀏覽量
238902 -
深度學習
+關注
關注
73文章
5507瀏覽量
121265
原文標題:觀點 | Yoshua Bengio 經驗分享:如何做好學術研究?如何管好實驗室?
文章出處:【微信號:CAAI-1981,微信公眾號:中國人工智能學會】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論