在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

您好,歡迎來(lái)電子發(fā)燒友網(wǎng)! ,新用戶?[免費(fèi)注冊(cè)]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

機(jī)器學(xué)習(xí)論文簡(jiǎn)析

大小:0.7 MB 人氣: 2017-09-30 需要積分:1

  人工智能機(jī)器學(xué)習(xí)領(lǐng)域的學(xué)術(shù)論文汗牛充棟。每年的各大頂級(jí)會(huì)議、研討班錄用好幾千篇論文,即便是親臨現(xiàn)場(chǎng)也很難追蹤到所有的前沿信息。在時(shí)間精力有限的情況下,選擇精讀哪些論文,學(xué)習(xí)哪些熱門(mén)技術(shù)就成為了AI學(xué)者和從業(yè)人員所頭痛的問(wèn)題。本欄目旨在要幫助大家篩選出有意思的論文,解讀出論文的核心思想,為精讀提供閱讀指導(dǎo)。

  NIPS(Neural Information Processing Systems,神經(jīng)信息處理系統(tǒng)進(jìn)展大會(huì))是每年12月由NIPS基金會(huì)主辦的人工智能和機(jī)器學(xué)習(xí)頂級(jí)會(huì)議,每年大會(huì)都吸引了機(jī)器學(xué)習(xí)、人工智能、統(tǒng)計(jì)等領(lǐng)域的眾多國(guó)際專家前來(lái)參與。筆者從NIPS 2016會(huì)議文章中精選出10篇有意思的文章,為讀者解惑。

  Using Fast Weights to Attend to the Recent

  亮點(diǎn):在Short-Term Memory、Long-Term Memory以及LSTM之外,有什么更好的Attention機(jī)制呢?

  本文作者陣容豪華,有來(lái)自多倫多大學(xué)的Jimmy Ba、Google DeepMind的Volodymyr Mnih、Joel Leibo以及Catalin Ionescu,外加Geoffrey Hinton坐鎮(zhèn)。文章一開(kāi)始講明了現(xiàn)在的問(wèn)題,在傳統(tǒng)的Recurrent Neural Networks(RNN)領(lǐng)域,有兩種形式的Memory。這兩種Memory形式有不一樣的結(jié)構(gòu)、目的和容量(Capacity)。Short-Term Memory直接通過(guò)Hidden Vector來(lái)存放信息,容量是O(H),這里H是Hidden Units的數(shù)量。而另一方面,Long-Term Memory通過(guò)現(xiàn)在的輸入信息和Hidden Vector,來(lái)得到下一步的輸出信息以及新的Hidden Vector,總共的容量是O(H2)+O(IH)+O(HO),這里I和O是輸入單元以及輸出單元的數(shù)量。另外一種比較傳統(tǒng)的Long Short-Term Memory Networks(LSTM)依然只擁有O(H)的處理Short-Term Memory的能力。文章的核心是想提出一種能夠更加有效地提供記憶的機(jī)制。當(dāng)然,文章用了一小節(jié)從生理學(xué)的角度來(lái)講如何有這樣的啟發(fā),不過(guò)這恐怕主要想把文章的立意拔高,其實(shí)和后面的主要模型部分并沒(méi)有直接的聯(lián)系。簡(jiǎn)單說(shuō)來(lái),這篇文章提出的模型基于傳統(tǒng)的RNN進(jìn)行了這樣的改進(jìn):

  下一步的Hidden Vector來(lái)自于兩個(gè)因素:

  當(dāng)前的Hidden Vector和當(dāng)前的輸入信息;

  一個(gè)類似Attention機(jī)制的但這篇文章叫做Fast Weights的Matrix作用于之前的Hidden Vector。

  這個(gè)Fast Weights隨著時(shí)間的推移,會(huì)有一個(gè)衰減信息。

  如何理解Fast Weights呢?直觀來(lái)說(shuō), Fast Weights是一個(gè)Attention機(jī)制,把現(xiàn)在的Hidden Vector和過(guò)去的任意Hidden Vector進(jìn)行比較,通過(guò)Outer Product的結(jié)果來(lái)決定Attention的強(qiáng)度。有了這么一種Attention機(jī)制,整個(gè)模型就能夠?qū)^(guò)去類似的記憶進(jìn)行回憶,產(chǎn)生一個(gè)可以對(duì)近期的信息進(jìn)行綜合反應(yīng)的效果。在穩(wěn)定Fast Weights的目的下,文章還使用了Layer Normalization技術(shù)。文章的一些實(shí)驗(yàn)結(jié)果驚人,比如在一個(gè)人造的數(shù)據(jù)集上,模型效果能夠很容易達(dá)到0錯(cuò)誤率。而在MNIST的數(shù)據(jù)上做Visual Attention,提出的模型也能有非常不錯(cuò)的效果。總之,這篇文章值得泛讀。對(duì)于研究Attention機(jī)制的讀者來(lái)說(shuō),是一個(gè)精讀的材料。

  Learning Structured Sparsity in Deep Neural Networks

  亮點(diǎn):如何把前幾年盛行的Structured Sparisity和DNN結(jié)合?這篇文章給出了思路。

  這篇文章來(lái)自匹茲堡大學(xué)的研究人員,核心內(nèi)容非常清晰,那就是要引入Structured Sparsity到DNN來(lái),使得最終的DNN有一個(gè)比較緊湊的表示,加快運(yùn)算速度,同時(shí)能夠得到硬件友善的表現(xiàn)形式,讓硬件能夠比較快地執(zhí)行。雖然之前已經(jīng)有了一些工作來(lái)對(duì)DNN進(jìn)行壓縮,但這篇文章的作者認(rèn)為,這些壓縮方法(比如直接使用L1 Regularization),可能會(huì)讓網(wǎng)絡(luò)得到一些隨機(jī)(Random)的鏈接,使得內(nèi)存訪問(wèn)變得不常規(guī)(Iregular)。在這樣的情況下,新的模型,雖然表面上有很大的Sparsity,但是并沒(méi)有加快運(yùn)算速度,有時(shí)候甚至還有減少。另外一種最近的思路,就是最近采用的Low-Rank Approximation方法。簡(jiǎn)單說(shuō)來(lái)這種方法為先訓(xùn)練DNN,然后每層得到的Tensor被分解,并且被更小的Factor所替代逼近。這種方法的好處是能夠達(dá)到加速,壞處則是需要最終重新Fine-Tune模型的精度。顯然,這篇文章就是要解決上述缺點(diǎn)。文章作者把前幾年火熱的Structured Sparisty Learning(SSL)和DNN相結(jié)合。具體說(shuō)來(lái),就是采用了Group Lasso的方法來(lái)讓DNN的參數(shù)能夠結(jié)構(gòu)化置0。在這篇文章里,作者采用了三種方法:

  懲罰(Penalizing)不重要的Filter和Channel:把一些Filter和Channel置0;

  學(xué)習(xí)任意形狀的Filter:在2D空間上學(xué)習(xí)通過(guò)置0,達(dá)到學(xué)習(xí)任意形狀的要求;

  縮短DNN的層數(shù):徹底移除整個(gè)層,通過(guò)增加Shortcut的方法來(lái)達(dá)到不產(chǎn)生斷層的情況。

  文章并沒(méi)有提供在SSL和DNN相結(jié)合的情況下的Learning算法。實(shí)驗(yàn)部分非常詳實(shí),用LeNet在MNIST、ConvNet和ResNet在CIFAR-10以及AlexNet在ImageNet上都做了實(shí)驗(yàn)。總體的感覺(jué)是,在很多例子的情況下,更加Sparsity的DNN反而帶來(lái)了精度的提高。

非常好我支持^.^

(0) 0%

不好我反對(duì)

(0) 0%

      發(fā)表評(píng)論

      用戶評(píng)論
      評(píng)價(jià):好評(píng)中評(píng)差評(píng)

      發(fā)表評(píng)論,獲取積分! 請(qǐng)遵守相關(guān)規(guī)定!

      ?
      主站蜘蛛池模板: 天天色天天操天天射| 我要色综合网| 免费观看黄色网页| 你懂得网址在线观看| 女人的天堂网站| 久久两性视频| 成人网在线视频| 永久视频在线观看| 深夜视频在线播放视频在线观看免费观看| 天天摸夜夜摸成人免费视频| 男人资源| 日本xxxxxxxx69| 欧美日本一区| 性欧美17一18sex性高清| 日韩ab| 久久精品亚洲一级毛片| 成人伊人亚洲人综合网站222| 亚洲色五月| 久草一本| 亚洲黄网免费| 亚洲欧美一区二区三区麻豆| 色老二精品视频在线观看| 久在草影院| 97人人爱| 免费观看黄a一级视频| 欧美一区色| 综合网 色天使| 日韩艹| 白嫩美女在线啪视频观看| 色干干| 69xxx欧美| 性欧美xxx 不卡视频| 久色网| 天天夜夜啦啦啦| 色色色色色色网| 欧美一级欧美一级高清| 国外精品视频在线观看免费| 一本到在线观看视频不卡| 国产精品美女一级在线观看| 亚洲情欲网| 色噜噜狠狠色综合久|