1. 深度學(xué)習(xí)的發(fā)展歷史

　　第一階段：從BP神經(jīng)網(wǎng)絡(luò)算法的出現(xiàn)（1970-1980）到2006年這幾十年的時(shí)間里；由于ＢＰ神經(jīng)網(wǎng)絡(luò)算法的出現(xiàn)，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成為現(xiàn)實(shí)［3］。由于這段時(shí)間神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)了許多問(wèn)題，而被學(xué)術(shù)界和主流的計(jì)算機(jī)視覺(jué)所詬病，只有為數(shù)不多的科學(xué)家仍不懈地堅(jiān)持。出現(xiàn)的問(wèn)題如下所示：

　　1） 數(shù)據(jù)難以挖掘。由于缺乏大量有必備的數(shù)據(jù)，有監(jiān)督訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方法沒(méi)有充足的數(shù)據(jù)樣本以至于擬合不了復(fù)雜網(wǎng)絡(luò)模型的參數(shù)，極易出現(xiàn)擬合過(guò)度的現(xiàn)象，對(duì)比隨機(jī)森林、支持向量機(jī)［4］等當(dāng)時(shí)比較流行的淺層學(xué)習(xí)方法，BP神經(jīng)網(wǎng)絡(luò)不能有效地解決當(dāng)前的困境，因而沒(méi)有被廣泛應(yīng)用。

　　2） 局部最優(yōu)缺陷。在進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，由于存在各種極值問(wèn)題，可能會(huì)陷入局部最優(yōu)的陷阱，從而導(dǎo)致梯度下降法不能最大限度的發(fā)揮其作用。

　　3） 梯度彌散缺陷。當(dāng)網(wǎng)絡(luò)訓(xùn)練深度增加時(shí)，反向傳播梯度幅度值將驟減，因此更新也會(huì)變得非常緩慢，樣本也將不能實(shí)現(xiàn)有效學(xué)習(xí)［5］。我們通常把這種缺陷稱為“梯度彌散”，“梯度彌散”是使深度學(xué)習(xí)發(fā)展緩慢的關(guān)鍵因素。

　　4） 硬件難以支持。深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練對(duì)計(jì)算機(jī)硬件要求很高，除此之外還有反向傳播過(guò)程以及大量樣本數(shù)據(jù)的學(xué)習(xí)［6］。他們要求計(jì)算機(jī)要有足夠大的內(nèi)存和主頻。而后隨著計(jì)算機(jī)內(nèi)存容量的擴(kuò)大，還有GPU并行計(jì)算發(fā)展，深度學(xué)習(xí)越來(lái)越貼近現(xiàn)實(shí)［7］。

　　5） 淺層學(xué)習(xí)的作用凸顯。由于多層感知機(jī)算法、支持向量機(jī)、隨機(jī)森林等淺層學(xué)習(xí)算法地迅速發(fā)展［8］，而且在社會(huì)生活中發(fā)揮著明顯的作用，使深度神經(jīng)網(wǎng)絡(luò)逐漸淡出人們的視野。

　　第二階段：從2006年到2012年，深度學(xué)習(xí)發(fā)展迅猛，這個(gè)階段是主要以無(wú)監(jiān)督深度學(xué)習(xí)的研究階段。2006年，無(wú)監(jiān)督深度置信網(wǎng)絡(luò)訓(xùn)練方法首先由深度學(xué)習(xí)創(chuàng)始人Hinton提出，并以此拉開(kāi)了深度學(xué)習(xí)學(xué)習(xí)熱潮、以至于人工智能發(fā)展熱潮的序幕［9］；

　　第三階段：從2012年至今，深度學(xué)習(xí)被廣泛應(yīng)用于社會(huì)各個(gè)領(lǐng)域，其突出表

　　現(xiàn)在人工智能的推廣。2012年，在Hinton的帶領(lǐng)下，其團(tuán)隊(duì)創(chuàng)建的Alexnet模型在ImageNet大賽中獲得驕人的成績(jī)，模型的準(zhǔn)確率無(wú)與倫比，計(jì)算機(jī)領(lǐng)域大師們的目光都聚焦在這場(chǎng)大賽上［10］。隨后深度學(xué)習(xí)的發(fā)展浪潮一發(fā)不可收。當(dāng)前各個(gè)互聯(lián)網(wǎng)公司都蜂擁擠入對(duì)深度學(xué)習(xí)研究的行列之中，其中最具代表性企業(yè)如：百度、微軟、谷歌，他們?cè)诜g、圖像檢索、語(yǔ)音識(shí)別等領(lǐng)域都使用了深度學(xué)習(xí)，并因此收效顯著。2012年6月，谷歌Google Brain計(jì)劃被曝光，Google Brain計(jì)劃項(xiàng)目由世界計(jì)算機(jī)系統(tǒng)頂尖專家 Jeff Dean 和來(lái)自斯坦福大學(xué)機(jī)器學(xué)習(xí)的教授 AndrewNg一起負(fù)責(zé)，該項(xiàng)目是為了訓(xùn)練一種被稱作“深度神經(jīng)網(wǎng)絡(luò)”（Deep Neural Networks，DNN）機(jī)器學(xué)習(xí)的模型，他們利用16000個(gè)CPU Core并行計(jì)算的平臺(tái)開(kāi)展該項(xiàng)目，并因此在圖像識(shí)別和語(yǔ)音識(shí)別等人工智能領(lǐng)域獲得了輝煌的［11］。2013年1月，百度研究院被高調(diào)宣布創(chuàng)立，而百度研究院中居于首位的是深度學(xué)習(xí)研究所（Idl，Institute Of Deep Learning）［12］。
??
? ? ? ??