自動駕駛技術一直是近年的研究熱點，特斯拉已研制出能在較少車輛的道路上實現自動駕駛的系統，據稱兩年左右就能上市。而在過去的9個月里，Nvidia工程團隊用一個攝像頭、一臺Drive-PX嵌入式電腦、72小時的訓練數據開發了一臺自動駕駛汽車。在Cornell Research Library擁有的arXiv.org（全球最大的預印本系統）上，Nvidia以學術預印本的形式發表了DAVE2的研究結果，標題名為《自動駕駛汽車的端到端學習》。

　　Nvidia的項目名叫DAVE2，為什么這樣命名？因為美國國防部先進研究項目局（Defense Advanced Research Projects Agency）有一個項目名叫DARPA Autonomous Vehicle（DAVE，既DARPA無人駕駛汽車）。雖然神經網絡、自動駕駛汽車看起來是一門新發明的技術，實際上谷歌的Geoffrey Hinton、Facebook的Yann Lecune、蒙特利爾大學的Yoshua Bengio在過去20年里一直在攜手研究它，這些技術是AI的一個分支。DARPA DAVE項目申請研究神經網絡自動駕駛汽車，它的前身是ALVINN項目，這個項目是Carnegie Mellon 1989年提出的。有一點已經改變：由于GPU的發展，研究變得經濟可行了。

　　神經網絡、圖像識別應用（比如無人駕駛汽車）最近出現了大爆發，主要原因有兩個。第一個，手機上渲染圖像的GPU已經很強大，很便宜，將GPU大規模裝載到板件等級的超級電腦上可以很好地解決龐大的并行神經網絡問題，而且它的價格也足夠便宜，每一名AI研究人員和軟件開發者都買得起。第二，大型、標簽式圖片數據集已經存在，我們可以用它來訓練大型并行神經網絡，這些神經網絡用GPU來執行，可以看見、感知攝像頭捕捉的物體。

　　繪制人類駕駛模式

　　Nvidia團隊訓練了一個卷積神經網絡，它可以繪制單個前置攝像頭捕捉的原始像素，攝像頭跟駕駛命令直接聯系。Nvidia技術的突破之處在于：無人駕駛汽車可以自動自學，通過觀看人類的駕駛方式自學。

　　雖然操作系統使用的是一個攝像頭和一臺Drive-PX嵌入式電腦，但是訓練系統使用的卻是三個攝像頭、兩臺電腦，它們可以抓取3D視頻圖像、轉向角度（來自人類駕駛的汽車），這些信息可以訓練系統學會“看見”和“駕駛”能力。

　　Nvidia會監視轉向角度的變化，將它作為訓練信號，然后將人類駕駛模式映射到攝像頭記錄的位圖圖像中去。系統會利用卷積神經網絡為駕駛處理步驟介定內部表征，比如偵測有用的道路特征——線路、汽車和道路輪廓。

　　自動駕駛汽車會感知路況、其它汽車及障礙物，開源機器學習系統Torch 7會對處理過程進行深入學習，然后用來操縱測試汽車。實際訓練以每秒10幀的速度進行，因為即使速度達到30幀區別也不會太大，學習的價值并不會提高。測試車包括一輛2016款林肯MKZ和一輛2013款福特福克斯。

　　機器學習處理的核心就是用Torch 7構建的卷積神經網絡模擬操縱情況。人類駕駛的汽車會拍攝一些10fps圖像，卷積神經網絡會下達操縱命令，對10fps圖像進行模擬響應，研究人員需要將模擬響應和人類轉向角度進行對比。一個是人類轉向角度，一個是卷積神經網絡模擬的操縱命令，它可以教會系統“看”和“操縱”的能力，研究者需要對兩者進行對比，分析其中的差異。汽車會在測試路線上行駛3小時，總里程相當于100英里，行程會被記錄為視頻，模擬時使用的測試數據來自于視頻。

　　公路測試

　　當卷積神經網絡模擬駕駛表現良好時，就可以在公路上對測試車輛進行更進一步的機器學習和測試了。公路測試可以改進系統，在整個過程中需要由人類司機監督無人駕駛汽車，當系統出錯時及時介入。每修正一次，結果就會輸入到機器學習系統，從而改進操縱過程的精準度。在新澤西Turnpike的行駛過程中，前10英里汽車完全自動行駛。在早期測試中，98%的操作是無人駕駛的。

　　Nvidia證明卷積神經網絡可以學會以下任務：道路偵測，非手動道路追隨，對道路及道路標識、語義抽象、路線規劃、控制進行明確的分解和分類。讓汽車在不同天氣、燈光條件、高速公路或者旁路上行駛，獲得內部處理過程，形成不到100小時的訓練數據，然后用Torch 7渲染這些數據，系統就可以學會上述操作。

　　從報告看，Nvidia暗示系統還沒有準備好投入生產，它在報告中寫道：“如果要提高網絡的穩定性、找到好辦法核實這種穩定性，提高網絡內部處理過程的可視化水平，我們還有更多的工作要做。”