在 2021 年計(jì)算機(jī)視覺(jué)與模式識(shí)別大會(huì)上，特斯拉AI 高級(jí)總監(jiān) Andrej Karpathy 分享了一些特斯拉在過(guò)去幾個(gè)月中所做的事情，會(huì)上 Karpath 闡明了特斯拉在自動(dòng)駕駛領(lǐng)域的重要性，并介紹了該公司的最新超級(jí)計(jì)算機(jī)等相關(guān)內(nèi)容。

在自動(dòng)駕駛領(lǐng)域，傳感器的問(wèn)題一直分為視覺(jué)派和激光雷達(dá)派。特斯拉 CEO 伊隆 · 馬斯克是堅(jiān)定的視覺(jué)派，他曾多次 diss 激光雷達(dá)，認(rèn)為它「很荒唐，注定要失敗」。

近日，在 CVPR 2021 線上自動(dòng)駕駛研討會(huì)（WAD）上，特斯拉人工智能高級(jí)總監(jiān) Andrej Karpathy 發(fā)表了主題演講，揭秘了特斯拉如何訓(xùn)練 100% 的純視覺(jué)自動(dòng)駕駛神經(jīng)網(wǎng)絡(luò)。

在演講中，Karpathy 談到了特斯拉在過(guò)去幾個(gè)月中所做的一些事情。首先他闡明了特斯拉在自動(dòng)駕駛領(lǐng)域的重要性，并指出：當(dāng)前「社會(huì)交通方面狀況不佳」，指的是這些由金屬制成的車(chē)輛在人類(lèi)的控制下以高動(dòng)能快速行駛——或者就像他所描述的：受人肉（Meat computer use in today’s transportation）控制。

此外，Karpathy 還透露了該公司的最新超級(jí)計(jì)算機(jī)。該計(jì)算機(jī)允許汽車(chē)制造商放棄雷達(dá)和激光雷達(dá)等輔助設(shè)備，完全依賴高質(zhì)量的光學(xué)攝像機(jī)實(shí)現(xiàn)自動(dòng)駕駛。

Karpathy 闡述了目前交通環(huán)境中「人類(lèi)駕駛員」的幾個(gè)簡(jiǎn)單事實(shí)：

人們通常以 80mph 的速度駕駛重量大約一噸的汽車(chē)，可能存在 250ms 的反應(yīng)延遲，而駕駛員需要轉(zhuǎn)頭和使用后視鏡來(lái)查看交通狀況，有時(shí)他們甚至不能注意力完全集中。此外，調(diào)查發(fā)現(xiàn)：

全球每天有約 3700 人死于車(chē)禍；

交通運(yùn)輸成本較高。

Karpathy 表示：「歸根結(jié)底是人本身并不擅長(zhǎng)駕駛，會(huì)造成一些交通事故。我們希望實(shí)現(xiàn)交通自動(dòng)化，并讓整個(gè)人類(lèi)社會(huì)受益。」

他指出，使用計(jì)算機(jī)芯片代替人類(lèi)駕駛在安全性和便利性方面都有很多好處：

同樣以 80mph 的速度為例，使用計(jì)算機(jī)芯片控制駕駛，反應(yīng)延遲《《100 毫秒，可以進(jìn)行 360 度的感知，并且「計(jì)算機(jī)駕駛員」在駕駛過(guò)程中是全神貫注的。因此，自動(dòng)駕駛未來(lái)會(huì)減少交通事故，并大幅降低交通運(yùn)輸成本。

特斯拉的獨(dú)特之處

Karpathy 進(jìn)一步闡述了特斯拉在自動(dòng)駕駛方面的獨(dú)特之處：「我們采取循序漸進(jìn)的方法來(lái)實(shí)現(xiàn)自動(dòng)駕駛。特別是我們已經(jīng)擁有了使用 Autopilot 包的客戶和數(shù)百萬(wàn)輛汽車(chē)，Autopilot 軟件一直在運(yùn)行，并完善了一些保障安全的功能，當(dāng)然也包括 Autopilot 功能。在我們?yōu)榭蛻籼峁┌踩捅憷耐瑫r(shí)，我們的團(tuán)隊(duì)正在開(kāi)發(fā)完全自動(dòng)駕駛（Full Self-Driving，F(xiàn)SD）功能。」

Karpathy 在演講中播放了一段演示自動(dòng)緊急制動(dòng)的視頻。當(dāng)司機(jī)開(kāi)過(guò)一個(gè)十字路口時(shí)，一個(gè)行人突然出現(xiàn)了。汽車(chē)檢測(cè)到行人后，目標(biāo)檢測(cè)啟動(dòng)，猛踩剎車(chē)以避免碰撞。

下一個(gè)演示是一個(gè)交通管制警告的例子，該例子顯示司機(jī)分心了，他可能在看手機(jī)，沒(méi)有因?yàn)榍懊娴募t綠燈變紅而剎車(chē)。而車(chē)子檢測(cè)到了紅燈，因此它發(fā)出警告聲，司機(jī)開(kāi)始減速。

接下來(lái)的兩個(gè)視頻是踏板誤踩補(bǔ)救機(jī)制 （Pedal Misapplication Mitigation，PMM） 的示例。在第一個(gè)示例中，駕駛員正在停車(chē)并試圖轉(zhuǎn)彎。然而，他犯了一個(gè)錯(cuò)誤踩下油門(mén)而不是剎車(chē)。此時(shí)自動(dòng)駕駛系統(tǒng)啟動(dòng)，檢測(cè)到行人，突然剎車(chē)。

Karpathy 展示的最后一個(gè)場(chǎng)景是另一個(gè)司機(jī)試圖停車(chē)。司機(jī)向右轉(zhuǎn)，以為在踩剎車(chē)然而他踩的是油門(mén)，此時(shí)系統(tǒng)啟動(dòng)制動(dòng)，阻止了事故的發(fā)生。

Karpathy 還展示了特斯拉在舊金山自動(dòng)導(dǎo)航的另一個(gè)視頻，并指出他展示了所有的預(yù)測(cè)——你可以看到的線條和物體，表明系統(tǒng)也看到了相同的東西。

這些都說(shuō)明計(jì)算機(jī)控制的自動(dòng)駕駛能夠比人類(lèi)駕駛員做得更好，Karpathy 說(shuō)：「作為工程師，我們當(dāng)然會(huì)推廣自動(dòng)駕駛，對(duì)我們來(lái)說(shuō)，零干預(yù)驅(qū)動(dòng)實(shí)際上是相當(dāng)常規(guī)的，尤其在人口稀少的地區(qū)。」

值得注意的是，特斯拉不同于其他自動(dòng)駕駛公司，他們采用的是純視覺(jué)系統(tǒng)。

視覺(jué) VS 雷達(dá)，該選哪一個(gè)

「這是一個(gè)在十字路口左轉(zhuǎn)的 Waymo，這個(gè)視頻為什么這么令人印象深刻？我想強(qiáng)調(diào)的一點(diǎn)是，盡管視覺(jué)和雷達(dá)兩種情況看起來(lái)是一樣的——有一輛車(chē)在十字路口左轉(zhuǎn)，但就系統(tǒng)的可擴(kuò)展性而言，情況卻大不相同。」Karpathy說(shuō)道。

所以，行業(yè)中很多競(jìng)爭(zhēng)的方法都采用了這種激光雷達(dá) + 高清地圖的方法。

Karpathy 解釋說(shuō)，使用雷達(dá)的系統(tǒng)必須用激光雷達(dá)傳感器預(yù)先繪制環(huán)境地圖，同時(shí)還要制作高清地圖。他們還必須插入所有的車(chē)道，紅綠燈，在測(cè)試時(shí)，車(chē)輛需要定位到地圖上，以便駕駛。

雷達(dá)傳感器已經(jīng)廣泛地應(yīng)用在很多乘用車(chē)和卡車(chē)當(dāng)中，通過(guò)無(wú)線電波技術(shù)，即便在能見(jiàn)度差的情況下也能檢測(cè)快速接近的物體，是為汽車(chē)駕駛安全提供保障的傳感器之一。

但特斯拉公司表示北美市場(chǎng)的 Model 3 和 Model Y 車(chē)輛的輔助駕駛 AutoPilot 系統(tǒng)中，將放棄使用雷達(dá)傳感器，轉(zhuǎn)而聚焦攝像頭視覺(jué)為中心的解決方案。他們將依靠攝像頭視覺(jué)系統(tǒng)和神經(jīng)網(wǎng)絡(luò)處理來(lái)實(shí)現(xiàn)「Autopilot、全自動(dòng)駕駛（FSD）和某些主動(dòng)安全功能。」

Karpathy 說(shuō)：「我們采取的方法主要是基于視覺(jué)，依靠 8 個(gè)環(huán)繞車(chē)身并能夠覆蓋 360° 的攝像頭。所以我們第一次來(lái)到一個(gè)十字路口，我們必須弄清楚車(chē)道在哪里，它們?nèi)绾芜B接，交通燈在哪里，哪些是相關(guān)的，什么交通燈控制什么車(chē)道，所有的事情都發(fā)生在當(dāng)下，發(fā)生在那輛車(chē)上，我們之前并沒(méi)有高清地圖等信息。」

Karpathy 表示這是一種更具可擴(kuò)展性的方案，基于此他們需要一個(gè)能夠預(yù)測(cè)速度、加速度等信息的神經(jīng)網(wǎng)絡(luò)，首先需要一個(gè)滿足以下條件的數(shù)據(jù)集：

包含數(shù)百萬(wàn)視頻的大型數(shù)據(jù)集；

經(jīng)過(guò)預(yù)處理，帶有多種標(biāo)簽的高質(zhì)量數(shù)據(jù)集；

該數(shù)據(jù)集要豐富多樣，包含一些邊緣樣例。

Karpathy 進(jìn)一步介紹了特斯拉的數(shù)據(jù)引擎：

最終他們得到了一個(gè)包含一百萬(wàn)條視頻，60 億對(duì)象標(biāo)簽的數(shù)據(jù)集，該數(shù)據(jù)集后續(xù)還將繼續(xù)完善更新。

接下來(lái)，研究團(tuán)隊(duì)需要在這個(gè)超大型數(shù)據(jù)集上構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)。這個(gè)神經(jīng)網(wǎng)絡(luò)將是一個(gè)通用的視覺(jué)系統(tǒng)，原則上可以部署在任何需要的地方。這也是特斯拉研發(fā)團(tuán)隊(duì)正在做的事情。

使用上述方案，特斯拉能夠規(guī)避「突然減速」問(wèn)題和基于雷達(dá)的系統(tǒng)的信號(hào)中斷，提供平穩(wěn)的駕駛狀態(tài)。

Karpathy 解釋說(shuō)，特斯拉在過(guò)去幾年里構(gòu)建的視覺(jué)系統(tǒng)非常好，比其他傳感器都要好。攝像頭承擔(dān)了感知方面的大部分工作，現(xiàn)在特斯拉正在移除一些傳感器，因?yàn)檫@些傳感器正在成為不必要的輔助。

「三周前，我們開(kāi)始運(yùn)送完全沒(méi)有雷達(dá)的汽車(chē)。我們脫離了雷達(dá)，只靠視覺(jué)駕駛這些車(chē)。而我們這樣做的原因，正如伊隆在推特上所表達(dá)的，『當(dāng)雷達(dá)和視覺(jué)不一致時(shí)，你相信哪一個(gè)？視覺(jué)的精確度要高得多，因此，與其進(jìn)行傳感器融合，不如在視覺(jué)方面加大投入。』」

在演講中，Karpathy 還展示了特斯拉完全自動(dòng)駕駛（FSD）芯片。

此外，Karpathy 還講解了特斯拉的超級(jí)計(jì)算機(jī)集群，也是特斯拉即將推出的新超級(jí)計(jì)算機(jī) Dojo 的「先行版本」。特斯拉聲稱該新集群具有一些相當(dāng)瘋狂的參數(shù)，應(yīng)該會(huì)使其成為全球第五的計(jì)算機(jī)：

720 個(gè) 80GB 8x A100 節(jié)點(diǎn)（共 5760 個(gè) GPU）；

1.8 EFLOPS（720 節(jié)點(diǎn) * 312 TFLOPS-FP16-A100 * 8 gpu / 節(jié)點(diǎn)）；

10 PB「熱層」NVME 存儲(chǔ) @ 1.6 TBps；

總交換容量為 640 Tbps。

編輯：jq