來自哈佛大學的初創公司Perceptive Automata正在讓自動駕駛汽車實現像人類一樣的推理和判斷。

行人檢測( Pedestrian Detection)一直是計算機視覺研究中的熱點和難點。在過去的研究中，行人檢測要解決的問題是：找出圖像或視頻幀中所有的行人，包括位置和大小，一般用矩形框表示，和人臉檢測類似，這也是典型的目標檢測問題。由于人的外觀差異大，遮擋，復雜的背景以及行人的速度不同，給檢測帶來了很大的難度。再加上即使你成功檢測到目標，無法預知行人的下一步動作，也同樣會產生安全風險。

近日，來自哈佛大學的初創公司 Perceptive Automata 公布了他們最新的研究成果，他們通過深度學習將這種人類才有的直覺應用于自動駕駛汽車中。

當人在駕駛過程中，你會通過行人的面部表情，肢體行為，對方手持物品等視覺線索，只需輕輕一瞥，就可以了解到一個人的很多信息。比如你可以判斷正在過馬路的行人是否已經疲憊、正在分心或是很匆忙，根據他的穿著打扮也可以看出他是下班回家還是去健身房。大腦非常擅長處理此類感知，以至于人類都很難意識到自己在做的這些判斷。

當無人駕駛的研發過程中，把行人的肢體語言或對方手持物品等視覺線索作為駕駛決策形成的重要信息，通過使用一些深度學習算法，使用真實世界的人類行為數據來訓練算法，同時運行這些算法以此來驅動汽車的 AI技術，汽車就能夠更為全面地了解周圍環境，從而增強安全性。

有人會說“理都懂，然并卵”，然而 Perceptive Automata 的軟件正在實現這項不可能完成的任務。

Perceptive Automata的行人行為理解算法

傳統訓練方法會使用一系列同一物體的圖片，教會神經網絡辨別該物體。例如，工程師會向深度學習算法展示數百萬張救護車的圖片，然后該軟件就能夠自主識別出救護車。

Perceptive Automata 沒有使用指向同一概念的多張圖片進行訓練，而是讓數據可以用一幅圖向神經網絡傳達一系列信息。通過結合面部表情與其他標志物（如某人正拿著咖啡或手機），該軟件可以推斷出行人的注意力集中在何處。

Perceptive Automata 訓練的神經網絡可理解人類行為，從而實現安全的自動駕駛。他們同時借助了 NVIDIA DRIVE強大的性能以及節能的特性，通過車載深度學習平臺讓軟件可以分析一系列肢體語言標志，并推斷出行人的路線。該軟件可以對汽車視野內的一個人或整個人群進行計算，從而為道路上的每個人創造更安全的環境。

其聯合創始人薩姆安東尼說：“我們正在建立一個模塊，讓自動駕駛汽車能夠了解人類在路上的心態。”他告訴我們，該軟件將“讓自動駕駛汽車能夠看到一個人，并以類似人的理解，'這個人想過馬路，這個人知道我的車在這里。'”通常情況下，機器學習算法可以利用客觀數據來訓練算法，Perceptive Automata 是依賴于人的主觀判斷思路來提供用于訓練其算法的數據。

該公司要求人們觀看視頻剪輯，然后在其中標記行人，最好能判斷每個行人是否試圖過馬路以及他是否注意到了這輛車。Perceptive Automata的工程師然后使用這個標記視頻數據集來訓練機器學習算法，以做出同樣的判斷。

該公司把其研究成果做成了一個軟件模塊，任何自動駕駛汽車制造商都可以購買并放入其現有的駕駛堆棧中。Perceptive Automata 認為，自動駕駛汽車制造商應該將其視為一種額外的傳感器，可以有效地讀取車輛周圍行人的思想。然后，將這種“傳感器”數據與來自攝像機，激光雷達和其他硬件傳感器的數據相結合，以實現更平穩，更自信的駕駛。

聽起來很心動，但是開發自動駕駛汽車的公司是否真的會將此功能外包給第三方做，而不是在內部開發這種功能。安東尼告訴我們，制造自動駕駛汽車的公司有很多東西在他們的盤子里，他們寫了無數的代碼去保證車輛安全，如果有現成的軟件模塊，他們不會再去花費更多的時間去研究這些細節。對于那些正在全力以赴的實現無人駕駛商業化的公司來說，他們真正的戰場在讓測試車隊如何更安全的路測上。Nvidia將Perceptive Automata 作為合作伙伴，Perceptive Automata目前的客戶包括汽車制造商及其一級供應商，以及一些創業公司。

行人意圖研究現狀

該公司相關論文筆者目前并沒有找到，關于此類研究目前較少。西班牙巴塞羅那自治大學計算機科學系（UAB）Zhijie Fang 等人通過分析行人的姿勢來確定他或她是否要進入道路。他們基于CNN的現成2D行人姿勢估計方法，從單目圖像開發行人意圖的檢測器。在一個合適的人體骨架上，定義了關鍵點的相對特征，和高效的機器學習方法（SVM，RF）一起，能夠理解諸如交叉與停止，彎曲和行動等行人的動作。Perceptive Automata 認為這種完全基于他們觀察到的行為來預測行人運動的方法，沒有結合行人的心態來注釋訓練數據。

通過行為科學去建立AI正成為下一代人工智能汽車的重要研究方向。李德毅院士團隊曾在《自駕駛交互認知》論文中也表達過：目前自動駕駛技術在交互認知上的缺失，不僅體現在行人的肢體語言交互，還體現在基于自然語言的交互認知等方面。這種結合了行為科學（包括認知心理學，神經科學和心理物理學）技術，通過軟件平臺底層的機器學習模型來訓練行人意圖識別的方法相比普通的目標識別似乎更加智能。至少，將來無人車與行人不必分開，讓行人擁有換用的“人行道”。