在MIT - AVT研究中，最先進的嵌入式系統編程、軟件工程、數據處理、分布式計算、計算機視覺和深度學習技術被應用于大規模自然駕駛數據的收集和分析，旨在為深入了解快速變化的交通系統中人類和自動駕駛車輛是如何進行相互作用的，從而開辟新的領域。這項研究提出了MIT-AVT研究背后的方法論，旨在定義和啟發下一代自動駕駛研究。本篇介紹硬件部分。

上文介紹了了MIT自動駕駛汽車技術研究做了一個整體的簡單介紹。

麻省理工學院自動駕駛車輛技術( MIT - AVT )的研究有：

( 1 )進行大規模的現實世界駕駛數據的收集，包括高清視頻，以推動基于深度學習的內外感知系統；

( 2 )通過將視頻數據與車輛狀態數據、駕駛員特征、心理模型和自我報告的技術體驗相結合，全面了解人類如何與車輛自動化技術進行互動；

( 3 )確定如何以挽救生命的方式改進與自動化使用有關的技術和其他因素。

為了實現這些目標，MIT為21輛特斯拉Model S和Model X、2輛沃爾沃S90型車輛和2輛攬勝Evoque車輛配備了儀器，用于長期（每位駕駛員一年以上）和中期（每位駕駛員一個月）自然駕駛數據收集。

圖:整個MIT- AVT研究和研究中各個車輛的數據集統計

( a )在MIT - AVT研究的頭14個月里，車輛每天行駛里程的可視化。這種可視化沒有顯示最近幾個月，因為每輛車內的高容量存儲支持數據卸載之間的擴展記錄以及隨后通過管道處理數據的額外時間。淺綠色-黃色標志著研究的早期，每天收集的里程不到200英里。深藍色標志著研究的現狀，在這種情況下，超過1000英里的行駛里程通常被收集，平均(每月)日里程超過500英里。

( b )作為研究的一部分，裝有儀器的車輛行駛的累積距離。該圖顯示了頭450天內行駛的英里數。然而，這項研究仍在繼續，每天都在收集數百英里的數據。

圖：作為MIT -AVT研究一部分的車輛每天行駛里程的統計數據(a)(b)

此外，MIT不斷開發新的方法來分析從儀表化車隊收集的大規模數據集。記錄的數據流包括IMU、GPS、CAN消息和駕駛員面部的高清視頻流、駕駛室、前方道路和組合儀表（在特定車輛上）。這項研究正在進行中，而且還在增長。迄今為止，我們有78名參與者，7146天的參與，275589英里，35億個視頻幀。全論文介紹了這項研究的設計、數據收集硬件、數據處理以及目前用于從數據中提取可操作知識的計算機視覺算法。

本文繼續聊聊本研究的硬件部分。

硬件：數據記錄和實時處理

成功的自然駕駛研究的核心是執行數據收集的硬件和底層軟件。在MIT-AVT研究中，該角色由名為RIDER（實時智能駕駛環境記錄系統）的系統來擔任。RIDER被不斷地設計并持續開發，以滿足以下目標和要求：

1 )時間戳異步傳感器記錄：以一種方式記錄所有傳感器和數據流，即每個數據樣本（無論其頻率或數據源）都使用一個集中、可靠的時間保持器時間戳。換句話說，數據必須以允許后處理[ 63]中多個數據流的完美同步的方式進行時間標記。

2 )高清視頻：以720P( 210萬像素）的分辨率拍攝并錄制3至6臺相機數據。相機位置、分辨率和壓縮的選擇是整個研究中最重要的設計決策之一。

3 ) CAN總線：從車輛的控制器局域網（CAN）總線收集車輛遙測數據[64]。每輛車都有不同的端口和總線使用策略，幾乎沒有關于消息ID和消息內容的映射的公開信息。必須記錄原始CAN消息，使得基本信息包含在那些消息中，即使在收集這些消息時無法解碼。

4 )遠程蜂窩連接：通過蜂窩連接進行低帶寬、不頻繁的系統狀態通信，以便檢測RIDER系統何時發生故障。

5 )獨立優雅的外觀：從車內或車外可見的系統部件應具有小的外形尺寸，并具有不會減損車輛整體外觀或影響整體駕駛體驗的視覺設計特征。

6 )攝像機安裝牢固但可拆卸：安裝必須一致、可靠且可拆卸，專門針對每輛車的內部物理特性設計。

RIDER組件包括一個實時時鐘、GPS、IMU，以及具有能夠以720p分辨率記錄多達6臺攝像機的能力，可遠程蜂窩連接。開發的系統采用通用組件，根據其需求定制，實現超低成本、準確、可擴展和穩健的數據記錄平臺。

圖：Knights of CANelot,，可以控制電源板。顯示填充的CAN控制器、收發器和功率調節的功率板中間組件。還顯示了電源繼電器、微控制器、振蕩器和連接器的未填充位置。

為了保證電子設備和存儲的數據安全，RIDER被放置在后備箱內，遠離元件和乘客可能造成的干擾。。電源和CAN數據電纜從OBD - II或診斷端口延伸到干線再到RIDER。用于攝像機的USB數據線也從每個攝像機位置延伸到主干線。

A.電源管理系統

RIDER的動力系統具有許多限制：它需要靈活地轉移到不同的車輛中，并且在不使用時消耗最小的功率，以免耗盡主車輛電池。電源系統由主智能CAN監控部分和降壓轉換器組成。當啟動和記錄數據時，RIDER的功率小于8瓦。待機時，RIDER的靜態電流消耗小于1/10瓦特。

Knights of CANelot是一個CAN控制的電源板，包含一個微型芯片MCP 2515 CAN控制器和MCP 2551 CAN收發器，以及一個Atmega 328p微控制器來監控CAN總線流量。默認情況下，當給這個微控制器供電時，它會自動進入休眠狀態，不允許通過開關繼電器進入系統。。

當CAN控制器檢測到指示車輛CAN總線激活的特定預定義CAN消息時，CAN控制器從睡眠中喚醒微控制器并觸發繼電器給主降壓轉換器供電，從而向微控制器發送中斷。這開始了系統其余部分的引導順序。當車輛關閉，車內的CAN總線進入睡眠狀態時，通過Knights of CANelot微控制器發送信號，優雅地停止所有視頻和數據記錄，關閉計算機系統，斷開主電源，然后再次進入睡眠模式。

圖：完全組裝好的Knights of CANelot板，顯示了組裝好的微控制器、電源繼電器、CAN和電源連接。

B.計算平臺和傳感器

本應用選擇單板計算機，因為它具有多種I / O選項，外形小巧，易于開發。我們選擇使用具有以下傳感器和規格的Banana Pi Pro：

1 GHz ARM Cortex - A7處理器，1GB內存

用于IMU/GPS/CAN的可擴展GPIO端口

本機機載SATA

專業制造的傳感器集成子板

ARM處理器具有板載CAN控制器，用于車輛遙測數據采集

maxim集成DS3231實時時鐘，實現精確計時/時間戳+ / - 2ppm精度

德州儀器SN65HVD230 CAN收發器

9自由度慣性測量單元（STMicro L3GD20H（陀螺儀），LSM303D（加速度計/指南針））

全球頂級MTK 3339GPS裝置，6通道，DGPS能力精確到5米以內

華為E397Bu-501 4G LTE USB模塊

USB 3.0 4端口集線器，供電

1TB / 2TB固態硬盤

圖 :由3D打印外殼封裝的River的最終原型版本。。從上到下，順時針方向，連接到機箱頂部的是1tb固態硬盤形式的外部存儲，USB攝像頭通過中心顯示的USB集線器連接，USB集線器右側的BananaPi被黑色傳感器覆蓋，帶有CAN收發器、GPS、IMU和實時時鐘。底部中央，降壓轉換器，用于將車輛電池電壓從12 - 13.8伏降低對于所有計算機系統來說都是5伏特。左下角，Knights of CANelot CAN可以控制電力局。

C.相機

三四個Logitech C920網絡攝像頭以1280 x720的分辨率在車內以每秒30幀的速度記錄。其中兩個相機已經被修改為接受標準CS型鏡頭支架，以適應汽車內的面部或身體姿態。第三個攝像頭是標準網絡攝像頭，安裝在擋風玻璃上，用于向前看道路。偶爾會在組合儀表中放置第四個攝像頭來捕捉CANbus上不可用的信息。這些相機還包含用于音頻捕捉和錄制的麥克風。定制支架是專為車輛內的特殊放置而設計的。

像我們的Banana Pi這樣的大多數單板計算機缺乏編碼和壓縮多個原始高清視頻流所需的計算能力。Logitech C920相機提供了從計算平臺卸載壓縮的能力，并且可直接在相機上進行。此配置允許在單個RIDER安裝中最多可連接6個攝像機。

D.持續的硬件開發和創新

RIDER是一個強大而成熟的儀器平臺，具有足夠的數據收集能力，可用于自然駕駛研究。在研究、開發和測試過程中，我們遇到了系統的一些局限性。雖然對于大多數收集過程來說，一臺單板計算機就足夠了，但是在擴展系統時，最小系統內存的限制可能會產生問題。類似地，雙核ARM處理器在與傳感器接口并將數據寫入文件時非常有能力，但是如果機載需要對數據進行任何預處理，性能可能會波動。從我們的工作中，我們對其中一些常見問題提出了以下改進建議。

整個RIDER系統最大的改進是升級單板計算平臺。使用Nvidia Jetson TX2將為I / O和處理提供更多的可擴展性。有了更大的處理能力和GPU帶寬，實時系統可以同時使用視頻和傳感器數據實現用于檢測和驅動預警系統，數據的內部注釋等等。借助更大的I / O能力，可以實現具有更高數據帶寬的升級傳感器包。與Banana Pi Pro非常相似的是，Jetson TX2沒有一個，而是兩個完全支持的CAN控制器，可與車輛上的輔助CANbus系統連接。Jetson TX2不僅可以擴展SATA，還可以擴展PCIe和mSATA，從而實現第三方模塊的更大擴展。。通過CPU和GPU的增強處理，8倍板載RAM，使得實時駕駛員監控系統的預處理和集成成為可能。Jetson還有一個主要優點，就是它支持在多種配置中用于車輛應用程序。。以下是Jetson TX2相對于Banana Pi的規格增加的改進。

1 ) Jetson TX2 -功能：

四核ARM Cortex- A57 @ 2GHz +雙核NVIDIA Denver 2 @ 2GHz + NVIDIA Pascal GPU，帶8GB內存

工業相機;GigE vision, USB3 vision

激光雷達

機載視頻編碼

實時的

802.11a / b / g / n / ac WiFi

藍牙4.1

USB3

10/100/1000 BASE-T以太網

12車道MIPI CSI 2.0，每車道2.5 Gb /秒

PCIe gen 2.0

mSATA

sd卡

2x CAN總線接口

與Jetson TX2非常相似，Nvidia的Drive PX2是專為汽車環境設計的，用于運行半自動和完全自動駕駛車輛。它裝備精良，可以完成簡單的任務，如數據記錄，甚至高級的情況下，需要連接許多攝像頭，高帶寬傳感器和控制車輛的縱向和橫向運動的能力。盡管Drive PX2將被用于只收集數據的方案中，但它是一個很好的平臺，可以開始開發最終集成到汽車中作為生產系統的系統。以下是一些Drive PX2計算和傳感器功能。

2）Drive PX2-功能:

2x四核ARM Cortex-A57 @ 2GHz + 2x雙核NVIDIA Denver 2 @ 2GHz，帶8GB LPDDR4 RAM + 2x集成Pascal + 2x專用Pascal MXM模塊，帶4GB GDDR5 VRAM

兩臺計算機，通過以太網連接

8 TFLOPS，24 DL頂部(使用int8 )

6x總線接口

4x LINbus接口

2x FlexRay網絡接口

利用實時系統控制汽車的能力

12x GSML照相機(工業照相機)

2x 1gb + 1x 10gb (以太網)

USB3

根據上面列出的硬件和系統要求，專門為RIDER開發了一個定制的Linux內核。文件系統存儲在Banana Pi上的可更換微型SD卡上。