對于許多集成人員和系統構建者而言，會經常遇到不同的挑戰，比如自動實現復雜決策制定的算法難以編寫且費時費力。

面對這一挑戰，FLIR給你的建議是：結合使用開源庫、Nvidia 硬件和 FLIR 相機，充分利用深度學習。本文詳細的闡述了如何通過FLIR機器視覺相機收集圖像數據，訓練神經網絡并在嵌入式系統上部署。

什么是深度學習？

深度學習是機器學習的一種形式，所采用的神經網絡在輸入節點和輸出節點之間具有許多“深度”層。通過基于大數據集訓練網絡，創建的模型可用于根據輸入數據進行精確預測。在用于深度學習的神經網絡中，每一層的輸出會前饋到下一層的輸入。通過更改各層之間連接的加權，反復優化模型。在每一個周期，對模型預測準確度的反饋將用于指導連接加權的更改。

圖 1：輸入和輸出之間含有“深度”隱藏層的神經網絡

圖 2：相對輸入加權的更改

深度學習通過自動處理之前對于傳統視覺應用過于復雜的過程，不斷改變著交通系統。得益于易于使用的框架以及經濟實惠且實現加速的圖形處理單元 (GPU) 硬件和云計算平臺，所有人都可以輕松使用深度學習。

為什么深度學習現在廣受歡迎？

GPU 加速硬件：功效更高、成本更低

使用大量處理器并行執行一組協調計算的 GPU 體系結構（稱為“大規模并行”體系結構）非常適合深度學習系統。通過 Nvidia 持續不斷的研發，極大地提升了 GPU 加速計算平臺的功效和效率并大幅降低了成本。此項技術應用廣泛，從基于Jetson TX1和TX2的緊湊型嵌入式系統到如GTX 1080等的PC級GPU，再到如Nvidia DGX-1和Drive PX 2等的 AI 專用平臺。

圖 3：Nvidia TX1（左）、TX2（中）和 Drive PX 2（右）等硬件因其并行計算架構而在加速深度學習過程方面表現出色

使深度學習框架大眾化

除了開發易于使用的框架外，還提供大量教程和在線課程來幫助人們使用深度學習。通過內含Google的TensorFlow以及開源Caffe、Torch和Theano的C++包裝器，用戶能夠快速構建和訓練自己的深度神經網絡 (DNN)。最好是從通用型 TensorFlow 開始，而Caffe的GPU優化使它非常適合部署在Jetson TX1和TX2上。Nvidia CUDA深度神經網絡 (cuDNN)庫為開發人員提供了已高度優化的常見深度學習功能的實現，進一步簡化了針對這些平臺進行的開發。

用于交通系統的深度學習

多種應用

雖然媒體主要關注的是無人駕駛車輛的發展，但深度學習還有許多其他交通應用。深度學習適用于較小規模的系統，用于解決檢測交通信號控制的行人和應急車輛、停車場管理、強行頻繁占用車道以及高精度車輛和牌照識別等問題。它還適用于較大規模的系統，用于解決城際交通流量疏通等問題。

持續訓練深度學習系統，以便應對不斷變化的狀況。HERE公司正致力于將支持深度學習的地圖系統部署到無人駕駛汽車中。此技術將生成持續更新的地圖，分辨率介于 10-20 厘米。通過深度學習，HERE 的地圖將包括固定物體（如標牌）和臨時行駛隱患（如施工工程）的精確位置。

價格更低、準備時間更短

通過提供分散的現成相機和嵌入式平臺，交通系統設計人員可以靈活地調整系統來適應他們的項目。單獨的相機和處理硬件使每個組件的升級路徑既簡單又不受約束。與專用智能相機相比，此生態系統的價格更低，準備時間更短。

如何實現系統

訓練數據采集

設計人員必須先訓練深度學習模型，然后才能進行部署。若要實現精確結果，需要高質量的訓練數據。高性能相機向根據視覺輸入做出決策的系統提供盡可能好的訓練圖像。

相機范圍內的圖像處理可簡化訓練之前所需的數據標準化。對自動算法的精確控制、銳化、像素格式轉換、鏡頭遮光更正以及 FLIR 的高級預置顏色轉換和色彩校正矩陣等相機功能可優化圖像。FLIR 在制造期間嚴格控制質量，最大限度地降低相機性能影響，從而減少訓練前進行標準化的需求。

對于捕獲移動車輛圖像的應用，全局快門傳感器可同時讀取所有像素，以防物體在讀出過程中因移動而導致的失真。FLIR 的許多機器視覺相機都使用Sony Pregius 全局快門 CMOS 傳感器。憑借 72dB 的動態范圍和小于 3e- 的讀取噪聲，它們可以同時捕獲明亮區域和陰影區域的細節，并提供出色的低光拍照性能。

低光應用（如室內停車場管理）可利用背照式 (BSI)Sony Exmor R 和 Starvis 傳感器的像素結構優勢。這些設備追求的是更大的量子效率，而不是讀出速度，以便具備小且經濟的傳感器以及更好的低光性能。

在專用硬件上訓練

收集足夠的訓練數據后，就可以訓練您的模型了。若要加快此過程，可以使用具有一個或多個啟用了 CUDA 的 GPU 或專用 AI 訓練硬件（如Nvidia DGX-1）的 PC。還提供專門使用深度學習的計算平臺。

相對性能（基于訓練時間）
NVIDIA DGX-1 的訓練速度快 75 倍
CPU 是雙套接字 Intel Xeon E5-2697 v3，170 TF 支持半精度或 FP16

部署到嵌入式系統

完成深度學習模型訓練后，就可以將它部署到相關領域了。通過功能強大的精簡型GPU加速嵌入式平臺，可防止在傳統PC上使用具有空間和電源要求的應用，并在進行邊緣計算時強制使用有限的Internet連接。這些系統基于ARM處理器體系結構，通常在基于Linux的操作系統上運行。有關如何在Linux環境中在ARM設備上使用 FLIR的FlyCapture SDK的信息，可進入閱讀原文處找到鏈接。

許多交通應用依賴于具有多個相機的系統。通過 FLIR機器視覺相機，系統設計人員可以靈活地通過GPIO或軟件準確觸發多個相機。IEEE 1588 精確時間協議 (PTP) 使相機時鐘與通用時基或 GPS 時間信號同步，無需用戶監督。多相機系統的 MTBF 隨每個額外相機降低，高度可靠的相機在構建穩健的系統時起關鍵作用。設計和測試 FLIR 機器視覺相機可確保全天候可靠性，從而最大限度地減少停機和維護。

使用 FLIR Grasshopper3 USB3 相機的 NVidia Drive PX2

Nvidia Jetson TX1 和 TX2是功能強大且高效的 GPU 加速嵌入式平臺，支持第一代 USB 3.1 和 GigE Vision 相機。專用的 Jetson 載板提供 I/O 連接性和應用特定功能。SmartCow TERA+本身就支持將最多 8 個 GigE 相機與一個托管交換機一起使用。它還支持 RS-232 和 RS-485 串行通信。SmartCow 還提供 Caffe 包裝器，可簡化在 TERA+ 硬件上支持視覺應用的深度學習的設計和部署。Connect Tech Cogswell Carrier支持第一代 USB 3.1 和以太網供電 (PoE) GigE 相機。

Nvidia Drive PX 2是開放汽車AI平臺，內置有兩個Pascal GPU核心。憑借八個TFLOPS，Drive PX2的計算能力相當于150臺Macbook Pro。Drive PX2旨在支持深度學習應用，實現無人駕駛車輛導向。除了第一代USB 3.1和GigE Vision相機，它還對使用汽車GMSL相機接口的相機有所投入。