作者：Reese Grimsley德州儀器系統應用工程師

使用邊緣AI處理解碼條形碼的條形碼掃描儀示例

計算機視覺是指將人類視覺（一種信息豐富且直觀的傳感器）引入計算機的技術目標，使裝配線檢查、安全系統、駕駛員輔助和機器人等應用成為可能。

不幸的是，計算機缺乏像人類那樣直覺視覺和圖像的能力。相反，我們必須為計算機提供算法來解決特定領域的任務。

我們經常認為我們的愿景是理所當然的，以及這種生物能力如何解釋我們的周圍環境，從看冰箱檢查食物保質期到專心觀察紅綠燈變綠。

計算機視覺可以追溯到 1960 年代，最初用于從頁面讀取文本（光學字符識別）和識別圓形或矩形等簡單形狀等任務。此后，計算機視覺已成為人工智能（AI）的核心領域之一，它涵蓋了任何試圖從數據中感知，合成或推斷更深層次含義的計算機系統。有三種類型的計算機視覺：傳統或“基于規則”、經典機器學習和深度學習。

在本文中，我將從讓計算機使用視覺來更像人類一樣感知世界的角度來考慮人工智能。我還將描述每種類型的計算機視覺的權衡，特別是在本地收集、處理和處理數據的嵌入式系統中，而不是依賴基于云的資源。

傳統計算機視覺

傳統的計算機視覺是指解決運動估計、全景圖像拼接或線條檢測等任務的編程算法。

傳統的計算機視覺使用標準的信號處理和邏輯來解決任務。Canny邊緣檢測或光流等算法可以分別找到運動的輪廓或矢量，這對于隔離圖像中的對象或后續圖像之間的運動跟蹤非常有用。這些類型的算法依賴于過濾器、轉換、啟發式和閾值，從圖像或視頻中提取有意義的信息。這些算法通常是特定于應用程序的算法的前身，例如解碼一維條形碼中的信息，其中一系列規則在檢測到單個條形時對條形碼進行解碼。

傳統的計算機視覺在其簡單性和可解釋性方面是有益的，這意味著開發人員可以在每一步分析算法并解釋算法為什么會如此。這在軟件審核或安全關鍵型應用程序中非常有用。然而，傳統的計算機視覺往往需要更多的專業知識才能正確實現。

算法通常具有一小組參數，需要調整這些參數才能在不同環境中實現最佳性能。實施可能很困難，特別是對于優化的高通量應用程序。某些規則、算法決策或參數值可能會對不符合原始期望的圖像產生意想不到的影響，從而有可能欺騙算法。如果不暴露新的邊緣情況或增加算法的復雜性，此類漏洞和邊緣情況可能很難修復。

用于計算機視覺的經典機器學習

機器學習是一類算法，它使用數據在算法中設置參數，而不是直接編程或校準。這些算法，如支持向量機、多層感知器（人工神經網絡的前身）和k-最近鄰，被用于傳統計算機視覺難以解決的應用。例如，在傳統的計算機視覺算法上編程“識別狗”是一項艱巨的任務，尤其是在存在復雜場景和物體的情況下。訓練機器學習算法以從 100 秒或 1000 秒的樣本圖像中學習參數更容易處理。通過使用包含這些邊緣情況示例的數據集來解決邊緣情況。

訓練是計算密集型的，但在新數據上運行算法需要的計算資源要少得多，因此可以實時運行。這些經過訓練的模型通常具有較低的可解釋性，但對數據中的小計劃外變化（例如對象的方向或背景噪音）更具彈性。可以通過使用更多數據重新訓練來修復無法很好地處理的變體。具有更多參數的較大模型通常具有更高的精度，但具有更長的訓練時間以及運行時所需的更多計算，這在歷史上阻止了非常大的模型在嵌入式處理器上的實時應用程序中使用。

基于機器學習的經典計算機視覺方法仍然需要專家來“制作”訓練機器學習模型的特征集。其中許多功能在傳統的計算機視覺應用程序中是通用的。并非所有功能都有用，因此需要分析以修剪無信息功能。有效實現這些算法需要圖像處理和機器學習方面的專業知識。

深度學習

深度學習是指在大部分未處理或“原始”數據上運行的非常大的神經網絡模型。深度學習通過將特征提取操作拉入模型本身，對計算機視覺產生了巨大影響，從而使算法根據需要學習信息量最大的特征。圖1顯示了每種計算機視覺方法中的數據流。

圖1. 每種計算機視覺方法中的數據流

深度學習在計算機視覺類型中具有最普遍性;神經網絡是通用函數逼近器，這意味著它們能夠學習輸入和輸出之間的任何關系（只要存在這種關系）。深度學習擅長在數據中發現微妙和明顯的模式，并且對輸入變化最寬容。物體識別、人體姿勢估計和像素級場景分割等應用是常見的用例。

深度學習需要最少的直接調諧和圖像處理專業知識。這些算法依賴于大型和高質量的數據集，通過逐步找到在訓練期間優化損失或錯誤指標的參數來幫助通用算法學習模式。新手開發人員可以有效地利用深度學習，因為重點從算法的實現轉移到數據集管理。此外，許多深度學習模型是公開可用的，因此可以針對特定用例對其進行重新訓練。使用這些公開可用的模型很簡單;但是，開發完全自定義的體系結構確實需要更多的專業知識。

與傳統的計算機視覺和經典機器學習相比，深度學習具有更高的準確性，并且由于在研究（以及不斷增長的商業）社區中的巨大普及而迅速提高。然而，深度學習通常具有較差的可解釋性，因為算法非常大且復雜;與訓練數據集完全不同的圖像可能會導致意外、不可預測的行為。由于它們的大小，深度學習模型的計算量非常大，因此需要特殊的硬件來加速它們的實時操作。在大型數據集上訓練大型模型的成本可能很高，并且管理大型數據集通常既耗時又乏味。

然而，處理能力、速度、加速器（如神經處理單元和圖形處理單元）的改進，以及對矩陣和矢量運算的軟件支持的改進，使得計算需求的增加變得不那么重要，即使在嵌入式系統上也是如此。AM6xA 產品組合等嵌入式微處理器利用硬件加速器以高幀速率運行深度學習算法。

比較不同類型的計算機視覺

那么哪種類型的計算機視覺最好呢？

這最終取決于其應用，如圖 2 所示。

圖2. 計算機視覺類型及其應用

簡而言之，對于大多數屬性，具有經典機器學習的計算機視覺介于其他兩種方法之間;與其他兩種方法相比，受益的應用程序集很小。傳統的計算機視覺在簡單、高通量或安全關鍵型應用中可以足夠準確和高效。深度學習是最通用的，最容易開發的，并且在復雜的應用和環境中具有最高的精度，例如在高密度設計的PCB組裝驗證期間識別微小的缺失組件。

一些應用程序受益于串聯使用多種類型的計算機視覺算法，以便它們覆蓋彼此的弱點。這種方法在處理高度可變環境的安全關鍵應用中很常見，例如駕駛員輔助系統。例如，您可以使用傳統的計算機視覺方法和深度學習模型來跟蹤附近的車輛，并使用算法融合結果以確定這兩種方法是否相互一致。如果他們不這樣做，系統可以警告駕駛員或開始優雅的安全操作?；蛘?，可以按順序使用多種類型的計算機視覺。條形碼閱讀器可以使用深度學習來定位感興趣的區域，裁剪這些區域，然后使用傳統的CV計算機視覺算法進行解碼。

計算機視覺實踐

計算機視覺的進入門檻正在逐步降低。OpenCV 等開源庫提供了邊緣檢測和顏色轉換等常見功能的高效實現。像tensorflow-lite和ONNX運行時這樣的深度學習運行時使深度學習模型能夠在嵌入式處理器上高效運行。這些運行時還提供了自定義硬件加速器可以實現的接口，以簡化開發人員在準備將算法從 PC 或云上的訓練環境移動到嵌入式處理器上進行推理時的體驗。許多深度學習架構也是公開發布的，因此它們可以重用于各種任務。

德州儀器 （TI） AM6xA 產品組合中的處理器（如 AM62A7）包含深度學習加速硬件以及針對各種傳統和深度學習計算機視覺任務的軟件支持。C66x 等數字信號處理器內核和用于光流和立體深度估計的硬件加速器也支持高性能的傳統計算機視覺任務。

借助能夠同時進行傳統和深度學習計算機視覺的處理器，可以構建可與科幻夢想相媲美的工具。自動購物車將簡化購物;手術和醫療機器人將引導醫生發現疾病的早期跡象;移動機器人將修剪草坪并運送包裹。如果您可以設想它，那么您將要構建的應用程序也可以。

編輯：黃飛