如今，人工智能已經無處不在，從個人設備到企業應用程序，隨處可見。物聯網的出現伴隨著對數據隱私、低功耗、低延遲和帶寬限制的日益增長的需求，越來越多地推動人工智能模型在邊緣而不是云端運行。

根據 Grand View Research 的數據，2019 年全球邊緣人工智能芯片市場價值 18 億美元，預計從 2020 年到 2027 年將以 21.3% 的復合年增長率增長。在此之初，谷歌推出了 Edge TPU，也稱為 Coral TPU，這是其專用于在邊緣運行 AI 的 ASIC。它旨在提供出色的性能，同時占用最小的空間和功率。

當我們訓練一個 AI 模型時，我們最終會得到具有高存儲要求和 GPU 處理能力的 AI 模型。我們無法在內存和處理空間不足的設備上執行它們。TensorFlow Lite 在這種情況下很有用。TensorFlow Lite 是一個在 Edge TPU 上運行的開源深度學習框架，允許在設備上進行推理和 AI 模型執行。另請注意，TensorFlow Lite 僅用于在邊緣執行推理，而不用于訓練模型。要訓練 AI 模型，我們必須使用 TensorFlow。

結合 Edge TPU 和 TensorFlow Lite

當我們談論在 Edge TPU 上部署 AI 模型時，我們無法部署任何 AI 模型。

Edge TPU 支持 NN（神經網絡）操作和設計，以實現低功耗的高速神經網絡性能。除特定網絡外，它僅支持 Edge TPU 的 8 位量化和編譯的 TensorFlow Lite 模型。

簡單總結一下，TensorFlow Lite 是專為移動和嵌入式設備設計的輕量級 TensorFlow。它以小存儲大小實現低延遲結果。TensorFlow Lite 轉換器允許將基于 TensorFlow 的 AI 模型文件 （.pb） 轉換為 TensorFlow Lite 文件 （.tflite）。以下是在 Edge TPU 上部署應用程序的標準工作流程。

Edge TPU 上的應用部署

讓我們看一些可以在邊緣 TPU 上使用 TensorFlow Lite 構建的有趣的實際應用程序。

人體檢測和計數

這個解決方案有很多實際應用，特別是在商場、零售、政府機關、銀行和企業中。人們可能想知道如何檢測和計數人類。數據現在具有時間和金錢的價值。讓我們看看如何使用來自人類檢測和計數的見解。

估計客流量：對于零售業來說，這很重要，因為它可以判斷他們的商店是否經營良好。他們的展示是否吸引顧客進入商店。它還可以幫助他們了解是否需要增加或減少支持人員。對于其他組織，它們有助于為人們采取適當的安全措施。

人群分析和隊列管理：對于政府辦公室和企業，通過人工檢測和計數進行隊列管理有助于他們管理更長的隊列并節省人們的時間。學習隊列可以歸因于個人和組織的表現。人群檢測可以幫助分析緊急情況、安全事件等的人群警報，并采取適當的行動。當部署在邊緣時，此類解決方案可提供最佳結果，因為可以接近實時地采取所需的操作。

基于年齡和性別的定向廣告。

該方案主要在零售和廣告行業有實際應用。想象一下，您走向正在展示女鞋廣告的廣告顯示屏，然后突然廣告變為男鞋廣告，因為它確定您是男性。有針對性的廣告可以幫助零售商和制造商更好地定位他們的產品，并創造普通人在忙碌的生活中永遠看不到的品牌知名度。

這不僅限于廣告，年齡和性別檢測還可以通過管理零售店的適當支持人員，人們更喜歡訪問您的商店，企業的年齡和性別等來幫助企業快速做出決定。所有這些都更強大，更如果您很快確定并采取行動，則有效。因此，更有理由在 Edge TPU 上使用此解決方案。

人臉識別

第一個人臉識別系統建于 1970 年，至今仍在開發中，變得更加強大和有效。在邊緣進行人臉識別的主要優勢是實時識別。另一個優點是在邊緣進行人臉加密和特征提取，只需將加密和提取的數據發送到云端進行匹配，從而保護人臉圖像的 PII 級隱私（因為您不會將人臉圖像保存在邊緣和云端）并遵守嚴格的隱私法。

Edge TPU 與 TensorFlow Lite 框架相結合，開啟了多個邊緣 AI 應用機會。由于該框架是開源的，開源軟件 （OSS） 社區也支持它，使其在機器學習用例中更受歡迎。TensorFlow Lite 的整體平臺增強了嵌入式和物聯網設備邊緣應用程序增長的環境。

審核編輯：郭婷