NVIDIA JetPack SDK 支持 NVIDIA Jetson 模塊，為構建端到端加速 AI 應用提供全面的解決方案。JetPack 6 通過微服務和一系列新功能，擴展了 Jetson 平臺的靈活性和可擴展性，是 2024 年截至目前下載量最高的 JetPack 版本。

隨著 JetPack 6.0 生產版本的全面發布，開發者可以放心地將這些新功能加入到最先進的嵌入式 AI 和機器人應用中。本文將重點介紹其關鍵功能和全新的 AI 工作流。

JetPack 6 的關鍵功能

JetPack 6 支持在 Jetson 上擴展一系列基于 Linux 的發行版，例如 Canonical 的 Ubuntu 服務器、紅帽的 RHEL 9.4、SUSE、風河 Linux、Redhawk Real Time OS 和各種基于 Yocto 的發行版。這些基于 Linux 的發行產品在 Jetson 上提供商業化的企業級產品和解決方案，使用戶可以放心地部署和管理基于 Jetson 的產品。

由于能夠運行各種 Linux 內核，Jetson 用戶可以使用他們選擇的內核版本，而且無須花費資源將驅動程序反向移植到特定的 Jetson Linux 內核。Jetson 用戶可以獨立于 JetPack 路線圖維護自己的內核。

借助 JetPack 6，您可以在不升級 Jetson Linux BSP 的情況下，自由升級計算堆棧，這項功能在社群中特別受歡迎。

此外，JetPack 6 還為 Jetson Linux BSP 和 Jetson AI Stack 添加了 Jetson 平臺服務。Jetson 平臺服務是一套預構建的定制化服務，旨在加速 Jetson 設備上的 AI 應用開發。這些模塊化服務集合支持由 API 驅動和分解的真正云原生應用。

Jetson 平臺服務提供

模塊化、分解式、可替換架構

現作為 JetPack 6 一部分提供的 Jetson 平臺服務提供了一個模塊化架構，其中包含大量可定制的軟件和可重復使用的微服務，用于構建視覺 AI 應用。它提供具有基礎設施功能的基礎服務、可生成洞察的 AI 服務以及保障邊緣到云連接安全的參考云。

這些多樣化的微服務包括視頻存儲套件（VST）、基于 NVIDIA DeepStream 的 AI 感知服務、生成式 AI 推理服務、分析服務等。每個服務都提供了用于配置和訪問微服務功能的 API。

這些 API 通過物聯網網關基礎服務呈現在系統外部。該服務基于云原生架構使用的標準模式，使用單一網關在系統內公開 API。客戶端應用通過該 API 網關服務，調用相應的 API，從而實現微服務功能。

圖 1. NVIDIA JetPack 6.0 堆棧

Jetson 平臺服務還提供了一個物聯網云模塊，使客戶端在遠程訪問這些 API 時，能夠通過身份驗證和授權。該物聯網云模塊與云無關，可在任何公有云或私有云上運行。

圖 2. NVIDIA Jetson 上的云原生工作流

AI 服務

一系列 AI 服務集合利用 AI 模型、多目標跟蹤與流式分析技術的組合，提供優化的視頻處理和 AI 推理功能。如參考工作流所示，這些具有標準化 API 的容器化軟件可以集成到終端應用中。

適用于 VLM 的 AI 推理服務

視覺語言模型（VLM）通過將視覺模式與 LLM 相結合，實現了對圖像和視頻的語義理解。適用于 VLM 的 AI 推理服務允許通過標準化 API 訪問 VLM 功能。該服務可使用兩種受支持的模型（VILA 或 LLaVA）中的一種進行實例化，并提供兩種主要功能：

設置在流媒體視頻中通過自然語言提示創建警報的條件

使用自然語言查詢（提示）視頻并獲得回復

VLM 通常需要大量 GPU 和內存，其大小視參數數量而定。VILA 有 13B、7B 和 2.7B 三種規模。隨著參數數量的增加，模型在把握圖像語義方面的準確性會隨之提高，但代價是 GPU 使用率和內存利用率也會“水漲船高”。用戶需要根據自己選擇的 Jetson 平臺來選擇正確的模型，并根據自己的工作負載來選擇可用的系統資源。

該服務可以集成到生成式 AI 工作流中，詳見下一部分。

AI 分析服務

視頻分析應用通常需要分析人或物體在攝像頭視野內的移動。AI 分析服務將推理服務（如檢測或跟蹤）生成的元數據作為運行依據。這項服務采用流媒體元數據，并從空間和時間上洞察物體的移動。該服務的核心功能包括：

線條交叉（絆線）：在攝像頭視野中定義虛擬多段線，并在一段時間內對越線物體進行計數。

感興趣區域：定義封閉的多邊形，并對區域內的物體進行時間序列計數。例如，這項功能可用于檢測在收銀臺排隊等候的人數是否達到一定限值。

行為分析：幫助檢索物體在攝像頭視野中移動的軌跡。這項功能可通過創建熱圖可視化（圖 3）來了解物體移動的趨勢。

圖 3. 熱圖可視化可通過 AI 分析服務獲得

這里重點介紹的所有分析功能都可以使用 API 生成和提取。有關 AI 分析服務的更多信息，請參閱 Jetson 平臺服務發布文檔。

基礎服務

基礎服務為生產級 AI 系統的組裝提供了與域無關的功能，包括攝像頭管理、存儲管理、物聯網、API 網關、消息總線等。相關服務可通過 SDK 管理器方便地安裝（從 Jetpack 6.0 發布版本開始），然后作為 Linux 服務部署。基礎服務包括：

視頻存儲套件（VST）服務：支持自動發現符合 ONVIF 標準的攝像頭，以及攝像頭視頻流的攝取、存儲和流式傳輸。下游 AI 服務或任何應用都可以通過 RTSP 或 webRTC 等標準流式傳輸協議從 VST 獲取這些流。VST 專門針對大量聯網攝像頭進行了優化，并利用 Jetson 中的底層硬件加速支持，進行視頻解碼和編碼、縮放和預處理以及疊加生成。

存儲服務：存儲配置和管理支持對連接 Jetson 設備的 SATA 和 NVMe 存儲進行自動配置，以補充板載存儲和各種微服務之間的存儲分配。存儲服務通過 Jetson Linux 提供的標準 LUKS 功能，支持跨多個驅動器（包括隨時間增加的驅動器）的邏輯卷和磁盤加密（用于靜態數據保護）。

網絡服務：支持配置通過板載或外置 POE 交換機來連接 IP 攝像頭的以太網接口，并在攝像頭啟動期間設置 DHCP 以分配 IP 地址。

Redis 服務：Jetson 上的統一系統消息總線，支持各種微服務之間的消息傳遞和同步，并作為用于分析的時間序列數據庫。

API 網關（Ingress）：大多數微服務都會發布 API 供其他服務和應用調用。Ingress 服務提供了一種呈現這些 API 端點的標準機制。傳入的請求會根據配置的路徑，被導引至相應的微服務，從而使底層微服務架構遠離 API 使用者。

監控：為了監控應用以及在設備上運行的服務，監控服務提供了使用 prometheus 采集這些數據的掛鉤。它還包含一個用于可視化的 grafana 儀表盤，可使用 Ingress 或 API 網關服務遠程訪問，所包含的系統監控服務用于跟蹤系統利用率，如 CPU 和 GPU、內存、磁盤（使用節點導出器采集）等。

物聯網網關：物聯網網關服務為使用任何云服務的應用提供了一個配置代理，用于驗證設備身份和與云建立安全的連接。它與云建立雙向 TCP 連接，使設備（可能位于防火墻后）能夠與云進行通信。傳入流量通過 Ingress 服務轉發到已注冊的內部端點。它還支持通過云，將來自各種微服務的事件通知推送到外部客戶端，并且可以擴展，以支持用戶創建的微服務的自定義事件。

防火墻：如果您需要防火墻來保護您的設備，特別是在生產情況下，該服務會設置 UFW（不復雜的防火墻）和一些默認規則。您可以根據需要修改這些規則，以控制系統入口和出口的網絡流量。

支持生成式 AI 工作流

借助 Jetson 平臺服務，您可以快速構建邊緣 AI 應用。為了進一步加速這一進程，有多個參考工作流可供您使用，其中包括生成式 AI 工作流。這些工作流說明了配置和實例化各種 Jetson 服務的最佳實踐。它提供了使用 API 和上文所述的服務來構建復雜視覺 AI 應用的方法。您可以使用 API 定制或構建這些工作流。這些工作流被打包成一個 Docker compose 文件，并附有一個參考移動應用，以展示如何利用這些 API。

AI-NVR

AI-NVR（網絡視頻錄像機）是一款端到端參考應用，用于構建基于 AI 的 NVR 解決方案。它具有視頻管理和存儲、人員占用和熱圖指標、用戶身份驗證和授權、設備安全和加密存儲以及參考移動應用等諸多驚人的功能。該工作流利用 Jetson 平臺上的所有不同加速器，針對通道吞吐量和性能進行了優化。該參考工作流使用 DeepStream AI 的感知服務，并且具有高精度的 NVIDIA PeopleNet 模型和多目標跟蹤器。您可以靈活地使用自己的 AI 模型自定義感知服務或使用自己的感知服務。

由生成式 AI 賦能的邊緣警報

借助由生成式 AI 賦能的警報，您可以使用 VLM 從視頻中提取洞察，并使用自然語言來生成警報。這些模型結合了視覺和語言模式，在由文本、圖像和視頻組成的大型數據集上訓練而成，能夠理解自然語言提示并執行視覺問題解答。

VLM 不僅能夠進行基本的物體檢測和分類，還能提供更加深入的場景上下文理解。借助該工作流，您可以通過 API 在輸入視頻流上使用自然語言設置警報。例如“發生火災時發出警報”等。其次，您可以在視頻上執行問答。

視頻 1. 由生成式 AI 賦能的警報

利用 VLM 在視頻上實現實時問答

使用生成式 AI 實現零樣本檢測

零樣本檢測工作流使用的是 NanoOwl 模型，這是一種可以檢測任意數量物體的開放式詞匯模型。與在固定數量的類別上訓練的傳統物體檢測模型不同，開放詞匯模型是在互聯網規模數據上訓練的，這使它能夠檢測大多數常見物體，而且不需要專門為了這些類別而對模型進行訓練。有了這個工作流，用戶可以通過使用 API 提示模型待檢測的類別來實現任何物體的動態檢測。如要了解有關此工作流的更多信息，請參見“通過適用于 Jetson 的 NVIDIA Metropolis 微服務將生成式 AI 引入邊緣”。

擴大 Jetson 的支持范圍

Jetson 服務平臺兼容從 Orin Nano 到 AGX 的所有 Orin 系列設備。基礎服務在所有設備上均受支持，并且可使用 SDK 管理器進行安裝。同樣，所有設備也都支持 AI-NVR 工作流，但流的數量會因硬件配置而異。

在為 VLM 參考工作流選擇模型時需要考慮 Jetson 平臺。有關 Jetson Orin AGX 和 Nano 的流預計數量信息，請參見 Jetson AI Lab 上的 VLM 參考頁面。在決定模型時，還要考慮到可能需要 GPU 和內存資源的其他特定工作負載。

支持生產部署

生產系統需要穩健、可靠的硬件。NVIDIA 與許多原設備制造商建立了深入的合作關系，他們能夠提供生產級質量的載板和封裝。我們的一些合作伙伴也已集成并驗證了上述工作流與 Jetson 服務平臺，保證了所有服務都能在其平臺上開箱即用。已集成 JetPack 6 和 Jetson 服務平臺的合作伙伴包括：

Yuan

安提國際

研揚科技

研華科技

圓剛科技

矽遞科技

CRG

在構建系統并創建應用后，產品化的最后一步就是部署和管理應用。可能還需要在現場經常更新應用，這就需要用到遠程無線下載（OTA）更新。我們很高興能與幾家領先的集群管理公司合作，這些公司已經集成了 Jetson 服務平臺，并且可以提供部署和更新邊緣應用的一站式解決方案。這些合作伙伴包括：

Namla

Allxon

Mender

總結

NVIDIA JetPack 6.0 提供了一系列新功能，從 Linux BSP 層和 AI 堆棧的增強功能一直到構建邊緣應用的新方法。它引入了 Jetson 平臺服務，這個云原生模塊化服務集合帶有可以快速集成到工作流中的標準化 API。

利用這些服務和工作流的優勢，來加速邊緣生成式 AI 應用的開發。如要開始開發下一個生成式 AI 應用，請下載 JetPack 6.0。