生成式 AI 領(lǐng)域正在迅速發(fā)展，每天都有新的大語言模型（LLM）、視覺語言模型（VLM）和視覺語言動(dòng)作模型（VLA）出現(xiàn)。為了在這一充滿變革的時(shí)代保持領(lǐng)先，開發(fā)者需要一個(gè)足夠強(qiáng)大的平臺(tái)將云端的最新模型無縫部署到邊緣，從而獲得基于 CUDA 的優(yōu)化推理性能和開放式機(jī)器學(xué)習(xí)（ML）框架。

為了支持機(jī)器人和多模態(tài)智能體領(lǐng)域的新興生成式 AI 工作負(fù)載應(yīng)用，NVIDIA 以軟件升級(jí)的方式對(duì)NVIDIA Jetson Orin Nano開發(fā)者套件進(jìn)行了升級(jí)，其性能史無前例地提升至 1.7 倍。目前建議零售價(jià)僅為 2070 人民幣。鑒于 AI 性能和易訪問性的大幅提升，Jetson Orin Nano 開發(fā)者套件已更名為NVIDIA Jetson Orin Nano Super開發(fā)者套件。

Jetson Orin Nano 開發(fā)者套件只需通過軟件升級(jí)，即可升級(jí)為 Jetson Orin Nano Super 開發(fā)者套件。

本文將詳細(xì)介紹該開發(fā)者套件的新功能，以及開發(fā)者能夠如何充分利用這一更強(qiáng)大的性能。

全新 Jetson Orin Nano Super

開發(fā)者套件

全新 Jetson Orin Nano Super 開發(fā)者套件做出了以下改進(jìn)：

生成式 AI 性能提升至 1.7 倍

稀疏計(jì)算性能從之前的 40 TOPS 大幅提升至 67 TOPS

內(nèi)存帶寬從之前的 65 GB/s 大幅提升至 102 GB/s

CPU 時(shí)鐘頻率從 1.5 GHz 提升至 1.7 GHz

目前建議零售價(jià)為 2070 人民幣

視頻 1. NVIDIA Jetson Orin Nano Super 介紹：

高性價(jià)比的生成式 AI 計(jì)算機(jī)

在保持硬件架構(gòu)不變的前提下，通過提高 GPU、內(nèi)存和 CPU 的時(shí)鐘頻率，即可實(shí)現(xiàn)性能提升。之前所有的 Jetson Orin Nano 開發(fā)者套件都可以通過升級(jí)到最新版本的JetPack，實(shí)現(xiàn)性能提升。

憑借這一性能升級(jí)，Jetson Orin Nano Super 開發(fā)者套件的生成式 AI 性能提升了 70%，能夠支持運(yùn)行最新的基于 Transformer 的模型。這一套件尺寸小巧但是性能強(qiáng)大，可以輕松處理各種 LLM、VLM 和視覺 Transformer（ViT），無論是較小的模型還是參數(shù)多達(dá) 8B 的模型（例如 Llama-3.1-8B 模型）都不例外。

Jetson 所支持的 ML 框架和優(yōu)化推理基礎(chǔ)架構(gòu)與其他平臺(tái)相同，例如 HuggingFace Transformer、Ollama、llama.cpp、vLLM、MLC、NVIDIA TensorRT-LLM 等。因此，Jetson 非常適合用于在云、邊緣和 PC 之間快速調(diào)整和部署可擴(kuò)展的理想解決方案。

Jetson Orin Nano Super

開發(fā)者套件配置

表 1. Jetson Orin Nano Super 開發(fā)者套件配置比較

運(yùn)行各種 LLM、VLM 和 ViT

NVIDIA Jetson Orin Nano Super 開發(fā)者套件實(shí)現(xiàn)了性能的顛覆性突破，對(duì)于將生成式 AI 帶入嵌入式應(yīng)用，或者在高性價(jià)比的計(jì)算機(jī)中使用最前沿的生成式 AI 模型，它都將是理想的選擇。

LLM、VLM 和 視覺 Transformer（ViT）是推動(dòng)各個(gè)領(lǐng)域創(chuàng)新的變革性 AI 架構(gòu)。基礎(chǔ) LLM 擅長(zhǎng)通用語言處理和類人文本生成，結(jié)合NVIDIA Riva等流式語音識(shí)別和合成管線，可實(shí)現(xiàn)自然的人機(jī)交互界面。

小語言模型（SLM）通過剪枝和蒸餾等技術(shù)迅速實(shí)現(xiàn)性能提升，發(fā)展到可與大模型媲美的程度。這些模型專門針對(duì)邊緣計(jì)算場(chǎng)景優(yōu)化，其參數(shù)規(guī)模一般不超過 7B。

如今，開放式 LLMs 和 SLMs 普遍被訓(xùn)練用于智能體工具的使用和結(jié)構(gòu)化 I/O 函數(shù)的調(diào)用，這使得 LLM 的解析和推理能力能夠接入現(xiàn)實(shí)系統(tǒng)。

包括NVIDIA NeMo在內(nèi)的許多 ML 框架對(duì) LLM 的微調(diào)和內(nèi)存高效的 LoRAs 的支持也有所提升，這為特定應(yīng)用領(lǐng)域 SLMs 的對(duì)齊和專業(yè)化提供了明確的指導(dǎo)。

ViT 通過將像素片段標(biāo)記化為嵌入式內(nèi)容，充分發(fā)揮出 Transformer 在視覺方面的強(qiáng)大功能。它們?cè)诟鞣N基本任務(wù)中都具有領(lǐng)先的性能，包括：

特征提取

分類

檢測(cè)

分割

位姿估計(jì)

它們還可通過NVIDIA Cosmos標(biāo)記器擴(kuò)展到 3D 點(diǎn)云和視頻等更高維度的模式。ViT 推動(dòng)了創(chuàng)造性的新型混合模型的發(fā)展，這些模型將定制的視覺功能與開放詞匯語言支持以及對(duì)各種主題和對(duì)象類別的動(dòng)態(tài)運(yùn)行時(shí)查詢相結(jié)合，而無需額外的微調(diào)。

VILA 等 VLM 通過融合各種視覺和文本模式的 ViT 和 LLM，使模型能夠理解和生成詳細(xì)的場(chǎng)景描述、檢測(cè)感興趣的對(duì)象并使用 OCR 提取文本。它們可以使用多模態(tài)推理響應(yīng)用戶對(duì)圖像或視頻序列的查詢。

在經(jīng)過了與 SLM 類似的微縮化處理后，VLM 在邊緣應(yīng)用中的作用越來越大，并且憑借靈活的事件觸發(fā)警報(bào)和摘要功能，而被用于遠(yuǎn)程監(jiān)控?cái)z像頭的數(shù)據(jù)流，比如在 Jetson 平臺(tái)服務(wù)的 VLM 參考工作流中。

這些技術(shù)共同推動(dòng)著生成式 AI 和多模態(tài)系統(tǒng)以及現(xiàn)實(shí)應(yīng)用的進(jìn)步。全新 NVIDIA Jetson Orin Nano Super 大幅提升了各種 LLM、SLM、ViT 和 VLM 的性能，并且大大降低了作為物理 AI 入口的最新 Transformer 模型的入門門檻。我們對(duì)一些常用的 LLM、VLM 和 ViT 進(jìn)行了基準(zhǔn)測(cè)試，并展示了 Jetson Orin Nano Super 開發(fā)者套件較前代產(chǎn)品所帶來的速度提升。

圖 1. LLM 在 Jetson Orin Nano Super

開發(fā)者套件上的性能提升情況

表 2. 常用 LLM 的基準(zhǔn)測(cè)試性能（tokens/s）

*使用 MLC API 并經(jīng)過 INT4 量化的 LLM 生成性能（tokens/s）。

圖 2. VLM 在 NVIDIA Jetson Orin Nano Super

開發(fā)者套件上的性能提升情況

表 3. 常用 VLM 的基準(zhǔn)測(cè)試性能（tokens/s）

*所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度運(yùn)行，

其余模型使用 Hugging Face Transformer 以 FP4 精度運(yùn)行。

圖 3. ViT 在 NVIDIA Jetson Orin Nano Super

開發(fā)者套件上的性能提升情況

表 4. 常用視覺 Transformer 的 基準(zhǔn)測(cè)試性能（幀/秒）

*所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度運(yùn)行（單位：幀/秒）。

開始使用

Jetson Orin Nano Super 開發(fā)者套件

如要升級(jí)性能，請(qǐng)?jiān)贘etPack SDK頁面下載 SD 卡鏡像，并按照入門指南進(jìn)行操作。

NVIDIA 發(fā)布了基于JetPack 6.1的 SD 卡鏡像以升級(jí)性能。您也可以使用 SDK 管理器為 Jetson Orin Nano 開發(fā)者套件安裝升級(jí)性能后的 JetPack 6.1。請(qǐng)確認(rèn)已更新 SDK 管理器，并在安裝時(shí)選擇 JetPack 6.1 (rev. 1)。

啟動(dòng)并運(yùn)行 JetPack 后，使用以下命令更改性能模式以獲得超強(qiáng)性能。模式 2 是具有超強(qiáng)性能的 MAXN 模式。

sudo nvpmodel -m 2

您也可以使用 Ubuntu 桌面頂欄右側(cè)的性能模式選擇器更改性能模式。

圖 4. 性能模式選擇工具

在 Jetson Orin Nano Super

開發(fā)者套件上體驗(yàn)生成式 AI

NVIDIA 在 Jetson AI Lab 中提供了一系列教程和預(yù)構(gòu)建容器，便于您在 Jetson Orin Nano 開發(fā)者套件上探索生成式 AI。如果您對(duì)機(jī)器人感興趣，可以瀏覽 LeRobot 教程。如果您想要?jiǎng)?chuàng)建生成式 AI 聊天機(jī)器人，我們也提供了專門的創(chuàng)建教程。

Hugging Face LeRobot

NVIDIA 與 Hugging Face 合作，共同加速 LeRobot 開放式 AI 平臺(tái)上的機(jī)器人研究。您可以在 Jetson Orin Nano Super 開發(fā)者套件上運(yùn)行 HuggingFace LeRobot，該平臺(tái)所運(yùn)行的生成式 AI 模型能夠根據(jù)視覺輸入和先前軌跡預(yù)測(cè)特定任務(wù)的行動(dòng)。

圖 5. 在 Jetson Orin Nano 開發(fā)者套件上

運(yùn)行的 HuggingFace LeRobot

使用 Ollama 構(gòu)建生成式 AI

驅(qū)動(dòng)的聊天機(jī)器人

使用帶有 Open WebUI 的 Ollama 構(gòu)建一個(gè)生成式 AI 聊天機(jī)器人，并在 Jetson Orin Nano Super 開發(fā)者套件上運(yùn)行。Open WebUI 是一個(gè)被廣泛使用的開源聊天機(jī)器人服務(wù)器接口，可對(duì)接本地運(yùn)行的 LLM。這樣，該聊天機(jī)器人就可以使用檢索增強(qiáng)生成（RAG）進(jìn)一步增強(qiáng)用戶體驗(yàn)和功能。

圖 6. 在 Jetson Orin Nano Super 開發(fā)者套件上

運(yùn)行的生成式 AI 聊天機(jī)器人

通過 Jetson AI Lab 推動(dòng)

生成式 AI 的發(fā)展

Jetson AI Lab讓您能夠集中探索和嘗試專為邊緣設(shè)備優(yōu)化的最新生成式 AI 技術(shù)。

通過建立一個(gè)開放協(xié)作和社區(qū)引導(dǎo)的環(huán)境，NVIDIA 與開發(fā)者和合作伙伴攜手推進(jìn)開源邊緣 AI 和機(jī)器人學(xué)習(xí)的發(fā)展。我們的 Jetson 設(shè)備全面支持常用的機(jī)器學(xué)習(xí)框架和經(jīng)過優(yōu)化的推理微服務(wù)，您可以在 Jetson 計(jì)算機(jī)上快速構(gòu)建和部署最新的創(chuàng)新研究成果和模型，跟上日新月異的創(chuàng)新步伐。

圖 7 所示的是 NanoOWL 開放詞匯實(shí)時(shí)對(duì)象檢測(cè) ViT 的示例。

圖 8 所示的是具有交互式 txt2img 和 img2img 相似性搜索功能的 NanoDB 多模態(tài)矢量數(shù)據(jù)庫。

Jetson AI Lab 提供了近 50 個(gè)簡(jiǎn)單易學(xué)的教程和預(yù)構(gòu)建容器，讓任何經(jīng)驗(yàn)水平的開發(fā)者都能快速開始使用設(shè)備端的 LLM、SLM 和多模態(tài) VLM 以及各種 VLA、擴(kuò)散策略和語音模型變體。雖然它們都部署在本地，但卻具有與云端相同的優(yōu)化推理基礎(chǔ)設(shè)施。

Jetson AI Lab 的協(xié)作式社區(qū)引導(dǎo)型教程和資源大大降低了在邊緣部署先進(jìn)生成式 AI 的門檻。

所有 Jetson Orin Nano

和 Jetson Orin NX 系列模組

均可實(shí)現(xiàn)超強(qiáng)性能升級(jí)

NVIDIA 還升級(jí)了整個(gè)Jetson Orin Nano系列和Jetson Orin NX系列的性能。無論是小型 AI 攝像頭，還是大型自主機(jī)器，所有邊緣設(shè)備都需要算力來運(yùn)行生成式 AI 模型。

在相同的模塊硬件上，您可以使用不同模塊實(shí)現(xiàn)最高 1.7 倍的性能提升。

Orin Nano系列：提高 GPU、CPU 和內(nèi)存上的頻率和性能。

Orin NX 系列：提高 GPU 和 DLA 的性能。

表 5. Jetson Orin Nano Super

和 Orin NX Super 模組規(guī)格

適用于 Jetson Orin Nano 和 Orin NX 模組的性能升級(jí)支持和文檔將于 1 月上半月隨JetPack 6.1.1一起發(fā)布。

由于客戶對(duì) Orin 的需求日益增長(zhǎng)，NVIDIA 最近還宣布將 Jetson Orin 的產(chǎn)品生命周期延長(zhǎng)至 2032 年底。憑借此次超強(qiáng)性能升級(jí)，Orin Nano 系列和 Orin NX 系列已成為當(dāng)前和未來模型的理想平臺(tái)。

即刻開始您的生成式 AI 開發(fā)工作

Jetson Orin Nano Super 開發(fā)者套件是引領(lǐng)邊緣計(jì)算生成式 AI 開發(fā)的最佳平臺(tái)。即刻開始您的開發(fā)工作，加入這個(gè)由高級(jí)開發(fā)者和研究者所組成的充滿活力的多元化社區(qū)，和 NVIDIA 一起使用物理 AI 解決現(xiàn)實(shí)世界的挑戰(zhàn)。

現(xiàn)有 Jetson Orin Nano 開發(fā)者套件用戶，即刻就可以升級(jí)您的 JetPack SDK 以提升性能。