本文提出了一種將視覺語言模型（VLM）轉(zhuǎn)換為端到端導(dǎo)航策略的具體框架。不依賴于感知、規(guī)劃和控制之間的分離，而是使用VLM在一步中直接選擇動(dòng)作。驚訝的是，我們發(fā)現(xiàn)VLM可以作為一種無需任何微調(diào)或?qū)Ш綌?shù)據(jù)的端到端策略來使用。這使得該方法具有開放性和可適用于任何下游導(dǎo)航任務(wù)的通用性。

01本文核心內(nèi)容

導(dǎo)航問題的很大一部分涉及到與回答長上下文圖像和視頻問題所需的類似認(rèn)知過程，這正是當(dāng)代視覺語言模型（VLMs）擅長的領(lǐng)域。然而，當(dāng)這些模型被直接應(yīng)用于導(dǎo)航任務(wù)時(shí)，局限性便顯現(xiàn)出來。具體而言，當(dāng)給定一個(gè)與觀察-動(dòng)作歷史相結(jié)合的任務(wù)描述時(shí)，VLMs 常常難以生成精細(xì)的空間輸出以避開障礙物，并且無法有效利用其長上下文推理能力來支持有效的導(dǎo)航。

為應(yīng)對(duì)這些挑戰(zhàn)，先前的工作將VLMs作為模塊化系統(tǒng)的一個(gè)組成部分，以執(zhí)行高級(jí)推理和識(shí)別任務(wù)。這些系統(tǒng)通常包含一個(gè)明確的3D映射模塊和一個(gè)規(guī)劃器來處理任務(wù)中更具實(shí)體性的部分，例如運(yùn)動(dòng)和探索。雖然模塊化具有讓每個(gè)組件僅用于其擅長的子任務(wù)的優(yōu)勢(shì)，但也帶來了系統(tǒng)復(fù)雜性和任務(wù)專業(yè)化的劣勢(shì)。

在本研究中，我們表明，現(xiàn)成的VLM可用作零樣本和端到端的語言條件導(dǎo)航策略。實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵思路是將導(dǎo)航問題轉(zhuǎn)化為VLM擅長的事情：回答有關(guān)圖像的問題。

為此，我們開發(fā)了一種新穎的提示策略，使VLM能夠明確考慮探索和避障問題。這種提示具有通用性，即它可用于任何基于視覺的導(dǎo)航任務(wù)。

與先前的方法相比，我們未使用特定模態(tài)的experts，未訓(xùn)練任何特定領(lǐng)域的模型，也未假定能夠獲取模型的概率。

我們?cè)谝汛_立的具身導(dǎo)航基準(zhǔn)上對(duì)我們的方法進(jìn)行了評(píng)估，結(jié)果表明，與現(xiàn)有的提示方法相比，我們的方法顯著提高了導(dǎo)航性能。

02相關(guān)工作

最常見的學(xué)習(xí)端到端導(dǎo)航策略的方法是利用離線數(shù)據(jù)集從頭訓(xùn)練模型。然而，大規(guī)模導(dǎo)航數(shù)據(jù)的收集頗具挑戰(zhàn)，以致這些模型在推廣至新任務(wù)或分布外環(huán)境時(shí)往往表現(xiàn)不佳。

另一種增強(qiáng)泛化能力的途徑是利用機(jī)器人特定數(shù)據(jù)對(duì)現(xiàn)有的視覺語言模型進(jìn)行微調(diào)。盡管此方法能生成更穩(wěn)健的端到端策略，但微調(diào)可能會(huì)破壞微調(diào)數(shù)據(jù)集中未涵蓋的特征，最終限制模型的泛化能力。

還有一種研究方向側(cè)重于零樣本使用這些模型，通過提示使模型的響應(yīng)與任務(wù)規(guī)范相符。例如，使用CLIP或DETIC特征將視覺觀測(cè)與語言目標(biāo)對(duì)齊，構(gòu)建環(huán)境的語義地圖，并采用傳統(tǒng)方法進(jìn)行規(guī)劃。其他研究工作設(shè)計(jì)了特定模塊來處理探索任務(wù)。這些系統(tǒng)通常需要對(duì)置信度進(jìn)行估計(jì)，以知曉何時(shí)停止探索，這通常通過使用令牌或?qū)ο蟾怕蕘韺?shí)現(xiàn)。此外，許多此類方法還采用了低級(jí)導(dǎo)航模塊，將動(dòng)作選擇抽象為諸如快速行進(jìn)法之類的預(yù)訓(xùn)練點(diǎn)到點(diǎn)策略。

視覺提示方法：為了提升VLMs的任務(wù)特定性能，近期的工作包括在將圖像傳遞給VLMs之前對(duì)其進(jìn)行物理修改。

為具身導(dǎo)航提示VLMs：CoNVOI在圖像上覆蓋數(shù)字標(biāo)記，并提示VLMs輸出與上下文線索（例如，留在人行道上）一致的這些標(biāo)記序列，將其用作導(dǎo)航路徑。與我們的工作不同，它們（i）依賴低級(jí)規(guī)劃器來避開障礙物，而非直接將VLMs的輸出作為導(dǎo)航動(dòng)作；（ii）未利用VLMs引導(dǎo)代理朝向特定目標(biāo)位置。PIVOT引入了一種與我們最為相似的視覺提示方法。他們通過將單步動(dòng)作表示為指向圖像上帶標(biāo)簽圓圈的箭頭來處理導(dǎo)航問題。在每個(gè)步驟中，從各向同性的高斯分布中采樣動(dòng)作，其均值和方差根據(jù)VLMs的反饋迭代更新。在優(yōu)化分布后選擇最終動(dòng)作。雖然PIVOT能夠處理各種現(xiàn)實(shí)世界的導(dǎo)航和操作任務(wù)，但它有兩個(gè)顯著缺陷：（i）未納入深度信息來評(píng)估動(dòng)作提議的可行性，導(dǎo)致移動(dòng)效率較低；（ii）選擇單個(gè)動(dòng)作需要多次調(diào)用VLMs，導(dǎo)致較高的計(jì)算成本和延遲。

03方法架構(gòu)

我們提出了VLMnav，這一導(dǎo)航系統(tǒng)將目標(biāo)G（可以用語言或圖像來指定）、RGB-D圖像I、姿態(tài)ξ作為輸入，并隨后輸出動(dòng)作a。動(dòng)作空間由機(jī)器人框架中繞偏航軸的旋轉(zhuǎn)和沿前軸的位移組成，使得所有動(dòng)作都能以極坐標(biāo)來表示。由于已知VLM在處理連續(xù)坐標(biāo)時(shí)存在困難，我們轉(zhuǎn)而將導(dǎo)航問題轉(zhuǎn)換為從一組離散選項(xiàng)中選擇動(dòng)作。我們的核心思路是以避免障礙物碰撞并促進(jìn)探索的方式來選擇這些動(dòng)作選項(xiàng)。

我們首先通過使用深度圖像來估計(jì)障礙物的距離，從而確定局部區(qū)域的可通行性。我們利用深度圖像和姿態(tài)信息來維持場(chǎng)景的自上而下的體素地圖，并顯著地將體素標(biāo)記為已探索或未探索。這樣的地圖由動(dòng)作提議器使用，以確定一組避免障礙物并促進(jìn)探索的動(dòng)作。然后，通過投影組件將這組可能的動(dòng)作投影到第一人稱視角的RGB圖像上。最后，VLM接收此圖像和精心設(shè)計(jì)的提示作為輸入，以選擇一個(gè)動(dòng)作，由代理執(zhí)行。為確定情節(jié)的終止，我們使用一個(gè)單獨(dú)的VLM調(diào)用。

04實(shí)驗(yàn)

我們?cè)趦蓚€(gè)廣受歡迎的具身導(dǎo)航基準(zhǔn)測(cè)試ObjectNav和GoatBench上對(duì)我們的方法進(jìn)行了評(píng)估，這兩個(gè)基準(zhǔn)測(cè)試均使用了來自Habitat-Matterport3D數(shù)據(jù)集的場(chǎng)景。此外，我們還分析了端到端VLM智能體的性能如何隨設(shè)計(jì)參數(shù)的變化而改變，例如視場(chǎng)、用于提示模型的上下文歷史長度以及深度感知的質(zhì)量。

設(shè)置：智能體采用半徑為0.17米、高度為1.5米的圓柱體形狀。我們?yōu)橹悄荏w配備了一個(gè)以自我為中心的RGB-D傳感器，其分辨率為(1080,1920)，水平視場(chǎng)角（FOV）為131°。攝像頭像中那樣向下傾斜25°，有助于確定可導(dǎo)航性。考慮到其成本低且效果好，我們?cè)谒袑?shí)驗(yàn)中均使用GeminiFlash作為VLM。

指標(biāo)：與之前的工作相同，我們使用以下指標(biāo)：(i)成功率（SR）：成功完成的情節(jié)所占的比例；(ii)成功率加權(quán)逆路徑長度（SPL）：路徑效率的衡量指標(biāo)。

基線：我們使用PIVOT作為基線，因?yàn)樗c我們的方法最為相似。為研究我們的動(dòng)作選擇方法的影響，我們將其剔除，評(píng)估“Oursw/onav”：與我們的方法相同，但不含可導(dǎo)航性和動(dòng)作提議器組件。此基線的動(dòng)作選擇是一組靜態(tài)的、等距分布的動(dòng)作選擇，包括轉(zhuǎn)身動(dòng)作。值得注意的是，這些動(dòng)作未考慮可導(dǎo)航性或探索。為進(jìn)一步評(píng)估視覺注釋的影響，我們還評(píng)估了基線“PromptOnly”，它能看到以文本描述的動(dòng)作（“轉(zhuǎn)身”、“向右轉(zhuǎn)”、“向前移動(dòng)”等），但沒有視覺注釋。這些不同的提示基線可在圖5中可視化。

05總結(jié)

在這項(xiàng)工作中，我們提出了VLMnav，這是一種新穎的視覺提示工程方法，能夠使現(xiàn)成的VLM充當(dāng)端到端的導(dǎo)航策略。該方法背后的主要思路是精心挑選動(dòng)作提議并將其投射到圖像上，有效地將導(dǎo)航問題轉(zhuǎn)化為問答問題。通過在ObjectNav和GOAT基準(zhǔn)上的評(píng)估，我們發(fā)現(xiàn)其性能相較于迭代基線PIVOT（在視覺導(dǎo)航提示工程方面先前的最先進(jìn)水平）有了顯著提升。我們的設(shè)計(jì)研究進(jìn)一步凸顯了寬視場(chǎng)的重要性以及僅使用RGB圖像來部署我們的方法的可能性。

我們的方法存在一些局限性。禁用“允許滑動(dòng)”參數(shù)后性能的大幅下降表明存在多次與障礙物的碰撞，這在實(shí)際部署中可能會(huì)成為問題。此外，我們發(fā)現(xiàn)像[A benchmark for multi-modal lifelongnavigation]這樣的專用系統(tǒng)表現(xiàn)優(yōu)于我們的工作。然而，隨著VLM能力的不斷提高，該方法或能夠幫助未來的VLM在具身任務(wù)中達(dá)到或超越專用系統(tǒng)的性能。