【導(dǎo)讀】馬里蘭大學(xué)發(fā)布首個專為VLM設(shè)計的基準(zhǔn)測試HallusionBench，全面測試GPT-4V視覺錯誤和語言幻覺。

GPT-4被吹的神乎其神，作為具備視覺能力的GPT-4版本——GPT-4V，也被大眾寄于了厚望。 但如果告訴你，初中生都知道的勾股定理，只適用于直角三角形。 然而GPT-4V卻自信將其用于鈍角三角形中計算斜邊長度。

還有更離譜的，GPT-4V直接犯了致命的安全錯誤，竟然認(rèn)為紅燈可以行駛。

這到底是怎么回事呢？ 馬里蘭大學(xué)的研究團(tuán)隊在探索過程中發(fā)現(xiàn)了這些問題，并在此基礎(chǔ)上提出了兩種主要的錯誤類型：語言幻覺和視覺錯覺，以此來闡釋這些錯誤的原因。

論文鏈接：https://arxiv.org/abs/2310.14566

項目主頁：https://github.com/tianyi-lab/HallusionBench

研究人員依據(jù)上述分析，創(chuàng)建了一個名為HallusionBench的圖像-語境推理基準(zhǔn)測試，旨在深入探討圖像與語境推理的復(fù)雜性。 基于他們的對于視覺能力的測試，GPT4V在回答視覺問題組的錯誤率高達(dá)近90%。

研究者們還對新發(fā)布的GPT-4V(ision)和LLaVA-1.5進(jìn)行了詳細(xì)的研究，深入分析了它們在視覺理解方面的能力。 HallusionBench是第一個專為VLM設(shè)計的基準(zhǔn)測試，主要關(guān)注視覺錯覺和知識幻覺。這個測試包括約200組視覺問答，其中近一半是由人工專家創(chuàng)作的。 目前數(shù)據(jù)已經(jīng)開源, 并且還在更新中。 涉及的圖片類型多樣，包括原始的錯覺圖片、圖表、地圖、海報、視頻及手動制作或修改的圖片，涵蓋數(shù)學(xué)、計數(shù)、文化、動漫、體育和地理等多個領(lǐng)域。 論文中，作者初步闡述了HallusionBench中的兩種視覺問題分類：視覺依賴型（Visual Dependent）和視覺補充型（Visual Supplement），并討論了實驗對照組的設(shè)計方法。 隨后，他們分析了可能導(dǎo)致答案錯誤的兩大主要原因：視覺錯覺（Visual Illusion）和語言幻覺（Language Hallucination）。 在文末，作者通過不同的子類別詳細(xì)展示了各主要類別中的失敗案例，并進(jìn)行了深入的分析。關(guān)鍵點： 1. 「語言幻覺」：在GPT-4V和LLaVA-1.5中會誤導(dǎo)90%的樣本推理。視覺與語言之間的微妙平衡至關(guān)重要！ 2. 「視覺錯覺」：LVLMs中的視覺模塊容易受到復(fù)雜視覺上下文的影響，語言模型的錯誤被夸大。 3. 簡單的圖像修改就能欺騙GPT-4V和LLaVA-1.5，暴露了對更強大的圖像分析能力的需求。 4. GPT-4V在推理多個圖像之間的時間關(guān)系方面存在困難。 5. LLaVA-1.5有時會在常識查詢上犯錯，需要改進(jìn)其語言模型先驗。

視覺問題類型

視覺依賴型問題(Visual Dependent)：

這類問題的答案完全依賴于視覺內(nèi)容，缺乏圖像信息時無法確切回答。

這些問題通常關(guān)聯(lián)到圖像本身或其顯示的內(nèi)容。例如，在沒有圖像的情況下，無法準(zhǔn)確回答諸如「圖中右側(cè)的橙色圓圈是否與左側(cè)的同樣大?。俊怪惖膯栴}。

視覺補充型問題(Visual Supplement)：

這些問題即使在沒有視覺內(nèi)容的情況下也能得到回答。在這種類型的問題中，視覺元素僅提供附加信息。

比如，即便沒有圖片輔助，GPT-4V仍能回答「新墨西哥州是否比德克薩斯州大？」等問題。

測試的核心在于判斷GPT-4V和LLaVA-1.5能否利用圖像內(nèi)容來作答，而不是僅憑它們的參數(shù)化記憶。

錯誤分類

作者對錯誤回答進(jìn)行了分析，并將其原因分為兩大類：

視覺錯誤(Language Hallucination)：

這類錯誤產(chǎn)生于對輸入圖像的錯誤視覺識別和解釋。模型未能從圖像中提取準(zhǔn)確信息或?qū)ζ溥M(jìn)行正確推斷。語言幻覺(Visual Illusion)：

模型基于其參數(shù)化知識庫，對問題輸入和圖像背景作出不恰當(dāng)?shù)南热霝橹鞯募僭O(shè)。模型應(yīng)當(dāng)針對問題的具體環(huán)境作出反應(yīng)，而不是忽略問題本身或?qū)D像作出錯誤解讀。

范例

從圖1所展示的經(jīng)典視覺錯覺案例中可見，GPT-4V在識別各種錯覺圖像及其名稱上顯示出比LLaVA-1.5更豐富的知識儲備。

圖1 然而，在回答經(jīng)過編輯處理的圖像相關(guān)問題時，GPT-4V未能提供精確答案。 這種現(xiàn)象可能源于GPT-4V更多地依賴于其參數(shù)化存儲的知識，而不是實際對圖像進(jìn)行分析。 與此相反，無論是處理原始圖像還是編輯后的圖像，LLaVA-1.5的表現(xiàn)都相對較差，這反映出LLaVA-1.5在視覺識別方面的能力較為有限。 觀察圖2提供的樣本，可以發(fā)現(xiàn)GPT-4V和LLaVA-1.5均未能正確識別平行線、正三角形、多邊形及其他數(shù)學(xué)定理。 這一現(xiàn)象揭示了，對GPT-4V而言，在處理幾何和數(shù)學(xué)問題方面仍面臨較大挑戰(zhàn)。

圖2 在圖3的展示中，作者指出了幾則海報，展示的是一些知名的地方美食，但這些美食的地理特征遭到了改動。 面對這樣的場景，GPT-4V和LLaVA-1.5都未能充分考慮上下文信息，忽略了圖像內(nèi)容，繼續(xù)根據(jù)文本中提及的知名產(chǎn)地來回答相關(guān)問題。

圖3 在圖4的案例中，作者進(jìn)一步探討了對多張圖片序列的處理能力。 圖片的順序排列和倒序排列在語義上常表現(xiàn)出對立的意義，例如「出現(xiàn)與消失」和「后退與前進(jìn)」。

圖4 研究比較表明，盡管這些圖片序列描繪了不同的動態(tài)，GPT-4V依然未能區(qū)分這些圖片的順序和逆序排列。 這一發(fā)現(xiàn)指出，在視頻序列推理方面，GPT-4V仍需大幅度的優(yōu)化和提高。 圖5展示了一個案例，其中在缺乏圖像背景信息的情境下，GPT-4V提供了一個斷定性的回答。

圖5 相對地，LLaVA-1.5，由于對文本的理解不足，提出了一個技術(shù)上無誤但與問題無關(guān)的答回答。 當(dāng)以修改后的π值作為視覺輸入，兩個模型均未能從圖像中正確識別和解釋這個值。 圖6中的情形顯示，當(dāng)缺少視覺輸入時，GPT-4V和LLaVA-1.5都能準(zhǔn)確且斷定地作出回答。

圖6 然而，在表格作為視覺輸入的情況下，GPT-4V嘗試依據(jù)視覺信息解答，卻誤取了錯誤數(shù)據(jù)。 例如，GPT-4V錯誤地答道「中國贏得了36枚金牌」，盡管圖表實際顯示的是美國獲得了這些金牌。 相比之下，LLaVA-1.5更依賴于其參數(shù)化記憶，在分別處理問題和表格時表現(xiàn)不同。 在圖7的場景中，即使沒有視覺輔助，GPT-4V和LLaVA-1.5都作出了斷定性的答復(fù)，其中GPT-4V的答案更為準(zhǔn)確和精確。

圖7 當(dāng)引入圖表作為視覺輸入，GPT-4V能精準(zhǔn)地根據(jù)圖表中的數(shù)據(jù)給出答案，而LLaVA-1.5則依賴于其參數(shù)化知識進(jìn)行回答。 但是，一旦圖表被翻轉(zhuǎn)，GPT-4V對答案的預(yù)測發(fā)生了根本性變化。這個錯誤可以被解釋為由視覺錯覺引起的。 根據(jù)圖8，在缺乏圖像支持的情形下，GPT-4V和LLaVA-1.5均提供了確定的回答，但正確答案僅由GPT-4V給出。

圖8 由此可以推斷，GPT-4V在知識層面上優(yōu)于LLaVA-1.5。 然而，當(dāng)?shù)貓D的視覺呈現(xiàn)發(fā)生改變時，兩種模型由于其強大的參數(shù)記憶能力，均未能正確推斷出四個州的相對位置。

總結(jié)

近年來，隨著大規(guī)模語言模型和多模態(tài)研究的快速發(fā)展，人工智能領(lǐng)域經(jīng)歷了重大的變革。 自然語言處理（NLP）和計算機(jī)視覺（CV）的結(jié)合，不僅促成了大型視覺語言模型（LVLM）的誕生，而且顯著提高了圖像推理任務(wù)的性能。 但是，LVLM仍面臨著一些挑戰(zhàn)，如語言幻覺和視覺錯覺等問題。 本研究通過推出HallusionBench，旨在為VLM提供一個基準(zhǔn)測試，特別是在那些容易因語言幻覺或視覺錯覺而失敗的復(fù)雜情況下。 我們對GPT-4V和LLaVA-1.5的不同示例和失敗案例進(jìn)行了深入探討，包括： 1. 在HallusionBench中，GPT-4V和LLaVA-1.5在處理含有先驗知識的問題時，往往會受到語言幻覺的影響。這些模型更傾向于依賴先驗知識，導(dǎo)致在我們的分析的例子中，超過90%的答案是錯誤的。因此，模型需要在參數(shù)化記憶和輸入文本圖片之間找到一個平衡點。 2. 即便是在GPT-4V和LLaVA-1.5缺乏參數(shù)化記憶或先驗知識的情況下，它們?nèi)匀蝗菀资艿揭曈X錯覺的影響。這些模型常常在處理幾何圖形、數(shù)學(xué)圖像、視頻（多圖像場景）、復(fù)雜圖表等問題時給出錯誤答案。目前，視覺語言模型在視覺處理方面的能力還很有限。 3. GPT-4V和LLaVA-1.5在HallusionBench中容易被一些基本的圖像操作所誤導(dǎo)，如圖像翻轉(zhuǎn)、顛倒順序、遮擋、物體編輯以及顏色的修改等。目前的視覺語言模型尚未能有效處理這些圖像操作。 4. 雖然GPT-4V支持處理多圖，但在分析涉及時間線索的多圖像問題時，它未能展現(xiàn)出有效的時間推理能力，在HallusionBench中表現(xiàn)欠佳。 5. 在HallusionBench的測試中，LLaVA-1.5由于知識庫相對較少，有時會犯下一些基本的錯誤。 作者表示，他們的數(shù)據(jù)集已經(jīng)開源，并正在繼續(xù)擴(kuò)展數(shù)據(jù)庫。最新的數(shù)據(jù)會在Github （https://github.com/tianyi-lab/HallusionBench）上不斷更新。 這項研究為未來更加強大、平衡和精準(zhǔn)的LVLM奠定了基礎(chǔ)，并期待通過這些詳細(xì)的案例研究，為未來研究提供一些可能方向。