最新研究揭示，盡管大語言模型LLMs在語言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個全新的邏輯推理評估基準(zhǔn)，包含12個數(shù)據(jù)集，覆蓋三大任務(wù)類型。

實(shí)驗(yàn)對比發(fā)現(xiàn)，GPT-4在邏輯推理上的表現(xiàn)遠(yuǎn)超ChatGPT，但與人類表現(xiàn)和有監(jiān)督的微調(diào)相比，仍有提高空間。

為此，研究者提出了自我一致性探測方法（self-consistency probing method）來進(jìn)一步提升ChatGPT的準(zhǔn)確性，并通過微調(diào)策略，進(jìn)一步增強(qiáng)大型語言模型的邏輯推理能力。

讓我們一起看看這篇研究吧！

GLoRE基準(zhǔn)

邏輯推理，作為人類智能的核心，長期以來都是AI研究的熱點(diǎn)。為了更好地評估LLMs在自然語言中處理復(fù)雜信息的能力，研究人員推出了通用邏輯推理評估（GLoRE）基準(zhǔn)。與眾所周知的GLUE和Super-GLUE評估自然語言理解能力類似，GLoRE匯集了多個邏輯推理數(shù)據(jù)集。

GLoRE主要包括三大任務(wù)：

多項(xiàng)選擇閱讀理解：系統(tǒng)給定段落和問題，目的是從答案中選擇正確的選項(xiàng)。特別地，GLoRE包括五個此類數(shù)據(jù)集，如LogiQA、ReClor、AR-LSAT等。

自然語言推斷（NLI）：確定假設(shè)與前提之間的邏輯關(guān)系。包括ConTRoL、HELP、TaxiNLI等數(shù)據(jù)集。

真或假問題（TF）：如FraCaS、RuleTaker和ProofWriter等數(shù)據(jù)集。

這些數(shù)據(jù)集涵蓋了從簡單到復(fù)雜的各種邏輯推理情境，為我們評估大型語言模型的邏輯推理能力提供了合適的平替。其中，多項(xiàng)選擇閱讀理解深入探討了邏輯MRC問題，而NLI任務(wù)關(guān)注文本分類中的蘊(yùn)涵關(guān)系。而真或假問題主要測試了模型在多前提上下文的蘊(yùn)涵問題上的處理能力。

實(shí)驗(yàn)設(shè)置

在這篇研究中，研究人員針對開源的LLMs和基于封閉API或UI的模型進(jìn)行了評估，考慮了7種評估場景：

zero-shot評估：模型通過模板轉(zhuǎn)換得到提示，并生成語言化的答案。

few-shot評估：LLMs使用帶有答案的示例作為上下文進(jìn)行推斷。

指令調(diào)整：LLMs被訓(xùn)練以遵循自然語言指令，進(jìn)行任務(wù)特定的微調(diào)。

自我一致性評估：模型需要全面了解上下文中的邏輯關(guān)系。

思維鏈評估：模型進(jìn)行一步一步的邏輯思考。

聊天UI評估：基于GPT-4的手動聊天UI測試，更真實(shí)地反映用戶與模型的互動。

生成響應(yīng)的評估：對模型生成的響應(yīng)進(jìn)行質(zhì)量評估，包括連貫性、完整性、正確性和相關(guān)性。

在實(shí)驗(yàn)中采用了RoBERTa-base作為基線，對比了數(shù)個LLMs如Falcon-40b-instruct和LLaMA-30b-supercot，以及OpenAI的ChatGPT和GPT-4。

評估指標(biāo)主要以分類精度得分為指標(biāo)，并設(shè)立人類基線，對于LogiQA22數(shù)據(jù)集特邀五名合著者進(jìn)行測試。

主要結(jié)果

Zero-shot任務(wù)

下表展示了主要的zero-shot任務(wù)上的實(shí)驗(yàn)結(jié)果。

我們主要可以得出以下發(fā)現(xiàn)：

人類準(zhǔn)確率： 人類在大多數(shù)邏輯推理任務(wù)上的平均準(zhǔn)確率超過80%，尤其是在ReClor和AR-LSAT上，平均準(zhǔn)確率分別為63.00%和56.00%。

RoBERTa-base表現(xiàn)： 該模型在多數(shù)邏輯推理任務(wù)上的表現(xiàn)落后于平均人類表現(xiàn)，但在特定的ProofWriter任務(wù)上有55.92%的準(zhǔn)確率，顯示出處理特定邏輯推理任務(wù)的潛力。

開源模型對比： LLaMA和Falcon在多數(shù)邏輯推理任務(wù)上的表現(xiàn)都不如微調(diào)的RoBERTa-base，特別是在MRC任務(wù)上。

ChatGPT和GPT-4： 兩種模型在多數(shù)MRC基準(zhǔn)測試中超過了RoBERTa-base。GPT-4在處理一些邏輯MRC數(shù)據(jù)集上展現(xiàn)出了顯著的能力。

LogiQA 2.0深度分析： ChatGPT和GPT-4在分類推理上都展現(xiàn)出了超高的準(zhǔn)確率，但在處理涉及析取的前提上面臨挑戰(zhàn)。

Few-shot任務(wù)

下表展示了不同模型在few-shot任務(wù)上的實(shí)驗(yàn)結(jié)果。GPT-4在與zero-shot相比的few-shot場景中獲得了超過9個百分點(diǎn)的準(zhǔn)確率提升。

推理任務(wù)

下表展示了不同推理類型的統(tǒng)計分析。

ChatGPT和GPT-4在分類推理上表現(xiàn)出了超高的準(zhǔn)確率，分別為83.83%和95.04%。

兩模型在涉及析取的前提上面臨挑戰(zhàn)，可能是因?yàn)檫@些邏輯結(jié)構(gòu)的固有復(fù)雜性和潛在的模糊性。

社區(qū)模型在分類推理上沒有展現(xiàn)出特別強(qiáng)的表現(xiàn)，連詞推理和析取推理對它們來說仍然是個挑戰(zhàn)。

指令微調(diào)的有效性

使用Alpaca的指令進(jìn)行微調(diào)后，所有任務(wù)的性能都得到了顯著提高，證明了指令調(diào)整的強(qiáng)大效果。這種改進(jìn)主要?dú)w因于模型增強(qiáng)的一般指令理解能力。

經(jīng)過調(diào)整的LLaMA-7B模型明顯優(yōu)于基線的LLaMA-7B模型和Alpaca。在LogiQA 2.0數(shù)據(jù)集上，模型的準(zhǔn)確率從18.04%增加到52.74%，高于微調(diào)后的RoBERTa-base的48.76%。

盡管微調(diào)僅使用了LogiQA 2.0的訓(xùn)練數(shù)據(jù)集，但經(jīng)過調(diào)整的模型成功地將其能力推廣到其他數(shù)據(jù)集。在ReClor數(shù)據(jù)集上，經(jīng)過調(diào)整的模型達(dá)到了55.20%的準(zhǔn)確率，比Alpaca高出32.82個百分點(diǎn)。

Self-Consistency Probing評估

邏輯推理任務(wù)通常涉及處理一系列相關(guān)的陳述或事實(shí)，然后根據(jù)這些信息進(jìn)行推斷。這些任務(wù)需要理解不同信息之間的相互作用，而不是獨(dú)立地處理它們。這意味著，即使事實(shí)的順序或句子的結(jié)構(gòu)發(fā)生變化，真正的邏輯結(jié)論也應(yīng)該保持不變。因此，研究人員在實(shí)驗(yàn)中通過打亂句子為ChatGPT引入多樣性，特別是對于那些固有地不是順序的數(shù)據(jù)集。

由表可觀察到，投票模型在多數(shù)數(shù)據(jù)集上優(yōu)于單一模型。在LogiQA 2.0 zh數(shù)據(jù)集上，單一模型有更高的準(zhǔn)確率，可能因?yàn)橹形恼Z言結(jié)構(gòu)的特殊性。

打亂文本不會對ChatGPT的性能產(chǎn)生負(fù)面影響。在某些情況下，打亂的文本甚至提高了性能。類似的趨勢也出現(xiàn)在其他CoT數(shù)據(jù)中，其中CoT序列的擾動對整體效率的影響很小。

CoT評估

下表展示了在GLoRE上使用/不使用CoT的結(jié)果。

除此之外，實(shí)驗(yàn)還計算了GPT-4結(jié)果的混淆矩陣。所有模型在使用CoT提示時都有性能提升，范圍在2%到3%之間。混淆矩陣進(jìn)一步說明了使用CoT提示提高性能的重要性。

GPT4的Chat UI評估

實(shí)驗(yàn)還對GPT-4模型在Chat UI界面上的性能進(jìn)行了深入探索，并通過案例研究揭示了其在回答和推理上的特點(diǎn)。

實(shí)驗(yàn)結(jié)果表明，沒有觀察到基于UI的輸出和基于API的輸出之間的明顯質(zhì)量差異。基于UI的評估結(jié)果在大多數(shù)數(shù)據(jù)集上略高于基于API的結(jié)果。評估指標(biāo)可能是造成這種差異的一個原因。

案例研究主要有以下發(fā)現(xiàn)：

GPT-4在一些情況下能夠正確地回答和推理，例如通過選擇新證據(jù)來解決專家觀點(diǎn)和證據(jù)之間的矛盾。

GPT-4有時會生成不正確的答案，如對人類起源的問題的回答。

在某些情況下，提供上下文示例可以幫助GPT-4更準(zhǔn)確地回答問題。

CoT推理過程通過為GPT-4提供更相關(guān)的上下文來工作，但也可能依賴于表面的模式而不是深入的抽象。

人工評估

實(shí)驗(yàn)對模型的表現(xiàn)進(jìn)行了人工評估，GPT-4在所有指標(biāo)上都穩(wěn)定地排名第一，ChatGPT緊隨其后。評注者之間的一致性良好，Cohen's Kappa值為0.79。

連貫性: GPT-4得分最高，為4.52，表現(xiàn)出其邏輯連貫輸出的能力。ChatGPT緊隨其后，得分為4.00。

完整性: ChatGPT和GPT-4并列第一，得分均為4.81，展示了其詳盡的回應(yīng)能力。

正確性: GPT-4得分為4.51，領(lǐng)先于其他模型，其回應(yīng)準(zhǔn)確率高。

相關(guān)性: GPT-4略微領(lǐng)先，得分為4.89，與ChatGPT得分4.72相當(dāng)接近。

此外，使用GPT-4 API作為評估器對LLaMA-30-supercot模型進(jìn)行了實(shí)驗(yàn)，其評估得分與人工評估得分相近，為邏輯推理任務(wù)的自動評估提供了信心。

結(jié)語

在這項(xiàng)研究中，研究團(tuán)隊提出了一個名為GLoRE的數(shù)據(jù)集，專門用于評估LLMs在處理多種邏輯推理任務(wù)上的表現(xiàn)。研究發(fā)現(xiàn)ChatGPT和GPT-4在大部分邏輯推理基準(zhǔn)測試上都顯著超越了傳統(tǒng)的微調(diào)方法。盡管商業(yè)模型在GLoRE測試中的表現(xiàn)相對較弱，但通過對相似數(shù)據(jù)進(jìn)行指令調(diào)整，模型的性能得到了顯著提高。此外，通過監(jiān)督微調(diào)、上下文學(xué)習(xí)和投票技術(shù)，研究團(tuán)隊成功地實(shí)現(xiàn)了更為出色的結(jié)果。在對模型進(jìn)行量化和定性評估后，該團(tuán)隊指出，現(xiàn)有的LLMs在解決邏輯推理任務(wù)時，似乎更多地依賴于表面模式。因此，他們認(rèn)為，對底層推理機(jī)制進(jìn)行深入研究和增強(qiáng)，將是一個有益的方向。

審核編輯：湯梓紅