多圖綜述理清當前研究現狀，這篇 29 頁的論文值得一讀。 大型語言模型（LLM）已經很強了，但還可以更強。通過結合知識圖譜，LLM 有望解決缺乏事實知識、幻覺和可解釋性等諸多問題；而反過來 LLM 也能助益知識圖譜，讓其具備強大的文本和語言理解能力。而如果能將兩者充分融合，我們也許還能得到更加全能的人工智能。 今天我們將介紹一篇綜述 LLM 與知識圖譜聯合相關研究的論文，其中既包含用知識圖譜增強 LLM 的研究進展，也有用 LLM 增強知識圖譜的研究成果，還有 LLM 與知識圖譜協同的最近成果。文中概括性的框架展示非常方便讀者參考。

論文鏈接：

https://arxiv.org/abs/2306.08302

BERT、RoBERTA 和 T5 等在大規模語料庫上預訓練的大型語言模型（LLM）已經能非常優秀地應對多種自然語言處理（NLP）任務，比如問答、機器翻譯和文本生成。近段時間，隨著模型規模的急劇增長，LLM 還進一步獲得了涌現能力，開拓了將 LLM 用作通用人工智能（AGI）的道路。ChatGPT 和 PaLM2 等先進的 LLM 具有數百上千億個參數，它們已有潛力解決許多復雜的實際任務，比如教育、代碼生成和推薦。 盡管 LLM 已有許多成功應用，但由于缺乏事實知識，它們還是備受詬病。具體來說，LLM 會記憶訓練語料庫中包含的事實和知識。但是，進一步的研究表明，LLM 無法回憶出事實，而且往往還會出現幻覺問題，即生成具有錯誤事實的表述。舉個例子，如果向 LLM 提問：「愛因斯坦在什么時候發現了引力？」它可能會說：「愛因斯坦在 1687 年發現了引力。」但事實上，提出引力理論的人是艾薩克?牛頓。這種問題會嚴重損害 LLM 的可信度。 LLM 是黑箱模型，缺乏可解釋性，因此備受批評。LLM 通過參數隱含地表示知識。因此，我們難以解釋和驗證 LLM 獲得的知識。此外，LLM 是通過概率模型執行推理，而這是一個非決斷性的過程。對于 LLM 用以得出預測結果和決策的具體模式和功能，人類難以直接獲得詳情和解釋。 盡管通過使用思維鏈（chain-of-thought），某些 LLM 具備解釋自身預測結果的功能，但它們推理出的解釋依然存在幻覺問題。這會嚴重影響 LLM 在事關重大的場景中的應用，比如醫療診斷和法律評判。舉個例子，在醫療診斷場景中，LLM 可能誤診并提供與醫療常識相悖的解釋。這就引出了另一個問題：在一般語料庫上訓練的 LLM 由于缺乏特定領域的知識或新訓練數據，可能無法很好地泛化到特定領域或新知識上。 為了解決上述問題，一個潛在的解決方案是將知識圖譜（KG）整合進 LLM 中。知識圖譜能以三元組的形式存儲巨量事實，即 (頭實體、關系、尾實體)，因此知識圖譜是一種結構化和決斷性的知識表征形式，例子包括 Wikidata、YAGO 和 NELL。 知識圖譜對多種應用而言都至關重要，因為其能提供準確、明確的知識。此外眾所周知，它們還具有很棒的符號推理能力，這能生成可解釋的結果。知識圖譜還能隨著新知識的持續輸入而積極演進。此外，通過讓專家來構建特定領域的知識圖譜，就能具備提供精確可靠的特定領域知識的能力。 然而，知識圖譜很難構建，并且由于真實世界知識圖譜往往是不完備的，還會動態變化，因此當前的知識圖譜方法難以應對。這些方法無法有效建模未見過的實體以及表征新知識。此外，知識圖譜中豐富的文本信息往往會被忽視。不僅如此，知識圖譜的現有方法往往是針對特定知識圖譜或任務定制的，泛化能力不足。因此，有必要使用 LLM 來解決知識圖譜面臨的挑戰。圖 1 總結了 LLM 和知識圖譜的優缺點。

▲ 圖1：LLM 和知識圖譜的優缺點總結 如圖所示，LLM 的優點：一般知識、語言處理、泛化能力。LLM 的缺點：隱含知識、幻覺問題、無法決斷問題、黑箱、缺乏特定領域的知識和新知識。知識圖譜的優點：結構化的知識、準確度、決斷能力、可解釋性、特定領域的知識、知識演進。知識圖譜的缺點：不完備性、缺乏語言理解、未見過的知識。 近段時間，將 LLM 和知識圖譜聯合起來的可能性受到了越來越多研究者和實踐者關注。LLM 和知識圖譜本質上是互相關聯的，并且能彼此互相強化。如果用知識圖譜增強 LLM，那么知識圖譜不僅能被集成到 LLM 的預訓練和推理階段，從而用來提供外部知識，還能被用來分析 LLM 以提供可解釋性。 而在用 LLM 來增強知識圖譜方面，LLM 已被用于多種與知識圖譜相關的應用，比如知識圖譜嵌入、知識圖譜補全、知識圖譜構建、知識圖譜到文本的生成、知識圖譜問答。LLM 能夠提升知識圖譜的性能并助益其應用。在 LLM 與知識圖譜協同的相關研究中，研究者將 LLM 和知識圖譜的優點融合，讓它們在知識表征和推理方面的能力得以互相促進。

這篇論文將在聯合 LLM 與知識圖譜方面提供一個前瞻性的路線圖，幫助讀者了解如何針對不同的下游任務，利用它們各自的優勢，克服各自的局限。其中包含詳細的分類和全面的總結，并指出了這些快速發展的領域的新興方向。本文的主要貢獻包括：

1. 路線圖：文中提供了一份 LLM 和知識圖譜整合方面的前瞻性路線圖。這份路線圖包含聯合 LLM 與知識圖譜的三個概括性框架：用知識圖譜增強 LLM、用 LLM 增強知識圖譜、LLM 與知識圖譜協同。可為聯合這兩種截然不同但互補的技術提供指導方針。

2. 分類和總結評估：對于該路線圖中的每種整合模式，文中都提供了詳細的分類和全新的分類法。對于每種類別，文中都從不同整合策略和任務角度總結評估了相關研究工作，從而能為每種框架提供更多見解。

3. 涵蓋了新進展：文中覆蓋了 LLM 和知識圖譜的先進技術。其中討論了 ChatGPT 和 GPT-4 等當前最先進的 LLM 以及多模態知識圖譜等知識圖譜新技術。

4. 挑戰和未來方向：文中也會給出當前研究面臨的挑戰并給出一些有潛力的未來研究方向。 LLM和知識圖譜基礎知識大型語言模型（LLM） 在大規模語料庫上預訓練的 LLM 可以解決多種 NLP 任務，擁有巨大潛力。如圖 3 所示，大多數 LLM 都源自 Transformer 設計，其中包含編碼器和解碼器模塊，并采用了自注意力機制。LLM 可以根據架構不同而分為三大類別：僅編碼器 LLM、編碼器 - 解碼器 LLM、僅解碼器 LLM。圖 2 總結了一些代表性 LLM，涉及不同架構、模型大小和是否開源。

▲圖2：近些年有代表性的LLM。實心方框表示開源模型，空心方框則是閉源模型。

▲圖3：基于Transformer并使用了自注意力機制的LLM的示意圖

prompt 工程設計 prompt 工程設計是一個全新領域，其關注的是創建和優化 prompt，從而讓 LLM 能最有效地應對各種不同應用和研究領域。如圖 4 所示，prompt 是 LLM 的自然語言輸入序列，需要針對具體任務（如情緒分類）創建。prompt 可包含多個元素，即：指示、背景信息、輸入文本。指示是告知模型執行某特定任務的短句。背景信息為輸入文本或少樣本學習提供相關的信息。輸入文本是需要模型處理的文本。

▲圖4：一個情緒分類prompt的示例

prompt 工程設計的目標是提升 LLM 應對多樣化復雜任務的能力，如問答、情緒分類和常識推理。思維鏈（CoT）prompt 是通過中間推理步驟來實現復雜推理。另一種方法則是通過整合外部知識來設計更好的知識增強型 prompt。自動化 prompt 工程（APE）則是一種可以提升 LLM 性能的 prompt 自動生成方法。prompt 讓人無需對 LLM 進行微調就能利用 LLM 的潛力。掌握 prompt 工程設計能讓人更好地理解 LLM 的優劣之處。 知識圖譜（KG） 知識圖譜則是以 (實體、關系、實體) 三元組集合的方式來存儲結構化知識。根據所存儲信息的不同，現有的知識圖譜可分為四大類：百科知識型知識圖譜、常識型知識圖譜、特定領域型知識圖譜、多模態知識圖譜。圖 5 展示了不同類別知識圖譜的例子。

▲圖5：不同類別知識圖譜示例 應用 LLM 和知識圖譜都有著廣泛的應用。表 1 總結了 LLM 和知識圖譜的一些代表性應用。

▲表1：LLM和知識圖譜的代表性應用

路線圖與分類下面會先給出一份路線圖，展現將 LLM 和知識圖譜聯合起來的框架，然后將對相關研究進行分類。 路線圖 圖 6 展示了將 LLM 和知識圖譜聯合起來的路線圖。這份路線圖包含聯合 LLM 與知識圖譜的三個框架：用知識圖譜增強 LLM、用 LLM 增強知識圖譜、LLM 與知識圖譜協同。

▲圖6：聯合知識圖譜和LLM的一般路線圖

▲圖7：LLM與知識圖譜協同的一般框架，其中包含四層：數據、協同模型、技術、應用

分類 為了更好地理解聯合 LLM 和知識圖譜的研究，論文進一步提供了每種框架的細粒度分類。具體來說，這里關注的是整合 LLM 與知識圖譜的不同方法，即：用知識圖譜增強 LLM、用 LLM 增強知識圖譜、LLM 與知識圖譜協同。圖 8 細粒度地展示了相關研究的分類情況。

▲圖8：聯合LLM與知識圖譜的相關研究分類

用知識圖譜增強LLM大型語言模型在許多自然語言處理任務上都表現出色。但是，由于 LLM 缺乏實際知識而且常在推理時生成事實性錯誤，因此也飽受批評。解決該問題的一種方法是用知識圖譜增強 LLM。 具體的方式有幾種，一是使用知識圖譜增強 LLM 預訓練，其目的是在預訓練階段將知識注入到 LLM 中。二是使用知識圖譜增強 LLM 推理，這能讓 LLM 在生成句子時考慮到最新知識。三是使用知識圖譜增強 LLM 可解釋性，從而讓我們更好地理解 LLM 的行為。表 2 總結了用知識圖譜增強 LLM 的典型方法。

▲表2：用知識圖譜增強LLM的方法

用知識圖譜增強 LLM 預訓練 現有的 LLM 主要依靠在大規模語料庫上執行無監督訓練。盡管這些模型在下游任務上表現卓越，它們卻缺少與現實世界相關的實際知識。在將知識圖譜整合進 LLM 方面，之前的研究可以分為三類：將知識圖譜整合進訓練目標、將知識圖譜整合進 LLM 的輸入、將知識圖譜整合進附加的融合模塊。

▲圖9：通過文本 - 知識對齊損失將知識圖譜信息注入到LLM的訓練目標中，其中h表示LLM生成的隱含表征。

▲圖10：使用圖結構將知識圖譜信息注入到LLM的輸入中

▲圖11：通過附加的融合模塊將知識圖譜整合到LLM中

用知識圖譜增強 LLM 推理 以上方法可以有效地將知識與 LLM 的文本表征融合到一起。但是，真實世界的知識會變化，這些方法的局限是它們不允許更新已整合的知識，除非對模型重新訓練。因此在推理時，它們可能無法很好地泛化用于未見過的知識。 一些研究關注的正是分離知識空間與文本空間以及在推理時注入知識。這些方法主要關注的是問答（QA）任務，因為問答既需要模型捕獲文本語義，還需要捕獲最新的現實世界知識。

▲圖12：用于LLM推理的動態知識圖譜融合

▲圖13：通過檢索外部知識來增強LLM生成 用知識圖譜增強 LLM 可解釋性 盡管 LLM 在許多 NLP 任務上都表現不凡，但由于缺乏可解釋性，依然備受詬病。LLM 可解釋性是指理解和解釋大型語言模型的內部工作方式和決策過程。這能提升 LLM 的可信度并促進 LLM 在事關重大的場景中的應用，比如醫療診斷和法律評判。由于知識圖譜是以結構化的方式表示知識，因此可為推理結果提供優良的可解釋性。因此，研究者必然會嘗試用知識圖譜來提升 LLM 的可解釋性；相關研究大致可分為兩類：用于語言模型探測的知識圖譜、用于語言模型分析的知識圖譜。

▲圖14：使用知識圖譜進行語言模型探測的一般框架

▲圖15：使用知識圖譜進行語言模型分析的一般框架

用LLM增強知識圖譜

知識圖譜的顯著特點就是結構化的知識表示。它們適用于許多下游任務，比如問答、推薦和網絡搜索。但是，傳統知識圖譜往往不完備，并且已有方法往往不會考慮文本信息。 為了解決這些問題，已有研究者考慮使用 LLM 來增強知識圖譜，使其能考慮文本信息，從而提升在下游任務上的表現。表 3 總結了代表性的研究工作。這里會涉及到使用 LLM 對知識圖譜進行不同增強的方法，包括知識圖譜嵌入、知識圖譜補全、知識圖譜到文本生成、知識圖譜問答。

▲表3：用LLM增強知識圖譜的代表性方法

用 LLM 增強知識圖譜嵌入 知識圖譜嵌入（KGE）的目標是將每個實體和關系映射到低維的向量（嵌入）空間。這些嵌入包含知識圖譜的語義和結構信息，可用于多種不同的任務，如問答、推理和推薦。傳統的知識圖譜嵌入方法主要依靠知識圖譜的結構信息來優化一個定義在嵌入上的評分函數（如 TransE 和 DisMult）。但是，這些方法由于結構連接性有限，因此難以表示未曾見過的實體和長尾的關系。 圖 16 展示了近期的一項研究：為了解決這一問題，該方法使用 LLM 來編碼實體和關系的文本描述，從而豐富知識圖譜的表征。

▲圖16：將LLM用作知識圖譜嵌入的文本編碼器

▲圖17：用于聯合文本與知識圖譜嵌入的LLM

用 LLM 增強知識圖譜補全 知識圖譜補全（KGC）任務的目標是推斷給定知識圖譜中缺失的事實。類似于 KGE，傳統 KGC 方法主要關注的是知識圖譜的結構，而不會考慮廣泛的文本信息。 但是，近期有研究將 LLM 整合到了 KGC 方法中來編碼文本或生成事實，取得了更好的 KGC 表現。根據使用方式，這些方法分為兩類：將 LLM 用作編碼器（PaE）、將 LLM 用作生成器（PaG）。

▲圖18：將LLM用作編碼器（PaE）來補全知識圖譜的一般框架

▲圖19：將LLM用作生成器（PaG）來補全知識圖譜的一般框架 En. 和 De. 分別表示編碼器和解碼器。

▲圖20：使用基于prompt的PaG來補全知識圖譜的框架 用 LLM 增強知識圖譜構建 知識圖譜構建涉及到為特定領域內的知識創建結構化的表示。這包括識別實體以及實體之間的關系。知識圖譜構建過程通常涉及多個階段，包括：實體發現、共指消解和關系提取。圖 21 展示了將 LLM 用于知識圖譜構建各個階段的一般框架。近期還有研究探索了端到端知識圖譜構建（一步構建出完整的知識圖譜）以及直接從 LLM 中蒸餾出知識圖譜。

▲圖21：基于LLM的知識圖譜構建的一般框架

▲圖22：從LLM中蒸餾出知識圖譜的一般框架 用 LLM 增強知識圖譜到文本生成 知識圖譜到文本（KG-to-text）生成的目標是生成能準確一致地描述輸入知識圖譜信息的高質量文本。知識圖譜到文本生成連接了知識圖譜與文本，能顯著提升知識圖譜在更現實的自然語言生成場景中的可用性，包括故事創作和基于知識的對話。但是，收集大量知識圖譜 - 文本平行數據難度很大，成本很高，這會導致訓練不充分和生成質量差。 因此，有許多研究致力于解決這些問題：如何利用 LLM 的知識？如何構建大規模的弱監督知識圖譜 - 文本語料庫來解決這個問題？

▲圖23：知識圖譜到文本生成的一般框架 用 LLM 增強知識圖譜問答 知識圖譜問答（KGQA）的目標是根據知識圖譜存儲的結構化事實來尋找自然語言問題的答案。KGQA 有一個無可避免的挑戰：檢索相關事實并將知識圖譜的推理優勢擴展到問答任務上。因此，近期有研究采用 LLM 來填補自然語言問題與結構化知識圖譜之間的空白。 圖 24 給出了將 LLM 用于 KGQA 的一般框架，其中 LLM 可用作實體 / 關系提取器和答案推理器。

▲圖24：將LLM用于知識圖譜問答的一般框架 LLM與知識圖譜協同LLM 與知識圖譜協同近年來贏得了不少關注，該方法能將 LLM 和知識圖譜的優點融合，從而更好地應對各種下游任務。舉個例子，LLM 可用于理解自然語言，同時知識圖譜可作為提供事實知識的知識庫。將 LLM 和知識圖譜聯合起來可以造就執行知識表征和推理的強大模型。 這里從兩個方面關注了 LLM 與知識圖譜協同：知識表征、推理。表 4 總結了代表性的研究工作。

▲表4：LLM與知識圖譜協同方法匯總 知識表征 文本語料庫和知識圖譜都包含大量知識。但是，文本語料庫中的知識通常是隱式的和非結構化的，而知識圖譜中的知識是顯式的和結構化的。因此，想要以統一方式來表示這些知識，就必須對齊文本語料庫和知識圖譜中的知識。圖 25 給出了針對知識表征任務統一 LLM 和知識圖譜的一般框架。

▲圖25：針對知識表征任務統一LLM和知識圖譜的一般框架 KEPLER 是一種用于知識嵌入和預訓練語言表征的統一模型。KEPLER 會使用 LLM 將文本實體描述編碼成它們的嵌入，然后對知識嵌入和語言建模目標進行聯合優化。JointGT 提出了一種知識圖譜 - 文本聯合表征學習模型，其中提出了三個預訓練任務來對齊知識圖譜和文本的表征。 DRAGON 則給出了一種自監督方法，可以基于文本和知識圖譜來預訓練一個語言 - 知識的聯合基礎模型。其輸入是文本片段和相關的知識圖譜子圖，并會雙向融合來自這兩種模式的信息。然后，DRAGON 會利用兩個自監督推理任務（掩碼語言建模和知識圖譜鏈接預測）來優化該模型的參數。HKLM 則引入了一種聯合 LLM，其整合了知識圖譜來學習特定領域知識的表征。 推理 為了同時利用 LLM 和知識圖譜的優勢，研究者也通過 LLM 和知識圖譜協同來執行多種應用的推理任務。在問答任務中，QA-GNN 首先會利用 LLM 來處理文本問題，再引導知識圖譜的推理步驟。這樣一來就構建了文本和結構化信息之間的橋梁，從而能為推理過程提供解釋。 在知識圖譜推理任務中，LARK 提出了一種由 LLM 引導的邏輯推理方法。其首先會將傳統的邏輯規則轉換成語言序列，然后要求 LLM 推理出最終輸出。此外，Siyuan et al. 通過一個統一框架統一了結構推理和語言模型預訓練。給定一個文本輸入，他們采用 LLM 來生成邏輯查詢，其可在知識圖譜上執行以獲取結構化的上下文信息。最后，這個結構化的上下文會與文本信息融合以生成最終輸出。 RecInDial 則將知識圖譜與 LLM 組合起來在對話系統中提供個性化推薦。KnowledgeDA 提出了一種統一的領域語言模型開發流程，可使用領域知識圖譜增強針對特定任務的訓練過程。

未來方向

在聯合知識圖譜和大型語言模型方面還有諸多挑戰有待解決，下面簡單給出了這一研究領域的一些未來研究方向：

將知識圖譜用于檢測 LLM 的幻覺；

將知識圖譜用于編輯 LLM 中的知識；

將知識圖譜用于黑箱 LLM 知識注入；

將多模態 LLM 用于知識圖譜；

將 LLM 用于理解知識圖譜的結構；

將 LLM 和知識圖譜協同用于雙向推理。