在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

使用OpenVINO和LlamaIndex構建Agentic-RAG系統

英特爾物聯網 ? 來源:英特爾物聯網 ? 2024-10-12 09:59 ? 次閱讀

作者:楊亦誠英特爾 AI 軟件工程師

背景

RAG 系統的全稱是 Retrieval-augmented Generation,本質上是 Prompt Engineering,通過在 Prompt 中注入檢索得到的外部數據,可以有效地解決大語言模型在知識時效性和專業性上的不足。但同時傳統的 RAG 系統也有它的缺陷,例如靈活性較差,由于 RAG 會過分依賴于向量數據庫的檢索結果,導致其在解決一些復雜問題的時候,只是一味地 “搬運” 檢索結果,無法通過推理找到更優的解決途徑,此外隨著向量數據庫的規模增大,傳統 RAG 也無法高效對輸入請求進行分類和過濾,導致檢索過程猶如“大海撈針”,費時費力。

79c784fa-877b-11ef-b8af-92fbcf53809c.png

圖:Agentic-RAG系統示例

而基于 AI 智能體的 RAG 系統(以下簡稱 Agentic-RAG )恰好可以解決傳統 RAG 在靈活性上的不足,它通過將多個不同類別的 RAG 檢測器,以工具的形式集成在 AI 智能體中,讓 AI 智能體根據用戶的請求,判斷是否需要調用 RAG 搜索上下文,以及調用哪個 RAG 工具進行檢索,例如在回答一個歷史相關的問題時,Agentic-RAG 就會優先在歷史類的 RAG 檢索器中搜索答案,又或是在回答一個涉及數學計算的問題時,Agentic-RAG 則不會使用 RAG,而是調用數據計算相關的工具,甚至如果 LLM 本身具備一定的數據運算能力話,則完全不需要調用外部工具,直接輸出答案。當然我們也可以將 RAG 和其他外部工具結合起來,協同解決更復雜的問題,如上圖所示,在這個過程中,AI智能 體會將任務拆解后,在每個步驟中分別調用不同的工具,或是 RAG 組件來輸出最終答案。接下來我們就一起看下如何利用 OpenVINO 和 LlamaIndex 工具來構建一個 Agentic-RAG 系統。

完整示例:

https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/llm-rag-llamaindex/llm-rag-llamaindex.ipynb

第一步模型轉換與量化

LLM 和 Embedding 模型是 RAG系統中必要的組件,這里我們可以通過 Optimum-intel CLI 分別把他們轉化為 OpenVINO 的 IR 格式,并進行量化壓縮。

安裝方法:

pip install optimum[openvino]

LLM:

optimum-cli export openvino --model {llm_model_id} --task text-generation-with-past --trust-remote-code --weight-format int4 {llm_model_path}

Embedding:

pip install optimum[openvino]

第二步 模型任務初始化

目前基于 OpenVINO 的 LLM,Embedding 以及 Reranker 任務均已被集成在 LlamaIndex 框架中,開發者可以非常方便地利用導出的 LLM 和 Embedding 模型,將這兩類任務在 LlamaIndex 中進行初始化。

安裝方法:

pip install llama-index llama-index-llms-openvino llama-index-embeddings-openvino

LLM:

from llama_index.llms.openvino import OpenVINOLLM


llm = OpenVINOLLM(  
  model_name=str(llm_model_path),  
  tokenizer_name=str(llm_model_path),  
  context_window=3900,  
  max_new_tokens=1000,  
  model_kwargs={"ov_config": ov_config},  
  device_map=llm_device.value,  
  completion_to_prompt=completion_to_prompt,
  )

Embedding:

from llama_index.embeddings.huggingface_openvino import OpenVINOEmbedding


embedding = OpenVINOEmbedding(folder_name=embedding_model_path, device=embedding_device.value)

第三步 構建RAG工具

接下來我們可以利用初始化后的 LLM 以及 Embedding 組件來構建 RAG 工具。第一步需要在 LlamaIndex 創建一個標準的 RAG 檢索引擎,為了方便演示,該檢索器僅使用默認的向量相似度搜索方式進行上下文過濾,如果想了解更完整的 RAG 搭建方法,可以參考 OpenVINO notebooks 倉庫中的另一個示例:

https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/llm-rag-llamaindex

from llama_index.readers.file import PyMuPDFReader
from llama_index.core import VectorStoreIndex, Settings
from llama_index.core.tools import FunctionTool


Settings.embed_model = embedding
Settings.llm = llm
loader = PyMuPDFReader()
documents = loader.load(file_path=text_example_en_path)
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine(similarity_top_k=2)

在完成 RAG 檢索引擎創建后,可以直接調用 LlamaIndex 的接口將它包裝為一個 Agent 的工具,如下所示,同時需要添加對該工具的描述,以便 LLM 判斷在什么時候調用什么工具。

from llama_index.core.tools import QueryEngineTool


budget_tool = QueryEngineTool.from_defaults(  
  query_engine,  
  name="Xeon6",  
  description="A RAG engine with some basic facts about Intel Xeon 6 processors with E-cores",
)

此外,為了演示 Agentic-RAG 對于復雜任務的拆解與多工具間的路由能力,我們還可以再準備兩個單獨的數學運算工具,供 LLM 選擇。

def multiply(a: float, b: float) -> float:  
  """Multiply two numbers and returns the product"""  
  return a * b


multiply_tool = FunctionTool.from_defaults(fn=multiply)


def add(a: float, b: float) -> float:  
  """Add two numbers and returns the sum"""  
  return a + b


add_tool = FunctionTool.from_defaults(fn=add)

第四步 構建 Agent 任務流水線

因為該示例中用到的 Llama3 還不支持 Function-call,所以這里我們可以創建了一個基于 ReAct 的 Agent 。在 LlamaIndex中搭建 Agent 流水線只需要一行代碼,通過 ReAct Agent.from_tools 接口可以創建一個基礎的 ReAct Agent ,并將剛才定義好的工具及 LLM 組件綁定到該 Agent 中。

agent = ReActAgent.from_tools([multiply_tool, add_tool, budget_tool], llm=llm, verbose=True)

接下來可以測試下效果,我們向 Agent 咨詢了關于“4顆第六代 Xeon CPU 最大線程數“的問題,可以看到 Agent 首先會調用 Xeon 6 的 RAG 系統查詢單顆 CPU 支持的最大線程數,然后再調用數學運算工具將獲得的線程數乘以4,最后將得到的數字反饋給用戶。

response = agent.chat("What's the maximum number of cores in an Intel Xeon 6 processor server with 4 sockets ? Go step by step, using a tool to do any math.")

Thought: The current language of the user is English. I need to use a tool to help me answer the question.

Action: Xeon6

Action Input: {'input': 'maximum cores in a single socket'}

Observation:

According to the provided context information, the maximum cores in a single socket is 144.

Thought: The current language of the user is English. I need to use a tool to help me answer the question.

Action: multiply

Action Input: {'a': 144, 'b': 4}

Observation: 576

Thought: The current language of the user is English. I can answer without using any more tools. I'll use the user's language to answer

Answer: The maximum number of cores in an Intel Xeon 6 processor server with 4 sockets is 576.

總結和展望

通過將 Agent 和 RAG 進行結合,我們直接提升 LLM 在解決復雜任務時的能力,相較于傳統的 RAG,Agentic-RAG 更具產業落地價值。同時隨著多智能體方法的引入,基于 Agent 的 RAG 將逐步取代傳統 RAG 系統,實現更靈活,更精確的大語言模型應用業務體系。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    30887

    瀏覽量

    269065
  • 模型
    +關注

    關注

    1

    文章

    3243

    瀏覽量

    48836
  • 智能體
    +關注

    關注

    1

    文章

    150

    瀏覽量

    10578
  • OpenVINO
    +關注

    關注

    0

    文章

    93

    瀏覽量

    201

原文標題:使用 OpenVINO? 和 LlamaIndex 構建 Agentic-RAG 系統|開發者實戰

文章出處:【微信號:英特爾物聯網,微信公眾號:英特爾物聯網】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    基于OpenVINO和LangChain構建RAG問答系統

    隨著生成式 AI 的興起,和大語言模型對話聊天的應用變得非常熱門,但這類應用往往只能簡單地和你“聊聊家常”,并不能針對某些特定的行業,給出非常專業和精準的答案。這也是由于大語言模型(以下簡稱 LLM)在時效性和專業性上的局限所導致,現在市面上大部分開源的 LLM 幾乎都只是使用某一個時間點前的公開數據進行訓練,因此它無法學習到這個時間點之后的知識,并且也無法保證在專業領域上知識的準確性。那有沒有辦法讓你的模型學習到新的知識呢?
    的頭像 發表于 12-25 11:10 ?891次閱讀
    基于<b class='flag-5'>OpenVINO</b>和LangChain<b class='flag-5'>構建</b><b class='flag-5'>RAG</b>問答<b class='flag-5'>系統</b>

    【書籍評測活動NO.52】基于大模型的RAG應用開發與優化

    的應用還遠遠不能發揮出大模型的真正價值,我們期望大模型在更專業的生產領域發揮作用,提升生產力,引領真正的科技變革。 當前大模型被普遍看好的兩個專業應用方向是RAG(Retrieval-Augmented
    發表于 12-04 10:50

    從源代碼構建OpenVINO工具套件時報錯怎么解決?

    從源退貨開始構建OpenVINO?工具套件錯誤: Could not find a package configuration file provided by \"ade\"
    發表于 08-15 06:45

    在Raspberry Pi上從源代碼構建OpenVINO 2021.3收到錯誤怎么解決?

    在 Raspberry Pi 上從源代碼構建 OpenVINO?2021.3。 運行OpenVINO?推理,并收到錯誤消息: ModuleNotFoundError:沒有
    發表于 08-15 08:24

    如何使用交叉編譯方法為Raspbian 32位操作系統構建OpenVINO工具套件的開源分發

    提供如何使用交叉編譯方法為 Raspbian* 32 位操作系統構建 OpenVINO? 工具套件的開源分發。 單擊主題上的 了解詳細信息: 系統要求注意本指南假定您的 Raspber
    發表于 08-15 06:28

    如何使用Python包裝器正確構建OpenVINO工具套件

    構建該工具套件。 如果您未明確指定 Python 版本,CMake 會選擇系統級 Python 版本(2.7),而且您的 Python 腳本將不起作用。 注意以下說明假定您已安裝了 Python
    發表于 08-15 07:13

    永久設置OpenVINO trade Windows reg10的工具套件環境變量

    ]%INTEL_OPENVINO_DIR%\\\\extras\\opencv\\\\bin可選,僅在根據 下載其他組件 安裝 OpenCV* 的情況下。 調整 自定義 OpenCV 構建的條目。 注意這適用于 2022.1 版Ope
    發表于 08-15 07:18

    從Docker映像為Raspbian OpenVINO工具套件的安裝過程

    OpenVINO 開源技術中心 復制用于 Raspbian* 操作系統包的?工具套件的鏈接。選擇最新版本,右鍵單擊 URL,然后按 Copy 鏈接地址。 要構建用于神經計算英特爾? Movidius?或
    發表于 08-15 06:59

    無法使用Microsoft Visual Studio 2017為Windows 10構建開源OpenVINO怎么解決?

    無法使用 Microsoft Visual Studio 2017 為 Windows 10 構建開源OpenVINO?。
    發表于 08-15 06:43

    什么是LlamaIndexLlamaIndex數據框架的特點和功能

    LlamaIndex是一個數據框架,用于讓基于LLM的應用程序攝取、結構化和訪問私有或領域特定的數據。它提供Python和Typescript版本。
    的頭像 發表于 01-05 11:08 ?9367次閱讀
    什么是<b class='flag-5'>LlamaIndex</b>?<b class='flag-5'>LlamaIndex</b>數據框架的特點和功能

    什么是RAGRAG學習和實踐經驗

    高級的RAG能很大程度優化原始RAG的問題,在索引、檢索和生成上都有更多精細的優化,主要的優化點會集中在索引、向量模型優化、檢索后處理等模塊進行優化
    的頭像 發表于 04-24 09:17 ?892次閱讀
    什么是<b class='flag-5'>RAG</b>,<b class='flag-5'>RAG</b>學習和實踐經驗

    如何手擼一個自有知識庫的RAG系統

    用于自然語言處理任務,如文本生成、問答系統等。 我們通過一下幾個步驟來完成一個基于京東云官網文檔的RAG系統 數據收集 建立知識庫 向量檢索 提示詞與模型 數據收集 數據的收集再整個RAG
    的頭像 發表于 06-17 14:59 ?585次閱讀

    英特爾軟硬件構建模塊如何幫助優化RAG應用

    軟硬件構建模塊如何幫助優化RAG應用,在簡化部署和支持擴展的同時,增強其上下文感知能力和實時響應性能。 1 為您的應用量身定制GenAI ChatGPT的面世改變了AI的發展格局。企業爭相利用這項新技術
    的頭像 發表于 07-24 15:12 ?428次閱讀
    英特爾軟硬件<b class='flag-5'>構建</b>模塊如何幫助優化<b class='flag-5'>RAG</b>應用

    RAG的概念及工作原理

    檢索增強型生成(RAG系統正在重塑我們處理AI驅動信息的方式。作為架構師,我們需要理解這些系統的基本原理,從而有效地發揮它們的潛力。 什么是RAG? 總體而言,
    的頭像 發表于 12-17 13:41 ?174次閱讀
    <b class='flag-5'>RAG</b>的概念及工作原理

    檢索增強型生成(RAG)系統詳解

    成流暢且類似人類的文本方面表現出色,但它們有時在事實準確性上存在困難。當準確性非常重要時,這可能是一個巨大的問題。 那么,這個問題的解決方案是什么呢?答案是檢索增強型生成(RAG系統RAG集成了像GPT這樣的模型的強大功能
    的頭像 發表于 12-24 10:44 ?180次閱讀
    檢索增強型生成(<b class='flag-5'>RAG</b>)<b class='flag-5'>系統</b>詳解
    主站蜘蛛池模板: 日本黄色视| xvsr-365波多野结衣| 久久夜色精品| 国产精品欧美久久久久天天影视| www.色多多| 免费国内精品久久久久影院| 777午夜精品免费播放| 一区二区三区无码高清视频| 中文天堂最新版在线中文| 91男女视频| bl 高h文| 日本理论午夜中文字幕第一页| 韩国三级理在线视频观看| 午夜影院免费| 1024国产你懂的日韩| 欧美成人亚洲欧美成人| 四虎成人免费观看在线网址| 久久瑟| 日本极度另类网站| 椎名空中文字幕一区二区| 亚洲成人综合在线| 久久久久久久网站| 久久99热精品免费观看k影院| 亚洲免费视频网| 色综合天天综合中文网| 国产精品亚洲色图| 日本与大黑人xxxx| 亚洲成熟人网站| 99综合色| 黄在线看| 思思久99久女女精品| 亚洲黄色网址| 中文字幕一二三区乱码老| 欧美亚洲天堂| 天天色官网| 亚洲 欧美 视频| 欧美婷婷| 国产精品久久女同磨豆腐| 一级做a爱片久久毛片| 久久国产精品免费网站| 全免费午夜一级毛片真人|