Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計算一個矩陣，該矩陣包含表示成對比較結果的logits。給定該矩陣，可以推斷給定輸入x的N個輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標簽：框架模型語言模型 741 0

號稱「碾壓」LLaMA的Falcon實測得分僅49.08，HuggingFace決定重寫排行榜代碼

這是一組由 Meta 開源的大型語言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數數據集上超過了 GPT-3（1...

2023-06-11 標簽：解碼器語言模型 667 0

PyTorch教程-9.3. 語言模型

9.3. 語言模型? Colab [火炬]在 Colab 中打開筆記本 Colab [mxnet] Open the notebook in C...

2023-06-05 標簽：語言模型pytorch 417 0

一個通用的自適應prompt方法，突破了零樣本學習的瓶頸

為了解決這個問題，這篇研究提出了一種Universal Self-adaptive Prompting (USP)方法，對LLMs的零樣本學習進行了優化...

2023-06-01 標簽：語言模型數據集自然語言 781 0

GPT4技術原理之相變與涌現

物理系統中發生的相變最直觀，水結成冰或沸騰成蒸汽。在一定的溫度或壓力下，系統發生行為的突然變化，從一種相轉變為另一種相。轉變出現了之前相中沒有的新特性，...

2023-05-29 標簽：語言模型GPT 1152 0

調教LLaMA類模型沒那么難，LoRA將模型微調縮減到幾小時

最近幾個月，ChatGPT 等一系列大語言模型（LLM）相繼出現，隨之而來的是算力緊缺日益嚴重。雖然人人都想打造專屬于自己的大模型，但是能負擔得起上億參...

2023-05-28 標簽：語言模型LoRaChatGPT 2682 0

時下改變AI的6大NLP語言模型

消除早期語言模型的局限性，特別是在預訓練中表現出的單向性。這些限制了可用于預訓練的架構選擇，以及微調的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標簽：語言模型nlp 823 0

以Gpipe作為流水線并行的范例進行介紹

回顧ChatGPT的發展歷程，我們可以總結出大語言模型（LLM）取得驚艷效果的要點（重要性從高到低排序）： 愿意燒錢，且接受“燒錢 != 好模型”的現實...

2023-05-25 標簽：3D開源語言模型 1101 0

大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息

? 大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息？這一問題在計算機科學和自然語言處理領域一直存在爭議。然而，MIT的一項新研究表明，僅基于文...

2023-05-25 標簽：數據語言模型自然語言 726 0

Meta AI重磅推出LIMA！媲美GPT-4、無需RLHF就能對齊！

天下人苦“對齊”久矣！要讓預訓練語言模型的響應和特定任務和用戶偏好對齊，動輒需要百萬示例數據集上的instruction tuning、以及最近從人類反...

2023-05-24 標簽：語言模型CMUChatGPT 1144 0

GPT-4推理提升1750%！清華姚班校友提出全新ToT框架

那么，這樣一個簡單的機制能否足以建立一個通向「解決通用問題的語言模型」？如果不是，哪些問題會挑戰當前的范式，真正的替代機制應該是什么？

2023-05-24 標簽：框架語言模型GPT 421 0

GPT-4 的模型結構和訓練方法

在 GPT-4 的發布報道上，GPT-4 的多模態能力讓人印象深刻，它可以理解圖片內容給出圖片描述，甚至能在圖片內容的基礎上理解其中的隱喻或推斷下一時刻的發展。

2023-05-22 標簽：數據模型語言模型 2641 0

邱錫鵬團隊提出具有內生跨模態能力的SpeechGPT，為多模態LLM指明方向

大型語言模型（LLM）在各種自然語言處理任務上表現出驚人的能力。與此同時，多模態大型語言模型，如 GPT-4、PALM-E 和 LLaVA，已經探索了 ...

2023-05-22 標簽：編碼器生成器語言模型 691 0

邱錫鵬團隊提出SpeechGPT：具有內生跨模態能力的大語言模型

雖然現有的級聯方法或口語語言模型能夠感知和生成語音，但仍存在一些限制。首先，在級聯模型中，LLM 僅充當內容生成器。由于語音和文本的表示沒有對齊，LLM...

2023-05-22 標簽：模態語言模型數據集 703 0

如何利用LLM做一些多模態任務

本文整理了近兩年來基于LLM做vision-lanuage任務的一些工作，并將其劃分為4個類別：

2023-05-17 標簽：編碼器數據語言模型 870 0

使用Alpaca-Lora進行參數高效模型微調

在推理時，將左右兩部分的結果加到一起即可，h=Wx+BAx=(W+BA)x，所以，只要將訓練完成的矩陣乘積BA跟原本的權重矩陣W加到一起作為新權重參數替...

2023-05-17 標簽：服務器模型語言模型 2137 0

大語言模型的多語言機器翻譯能力分析

以ChatGPT為代表的大語言模型（Large Language Models, LLM）在機器翻譯（Machine Translation, MT）任...

2023-05-17 標簽：Opt語言模型ChatGPT 2037 0

蒸餾也能Step-by-Step：新方法讓小模型也能媲美2000倍體量大模型

為了解決大型模型的這個問題，部署者往往采用小一些的特定模型來替代。這些小一點的模型用常見范式 —— 微調或是蒸餾來進行訓練。微調使用下游的人類注釋數據升...

2023-05-15 標簽：人工智能語言模型自然語言 596 0

涌現能力的定義、常見的激發手段和具體的分類和任務

縮放定律的一個重要作用就是預測模型的性能，但是隨著規模的擴大，模型的能力在不同的任務上并不總表現出相似的規律。在很多知識密集型任務上，隨著模型規模的不斷...

2023-05-15 標簽：寄存器模型語言模型 4235 0