LLM|ChatGPT| Google

PPO |Open AI|LaMDA

隨著深度學習、高性能計算、數據分析、數據挖掘、LLM、PPO、NLP等技術的快速發展，ChatGPT得到快速發展。ChatGPT是OpenAI開發的大型預訓練語言模型，GPT-3模型的一個變體，經過訓練可以在對話中生成類似人類的文本響應。

ChatGPT背后的算法基于Transformer架構，這是一種使用自注意力機制處理輸入數據的深度神經網絡。Transformer架構廣泛應用于語言翻譯、文本摘要、問答等自然語言處理任務等領域。ChatGPT可用于創建能與用戶進行對話的聊天機器人。這對客戶服務很有用，因為它提供了有用的信息。

ChatGPT訓練全過程

ChatGPT作為一個智能對話系統，最近這兩天火爆了。網上到處都在傳ChatGPT相關的內容和測試實例，效果真的很震撼。記得上一次引起如此轟動的AI技術是兩年半以前的事了，那時候人工智能如日中天；多模態領域是以DaLL E2、Stable Diffusion為代表的Diffusion Model，也就是最近一直流行的AIGC模型。關于AIGC這里就不多介紹了，如有感興趣的可以看小編之前關于AIGC文章。

在整體技術路線上，ChatGPT引入了“手動標注數據+強化學習”(RLHF，從人的反饋進行強化學習)來不斷Fine-tune預訓練語言模型。主要目的是讓LLM模型學會理解人類命令的含義(比如寫一篇短文生成問題、知識回答問題、頭腦風暴問題等不同類型的命令)，讓LLM學會判斷對于給定的提示輸入指令(用戶的問題)什么樣的回答是優質的(富含信息、內容豐富、對用戶有幫助、無害、不包含歧視信息等多種標準)。

在“人工標注數據+強化學習”的框架下，具體來說，ChatGPT的訓練過程分為以下三個階段:

一、第一階段

以GPT 3.5本身來說，雖然強大，但是很難理解不同類型的人類不同指令中所包含的不同意圖，也很難判斷生成的內容是否是高質量的結果。為了讓GPT 3.5初步理解指令中包含的意圖，首先會隨機抽取一批測試用戶提交的prompt(即指令或問題)，由專業的標注者對指定的提示給出高質量的回答，然后專業人員標注的數據對GPT 3.5模型進行微調。通過這個過程，可以認為GPT 3.5初步具備了理解人類提示所包含的意圖，并根據這種意圖給出相對高質量答案的能力。

二、第二階段

這個階段的主要目的是通過人工標注訓練數據來訓練回報模型。具體是隨機抽取一批用戶提交的prompt(大部分與第一階段相同)，使用第一階段Fine-tune的冷啟動模型。對于每個prompt，冷啟動模型產生K個不同的答案，因此該模型產生,….數據。之后，標注人員根據多種標準(上述的相關性、富含信息性、有害信息等諸多標準)對X個結果進行排序，給出X個結果的排名順序，這就是這個階段人工標注的數據。

接下來利用這個排序結果數據來訓練回報模型。采用的訓練模式其實就是通常用到的pair-wise learning to rank。對于X排序結果，兩兩組合形成一個訓練數據對，ChatGPT采用pair-wise loss來訓練Reward Model。RM模型接受一個輸入，并給出一個獎勵分數來評估答案的質量。對于一對訓練數據，假設answer1排在answer2前面，那么Loss函數鼓勵RM模型比其他的得分更高。

歸納下：在這個階段里，首先由冷啟動后的監督策略模型為每個prompt產生X個結果，人工根據結果質量由高到低排序，以此作為訓練數據，通過pair-wise learning to rank模式來訓練回報模型。對于學好的RM模型來說，輸入，輸出結果的質量得分，得分越高說明產生的回答質量越高。

三、第三階段

本階段不需要手動標注數據，而是使用前一階段學習的RM模型，根據RM評分結果更新預訓練模型的參數。具體來說，首先從用戶提交的prompt中隨機抽取一批新的命令(指不同于第一、第二階段的新提示，實際上非常重要，對于提升LLM模型理解instruct指令的泛化能力很有幫助)，由冷啟動模型初始化PPO模型的參數。然后對于隨機選取的prompt，用PPO模型生成回答answer，用前一階段訓練好的RM模型給出answer質量評估的獎勵分數，這是RM對整個答案(由詞序列組成)給出的整體reward。有了單詞序列的最終回報，每個單詞可以視為一個時間步長，把reward由后往前依次傳遞，由此產生的策略梯度可以更新PPO模型參數。這是標準的強化學習過程，目的是訓練LLM產生高reward的答案，也即是產生符合RM標準的高質量回答。

如果我們不斷重復第二和第三階段，很明顯，每次迭代都使LLM模型越來越強大。因為在第二階段，RM模型的能力通過人工標注數據來增強的，而在第三階段，增強的RM模型對新prompt產生的回答進行更準確的評分，并使用強化學習來鼓勵LLM模型學習新的高質量內容，這類似于使用偽標簽來擴展高質量的訓練數據，所以LLM模型得到進一步增強。顯然，第二階段和第三階段是相互促進的，這就是為什么不斷迭代會有不斷增強的效果。

盡管如此，小編認為在第三階段采用強化學習策略并不一定是ChatGPT模型效果特別好的主要原因。假設第三階段不采用強化學習，取而代之的是以下方法：類似于第二階段的做法，對于一個新的prompt，冷啟動模型可以生成X個答案，分別由RM模型打分。我們選擇得分最高的答案形成新的訓練數據，并進入fine-tuneLLM模型。假設換成這種模式，相信效果可能會比強化學習更好。雖然沒那么精致，但效果不一定差很多。第三階段無論采用哪種技術模式，本質上很可能都是利用第二階段學會的RM，起到了擴充LLM模型高質量訓練數據的作用。

以上是ChatGPT的訓練過程，這是一個改進的instructGPT，改進點主要是標注數據收集方法上的一些差異。其他方面，包括模型結構和訓練過程，基本遵循instructGPT。可以預見的是，這種Reinforcement Learning from Human Feedback技術將會迅速蔓延到其他內容生成方向，比如一個很容易想到的方向，類似“A machine translation model based on Reinforcement Learning from Human Feedback”等等。但個人認為在NLP的某個特定內容生成領域采用這種技術意義不大，因為ChatGPT本身可以處理各種類型的任務，基本涵蓋了NLP生成的很多子領域。所以對于某個NLP子領域，單獨采用這種技術的價值不大，因為其可行性可以認為已經被ChatGPT驗證了。如果將這種技術應用于其他模式的生成，如圖片、音頻、視頻等，可能是更值得探索的方向。也許很快就會看到類似“A XXX diffusion model based on Reinforcement Learning from Human Feedback”之類的東西。

ChatGPT突然一下子火起來的原因？

ChatGPT因為操作簡單，容易上手，所以能快速走紅。打開后，在對話框中輸入問題即可獲得答案。而且像一個全能選手一樣，經常能給人意想不到的答案。

ChatGPT輕松應對日常對話。它可以區分某些問題中的描述性錯誤，可以直接拒絕不合理、不道德的要求。

ChatGPT一個令人驚訝的表現在于可以創作文學。比如給ChatGPT一個話題，就能寫出一個小說框架。ChatGPT以“AI改變世界”為主線寫小說框架時，ChatGPT明確給出了故事背景、主人公、故事情節和結局。

ChatGPT 根據命題撰寫小說框架

用戶體驗后評價“ChatGPT的語言組織能力、文字水平、邏輯能力可以說是令人驚嘆”。有些用戶甚至打算把日報、周報、總結、反思交給ChatGPT來輔助。

普通的文字創作只是最基礎的，ChatGPT還可以發現程序員代碼中的Bug。一些開發者在試用中表示，ChatGPT為他們的技術問題提供了非常詳細的解決方案，比一些搜索軟件的答案更可靠。美國代碼托管平臺Replit的Amjad Masad在推發文稱，ChatGPT是一個優秀的“調試伙伴”。“它不僅解釋錯誤，而且修復錯誤并解釋修復方法”。

ChatGPT更有商業邏輯，不僅對自己的優勢和劣勢了如指掌，還能分析競品，撰寫營銷報告。甚至對世界經濟形勢也“了如指掌”，能說出自己的見解。

有人把ChatGPT比作“搜索引擎+社交軟件”的組合，可以在實時交互的過程中得到問題的答案。很多用戶抱著好玩的心態與ChatGPT互動，但隨著體驗的深入，也會擔心自己有一天會不會因為AI而失業。

國盛證券區塊鏈研究所在研究報告中表示，ChatGPT在尋找答案和解決問題的效率上已經部分超越了當今的搜索引擎。ChatGPT可能會改變我們未來獲取信息和輸出內容的方式，AIGC有望成為數字經濟時代驅動需求爆炸的殺手級應用。

ChatGPT能實現當前的交互，離不開OpenAI在AI預訓練大模型領域的積累。OpenAI是微軟投資的AI實驗室，也是全球AI領域領先的AI實驗室之一。

自2018年以來，OpenAI一直在發布生成式預訓練語言模型GPT（Generative Pre-trained Transformer），可用于生成文章、代碼、機器翻譯、問答等各類內容。在當時，參數數量只有1.17億。

接下來，OpenAI每一代GPT模型的參數都出現了爆炸式增長，2019年2月發布的GPT-2參數量為15億，2020年5月的GPT-3參數量達到1750億，直接帶動了前訓練大模型成為近兩年AI領域的發展趨勢，掀起了一場拼參數、拼算力的軍備競賽。

GPT-4 還未到來，此次發布的ChatGPT被視為基于GPT-3的微調版本，即GPT-3.5。

據 OpenAI 介紹，ChatGPT采用的模型采用“利用人類反饋強化學習（RLHF）”的訓練方式，包括：人類提問機器答，機器提問人類回答，并且不斷迭代，使模型逐漸具備判斷生成答案的能力。與GPT-3相比，ChatGPT的主要改進在于記憶能力，可以實現連續對話，在對話的交互方式上大大提升了用戶體驗。

ChatGPT的不足之處

ChatGPT并不總能帶來驚喜。不可否認，它還是有很多局限性的。當要求ChatGPT創作時，它可以自由發揮。然而，當你的目標是尋求正確的答案時，ChatGPT有時可能無法達到預期。

比如讓 ChatGPT 做一道小學數學題，它看似寫出了一長串計算過程，給出的卻是錯誤答案。

ChatGPT 對于部分題無法給出正確答案

深入體驗后，會發現ChatGPT在一些文化常識問題和數學計算問題上并不是很擅長。而且ChatGPT的回答往往是大段大段，過于冗長，看似邏輯自洽，但有時是在一本正經“忽悠人”。仔細想想，會發現一些漏洞。如果非專業人士不能分辨ChatGPT答案的準確性，很有可能會被嚴重誤導。

Stack Overflow因此決定暫時禁止它。據悉，ChatGPT出現后，該模型生成的大量答案很快出現在Stack Overflow上。這些答案通常需要有一些專業知識的人詳細閱讀才能分辨出他們是錯的。

這種情況影響了堆棧溢出的質量管理。ChatGPT還表示：“由于AI生成的答案并不總是準確或相關的，因此可能會導致Stack Overflow上錯誤答案的混亂，并誤導正在尋求幫助的用戶。”并且還聲明:“Stack Overflow禁止使用AI生成答案是合理的。”

OpenAI還提到，ChatGPT有時會給出看似合理但不正確的答案。對于這個問題，Sam Altman表示:“試圖阻止ChatGPT隨機捏造，在現階段與現有技術保持平衡是很棘手的。隨著時間的推移，會根據用戶反饋進行改進。”

所以有些用戶把ChatGPT定位為聊天解悶的好朋友。當你遇到困境或者需要尋找意義時，ChatGPT可以給出類似“命運之書”的答案。有些用戶把ChatGPT當成效率工具，在文案或者一些專業問題上尋找參考。

AI是否已具有人類智能？

2022年12月，人工智能聊天機器人ChatGPT刷爆網絡，網友們爭先恐后去領略它的超高情商和巨大威力。參加高考、修改代碼、構思小說......它在廣大網友的“鞭策”下不斷突破自我，甚至可以用一整段程序，拼接出一只小狗。那么，ChatGPT是如何煉成的？是否意味著AI已具有人類智能呢？

chatGPT的程序小狗

ChatGPT是GPT（或生成式預訓練轉換器）文本生成AI系列的最新發展，根據從互聯網上獲取的大量文本樣本來進行訓練。

一經發布，ChatGPT便在網友的瘋狂“檢測”和“調戲”中表現出各種驚人的能力。OpenAI首席執行官Sam Altman表示，自11月30日至12月5日，ChatGPT的用戶數量已突破100萬，需求大于預期。

在廣大網友的不懈努力下，ChatGPT短短幾天之內完成了：

1、參加了美國高校的入學資格考試（SAT），成績為中等學生水平；

2、用《坎特伯雷故事集》風格改寫了90年代熱門歌曲《Baby Got Back》；

3、用《老友記》主角口吻創作了劇本對白；

4、構思了簡短的偵探小說；

5、簡要闡釋了經濟學理論；

6、給出了消除經濟不平等的六點計劃；

7、與人類進行“心理戰”，猜想人類實際上想讓計算機做什么；

8、規劃了如何毀滅世界；

9、生成關鍵詞指導AI作畫；

10、扮演OpenAI，在系統內構建了ChatGPT套娃，相當于“我”生了一個“我”

ChatGPT的網絡界面

AI是否已具有人類智能？

討論AI是否具有真正的“智能”是人類的游戲。圖靈測試（The Turing test）已經成為人工智能領域的核心目標之一。它由艾倫·麥席森·圖靈提出，被公認為人工智能崛起的標志。圖靈測試人為地將“思想能力”定義在功能和實用的范疇內，為“智力”設置了條件。

圖靈測試到底是什么意思？簡單來說，就是把機器關在小黑屋里，讓它和人類聊天對話，然后在小黑屋里分辨回答問題的是機器還是人類。如果不能分辨，說明機器和人的智能水平一樣，通過了測試。

到目前為止，還沒有、AI模型能真正通過圖靈測試。

談到GPT-4將如何優化，ChatGPT給出了以下答案:

GPT-4是一個大型語言模型，也是人工智能領域最先進的技術之一。在大量訓練數據的基礎上，可以模擬人類的語言表達能力，用相似的語言回答問題。目前GPT-4還在優化中，可能在以下幾個方面有一些改進:

1、增加更多的訓練數據，以提高其知識和準確性；

2、增加更復雜的算法來提高其性能和處理能力；

3、增加更多的功能，如語音合成和圖像識別，以提高其應用能力；

4、增加更多的輸入和輸出接口，如聊天機器人、問答系統等，以提高其便利性。

未來，AI真的能擁有人類的智能嗎？眾說紛紜。也許奇點已然臨近，也可能還只是空中樓閣。但不可否認的是，ChatGPT必將引領人工智能領域的先鋒革命。

ChatGPT能做游戲？

ChatGPT這種新模型的火爆程度不用多說，因為它的用處實在太廣泛，這兩天服務器直接被擠爆了。當然，怎么會沒人嘗試用它做游戲呢？結合一些開發者和自己的嘗試，雖然ChatGPT目前還不能達到完美的輔助效果，但是它的表現一定會超出你的預期。

從最簡單的文字游戲開始ChatGPT就表現地很好。最幸福的應該是跑團的玩家(桌上角色扮演游戲)。現在，他們不需要再去煞費苦心地找場地，聚集玩家，找有經驗的演職人員。只需給AI輸入一些世界觀信息，就可以開啟一段自由度很高的冒險，因為AI會根據輸入靈活地生成結果。

有一些熟練的玩家甚至總結出了訓練AI的運行模板，可以將游戲分成不同的模式，并提供完整的查詢、暫停等完整的系統功能。另外，GitHub現在已經有了將ChatGPT連接到群機器人的代碼，很多群聊都變成了聯機AI跑群。

當然，這只是基于AI本身展開的互動文字游戲，可能與我們認知中的“做游戲”有所不同。但是，用代碼寫一個可運行的游戲，也根本難不倒ChatGPT，簡單到幾乎唾手可得。舉個最簡單的例子，輸入用xx語言實現猜拳、貪吃蛇、俄羅斯方塊等簡單游戲的要求，就會自己完善規則，輸出代碼。

把完整的代碼復制保存，通常幾乎一行都不用改，游戲就能順利運行。而且隨時可以改變需求，它也會自動補全規則、生成新的代碼。只能說以后計算機系學生的作業，可能大半都要被它包圓了。

這對游戲開發小白來說絕對是大大的福利，在B站上，就已經有人在零基礎的情況下，靠ChatGPT做出了一款完整的Unity打磚塊游戲，同樣沒有改過代碼。

為什么說是小白福利呢？因為它不止能寫代碼，還會相當人性化地回復你。當然，它不能完全替代教程，但比起漫無目的地尋找零散資源，問AI顯然快多了。更別說它連這么口語化的表述都能理解——

也有UP主嘗試用它來寫《植物大戰僵尸》，結果也發現模塊功能完全不用改代碼，直接就能用。由于受到字符長度限制，完整的項目代碼沒辦法一步到位，但這不算大問題。

2D能做，3D行不行？當然可以！至少已經有人用它在Unity、UE里實現過簡單的射擊游戲了。雖然看起來仍然很簡陋，但如果你有耐心多搗鼓搗鼓，我不懷疑它能實現一個相對復雜的大型需求。

ChatGPT能否取代Google百度等搜索引擎

既然看上去ChatGPT幾乎無所不能地回答各種類型的prompt，那么一個很自然的問題就是：ChatGPT或者未來即將面世的GPT4，能否取代Google、百度這些傳統搜索引擎呢？個人覺得目前應該還不行，但是如果從技術角度稍微改造一下，理論上是可以取代傳統搜索引擎的。

為什么說目前形態ChatGPT還不能取代搜索引擎呢？主要有三點原因：

一、對于不少知識類型的問題，ChatGPT會給出看上去很有道理，但是事實上是錯誤答案的內容，考慮到對于很多問題它又能回答得很好，這將會給用戶造成困擾：如果我對我提的問題確實不知道正確答案，那我是該相信ChatGPT的結果還是不該相信呢？此時你是無法作出判斷的。這個問題可能是比較要命的。

二、ChatGPT目前這種基于GPT大模型基礎上進一步增加標注數據訓練的模式，對于LLM模型吸納新知識是非常不友好的。新知識總是在不斷出現，而出現一些新知識就去重新預訓練GPT模型是不現實的，無論是訓練時間成本還是金錢成本，都不可接受。如果對于新知識采取Fine-tune的模式，看上去可行且成本相對較低，但是很容易產生新數據的引入導致對原有知識的災難遺忘問題，尤其是短周期的頻繁fine-tune，會使這個問題更為嚴重。所以如何近乎實時地將新知識融入LLM是個非常有挑戰性的問題。

三、ChatGPT或GPT4的訓練成本以及在線推理成本太高，導致如果面向真實搜索引擎的以億記的用戶請求，假設繼續采取免費策略，OpenAI無法承受，但是如果采取收費策略，又會極大減少用戶基數，是否收費是個兩難決策，當然如果訓練成本能夠大幅下降，則兩難自解。

以上這三個原因，導致目前ChatGPT應該還無法取代傳統搜索引擎。那么這幾個問題，是否可以解決呢？其實，如果我們以ChatGPT的技術路線為主體框架，再吸納其它對話系統采用的一些現成的技術手段，來對ChatGPT進行改造，從技術角度來看，除了成本問題外的前兩個技術問題，目前看是可以得到很好地解決。我們只需要在ChatGPT的基礎上，引入sparrow系統以下能力：基于retrieval結果的生成結果證據展示，以及引入LaMDA系統的對于新知識采取retrieval模式，那么前面提到的新知識的及時引入，以及生成內容可信性驗證，基本就不是什么大問題。

基于以上考慮，在上圖中展示出了我心目中下一代搜索引擎的整體結構:它其實是目前的傳統搜索引擎+ChatGPT的雙引擎結構，ChatGPT模型是主引擎，傳統搜索引擎是輔引擎。

傳統搜索引擎的主要輔助功能有兩個：一個是對于ChatGPT產生的知識類問題的回答，進行結果可信性驗證與展示，就是說在ChatGPT給出答案的同時，從搜索引擎里找到相關內容片段及url鏈接，同時把這些內容展示給用戶，使得用戶可以從額外提供的內容里驗證答案是否真實可信，這樣就可以解決ChatGPT產生的回答可信與否的問題，避免用戶對于產生結果無所適從的局面。當然，只有知識類問題才有必要尋找可信信息進行驗證，很多其他自由生成類型的問題，比如讓ChatGPT寫一個滿足某個主題的小作文這種完全自由發揮的內容，則無此必要。所以這里還有一個什么情況下會調用傳統搜索引擎的問題，具體技術細節完全可仿照sparrow的做法，里面有詳細的技術方案。

傳統搜索引擎的第二個輔助功能是及時補充新知識。既然我們不可能隨時把新知識快速引入LLM，那么可以把它存到搜索引擎的索引里，ChatGPT如果發現具備時效性的問題，它自己又回答不了，則可以轉向搜索引擎抽取對應的答案，或者根據返回相關片段再加上用戶輸入問題通過ChatGPT產生答案。關于這方面的具體技術手段，可以參考LaMDA，其中有關于新知識處理的具體方法。

除了上面的幾種技術手段，我覺得相對ChatGPT只有一個綜合的Reward Model，sparrow里把答案helpful相關的標準（比如是否富含信息量、是否合乎邏輯等）采用一個RM，其它類型toxic/harmful相關標準（比如是否有bias、是否有害信息等）另外單獨采用一個RM，各司其職，這種模式要更清晰合理一些。因為單一類型的標準，更便于標注人員進行判斷，而如果一個Reward Model融合多種判斷標準，相互打架在所難免，判斷起來就很復雜效率也低，所以感覺可以引入到ChatGPT里來，得到進一步的模型改進。

通過吸取各種現有技術所長，我相信大致可以解決ChatGPT目前所面臨的問題，技術都是現成的，從產生內容效果質量上取代現有搜索引擎問題不大。當然，至于模型訓練成本和推理成本問題，可能短時期內無法獲得快速大幅降低，這可能是決定LLM是否能夠取代現有搜索引擎的關鍵技術瓶頸。

從形式上來看，未來的搜索引擎大概率是以用戶智能助手APP的形式存在的，但是，從短期可行性上來說，在走到最終形態之前，過渡階段大概率兩個引擎的作用是反過來的，就是傳統搜索引擎是主引擎，ChatGPT是輔引擎，形式上還是目前搜索引擎的形態，只是部分搜索內容Top 1的搜索結果是由ChatGPT產生的，大多數用戶請求，可能在用戶看到Top 1結果就能滿足需求，對于少數滿足不了的需求，用戶可以采用目前搜索引擎翻頁搜尋的模式。

搜索引擎未來大概率會以這種過渡階段以傳統搜索引擎為主，ChatGPT這種instruct-based生成模型為輔，慢慢切換到以ChatGPT生成內容為主，而這個切換節點，很可能取決于大模型訓練成本的大幅下降的時間，以此作為轉換節點。

藍海大腦ChatGPT深度學習一體機采用 Intel 、AMD處理器，突破傳統風冷散熱模式，采用風冷和液冷混合散熱模式——服務器內主要熱源 CPU 利用液冷冷板進行冷卻，其余熱源仍采用風冷方式進行冷卻。通過這種混合制冷方式，可大幅提升服務器散熱效率，同時，降低主要熱源 CPU 散熱所耗電能，并增強服務器可靠性；支持VR、AI加速計算；深受廣大深度學習ChatGPT領域工作者的喜愛。

審核編輯 黃昊宇