【AI簡報20231020期】出自華人之手：DALL-E 3論文公布、上線ChatGPT！超火迷你GPT-4
1. OpenAI終于Open一回：DALL-E 3論文公布、上線ChatGPT，作者一半是華人
原文：https://mp.weixin.qq.com/s/xLvJXe2FDL8YdByZLHjGMQ
打開 ChatGPT 就能用 DALL?E 3 生成圖片了，OpenAI 還罕見地發布了一些技術細節。
終于，「OpenAI 又 Open 了」。在看到 OpenAI 剛剛發布的 DALL?E 3 相關論文后，一位網友感嘆說。DALL?E 3 是 OpenAI 在 2023 年 9 月份發布的一個文生圖模型。與上一代模型 DALL?E 2 最大的區別在于，它可以利用 ChatGPT 生成提示（prompt），然后讓模型根據該提示生成圖像。對于不擅長編寫提示的普通人來說，這一改進大大提高了 DALL?E 3 的使用效率。此外，與 DALL?E 2 相比，DALL?E 3 生成的圖質量也更高。
即使與當前最流行的文生圖應用 Midjourney 相比，DALL?E 3 也能打個平手甚至超越 Midjourney。而且與 Midjourney 相比，DALL?E 3 不需要用戶自己掌握復雜的 Prompt 編寫知識，使用起來門檻更低。
這一模型的發布引發了不小的轟動，也再次鞏固了 OpenAI 技術領頭羊的形象。一時間，所有人都很好奇，這么炸裂的效果是怎么做到的？不過，令人失望的是，當時 OpenAI 并沒有透露技術細節，就像之前發布 GPT-4 時一樣。不過，一個月后，OpenAI 還是給了大家一些驚喜。在一份篇幅達 22 頁的論文中，他們闡述了針對 DALL?E 3 所做的改進。論文要點包括：- 模型能力的提升主要來自于詳盡的圖像文本描述（image captioning）；
- 他們訓練了一個圖像文本描述模型來生成簡短而詳盡的文本；
- 他們使用了 T5 文本編碼器；
- 他們使用了 GPT-4 來完善用戶寫出的簡短提示；
- 他們訓練了一個 U-net 解碼器，并將其蒸餾成 2 個去噪步驟；
- 文本渲染仍然不可靠，他們認為該模型很難將單詞 token 映射為圖像中的字母
如果對結果不滿意，你還可以直接讓它在原圖的基礎上修改：
不過，隨著對話長度的增加，生成結果變得有些不穩定：
為了保證 DALL?E 3 輸出內容的安全性和合規性，OpenAI 也做了一些努力，確保模型輸出的內容是被檢查過的，而且不侵犯在世藝術家的版權。當然，要了解 DALL?E 3 背后的技術，還是要詳細閱讀論文。以下是論文介紹：論文概覽OpenAI 發布的 DALL?E 3 相關論文總共有 19 頁，作者共有 15 位，半數為華人，分別來自 OpenAI 和微軟。
論文地址：https://cdn.openai.com/papers/dall-e-3.pdf論文提出了一種解決提示跟隨（prompt following）問題的新方法：文本描述改進（caption improvement）。本文假設現有的文本 - 圖像模型面臨的一個基本問題是：訓練數據集中的文本 - 圖像對的質量較差，這一問題在其他研究中也已經被指出。本文建議通過為數據集中的圖像生成改進的文本描述來解決這個問題。為了達到這一目標，該研究首先學習了一個具有穩健性的圖像文本生成器，它可以生成詳細、準確的圖像描述。然后，將此文本生成器應用到數據集以生成更詳細的文本。最終在改進的數據集上訓練文本 - 圖像模型。其實，用合成數據進行訓練并不是一個全新的概念。本文的貢獻主要在于研究者構建了一個新穎的具有描述性的圖像文本系統，并對用合成文本訓練生成的模型進行了評估。該研究還為一系列評估建立了一個可重復的基準性能概要文件，這些評估用于測量提示執行的情況。在接下來的章節中，第 2 節對訓練圖像文本生成器的策略進行了全面概述，第 3 節對在原始文本和生成文本上訓練的文本到圖像模型進行了評估，第 4 節對 DALL-E 3 進行了評估，第 5 節討論了限制和風險。下面我們看看每個章節的具體內容。數據集重描述（Recaptioning）OpenAI 的文本到圖像模型是在大量 (t, i) 對組成的數據集上進行訓練的，其中 i 是圖像，t 是描述圖像的文本。在大規模數據集中，t 通常源于人類作者，他們主要對圖像中的對象進行簡單描述，而忽略圖像中的背景細節或常識關系。更糟糕的是，在互聯網上找到的描述往往根本不正確或者描述與圖像不怎么相關的細節。OpenAI 認為所有的缺陷都可以使用合成描述來解決。為了改進在圖像生成數據集上的描述效果，OpenAI 希望使用描述生成器來生成圖像描述，這有助于學習文本到圖像模型。在首次嘗試中，他們構建了一個僅能描述圖像主對象的小規模描述數據集，然后繼續在這個數據集上訓練自己的描述生成器。該過程誘導的更新到 θ 使得模型偏向于描述圖像的主對象。OpenAI 將這種微調生成的描述稱為「短合成描述」。OpenAI 做了第二次嘗試，創建了一個更長的、描述更豐富的文本數據集，來描述微調數據集中每個圖像的內容。這些描述包括圖像的主對象，以及周圍對象、背景、圖像中的文本、風格、顏色。他們在該數據集上對基礎文本生成器進行進一步微調，并將該文本生成器生成的文本稱為「描述性合成描述」。下圖 3 展示了真值、短合成和描述性合成描述的示例
評估重描述（re-captioned）數據集OpenAI 利用重描述數據集，開始評估訓練模型對合成文本的影響。他們尤其試圖回答以下兩個問題：- 使用每種類型的合成描述對性能有什么影響
- 合成描述與真值描述的最佳混合比例是多少？
- 合成與真值描述混合
- 評估方法
接下來針對為所有 50000 個文本 / 圖像對計算的余弦距離，OpenAI 執行了平均操作，并做了 100 倍重縮放（rescale）。在計算 CLIP 分數，選擇使用哪個描述非常重要。對于 OpenAI 的測試，他們要么使用真值描述，要么使用描述性合成描述。同時，每次評估時都注明使用了哪個描述。限制與風險本文的最后一章是大家比較關心的關于限制與風險的問題。雖然 DALL-E 3 在 prompt 跟隨方面表現出色，但它仍然在空間感知等方面表現不佳。例如，DALL-E 3 不能很好的理解左邊、下面、后面等表示方位的詞語。此外，在構建文本描述生成器時，本文著重考慮了一些突出的引導詞（prominent words），這些引導詞存在于原本圖像以及生成的描述中。因此，DALL-E 3 可以在出現 prompt 時生成文本。在測試過程中，本文注意到此功能并不可靠。本文懷疑這可能與使用 T5 文本編碼器有關：當模型遇到 prompt 中的文本時，它實際上會看到代表整個單詞的 token，并且將它們映射到圖像中出現的文本。在未來的工作中，本文希望進一步探索字符級語言模型，以幫助改善 DALL-E 3 面臨的這種限制。最后，本文還觀察到，合成的文本還會讓生成的圖片在重要細節上產生幻覺。這對下游任務產生了一定的影響，本文也表示，DALL-E 3 在為特定術語生成圖像方面并不可靠。不過，該研究相信，對圖像文本描述的完善能進一步改進 DALL-E 3 的生成結果。2. 在RTX 4090被限制的時代下，讓大模型使用RLHF更高效的方法來了
原文：https://mp.weixin.qq.com/s/3I0kOE1FprOeXSEERVVBIQ
該論文介紹了一種名為 ReMax 的新算法，專為基于人類反饋的強化學習（RLHF）而設計。ReMax 在計算效率（約減少 50% 的 GPU 內存和 2 倍的訓練速度提升）和實現簡易性（6 行代碼）上超越了最常用的算法 PPO，且性能沒有損失。
- 論文鏈接：https://arxiv.org/abs/2310.10505
- 作者：李子牛，許天，張雨舜，俞揚，孫若愚，羅智泉
- 機構：香港中文大學（深圳），深圳市大數據研究院，南京大學，南棲仙策
- 開源代碼：https://github.com/liziniu/ReMax
我們發現 RLHF 的主要計算開銷來源于第三階段（獎勵最大化）。這一點可以從 DeepSpeed-Chat 的報告里看到，第三階段的訓練時間是前兩個階段時間總和的 4 倍以上。而且，根據我們的經驗，第三階段的 GPU 消耗是前兩階段的 2 倍以上。
目前 RLHF 第 3 階段的主要計算瓶頸是什么？我們發現該階段的計算瓶頸主要來源用來目前使用的 RL 算法：PPO 算法。PPO 算法是用來解決普適 RL 問題的最流行的算法之一，有非常多成功的案例。我們在這里省略 PPO 的技術細節，著重介紹 PPO 的一個關鍵組件：價值模型 (The value model)。價值模型是一個需要被訓練的神經網絡，能夠有效地估計給定策略的預期長期回報。盡管價值模型為 PPO 帶來了良好的性能，但它在 RLHF 任務中也引入了沉重的計算開銷。例如，為了更好地與人類偏好對齊，PPO 中的價值模型通常與 LLM 大小相似，這使存儲需求翻了一番。此外，價值模型的訓練需要存儲其梯度、激活和優化器狀態，這進一步增加了近 4 倍的 GPU 存儲需求。總結來說，PPO 和它的價值模型（以及其訓練相關部分）已成為 RLHF 獎勵最大化階段的主要計算障礙。
思路是否有可能找到比 PPO 更適配 RLHF 的算法？我們得出的答案是肯定的。這是因為 PPO 和價值模型是為通用 RL 問題設計的，而不是針對像 RLHF 這樣的特定問題（RLHF 只是 RL 問題中的一個子類）。有趣的是，我們發現 RLHF 具有三個在 PPO 中未使用的重要結構：1. 快速模擬（fast simulation）：軌跡（即 LLM 中的整個響應）可以在很短的時間內迅速執行（小于 1s），幾乎沒有時間開銷。2. 確定性轉移（deterministic transitions）：上下文確定性依賴于過去的標記和當前生成的標記。3. 軌跡級獎勵（trajectory-level rewards）：獎勵模型只在響應完成時提供一個獎賞值。通過這三個觀察，我們不難發現 value model 在 RLHF 的問題中是 “冗余” 的。這是因為 value model 設計的初衷是為了隨機環境下的樣本效率和慢仿真環境的計算效率。然而這在 RLHF 中是不需要的。
方法ReMaxReMax 算法基于一個古老的策略梯度算法 REINFORCE，REINFORCE 使用的策略梯度估計器如下圖所示：
REINFORCE可以在計算層面利用好RLHF任務的三個性質，因為REINFORCE直接利用一個響應的獎勵來進行優化，不需要像一般的RL算法一樣需要知道中間步驟的獎勵和值函數。然而，由于策略的隨機性， REINFORCE梯度估計器存在高方差問題（在Richard Sutton的RL書里有指出），這一問題會影響模型訓練的有效性，因此REINFORCE在RLHF任務中的效果較差，見下面兩張圖片。
為解決這一問題，ReMax 使用貪婪生成的回答（greedy response）的獎勵作為基準值（baseline value）來構建梯度估計器，具體公式如下：
理論保證 我們證明了 ReMax 使用的梯度估計器仍然是真實策略梯度的一個無偏估計器。詳細理論介紹見論文。算法優點- ReMax 的核心部分可以用 6 行代碼來實現。相比之下，PPO 要額外引入重要性采樣（importance sampling），廣義優勢估計（generalized advantage estimation，GAE)，價值模型學習等額外模塊。
- ReMax 的超參數很少。相比之下，PPO 有額外的超參數，例如重要性采樣剪切閾值（importance sampling clipping ratio）、GAE 系數、價值模型學習率，離策略訓練輪次（off-policy training epoch）等，這些超參數都需要花大量時間去調優。
- ReMax 能理論上節省約 50% 內存。相比于 PPO，ReMax 成功移除了所有和價值模型相關的部件，大大減小了內存開銷。通過計算，我們發現相比于 PPO，ReMax 能節省約 50% 內存。
- 更簡單的實現：ReMax 的核心部分 6 行代碼即可實現。這與 PPO 中的眾多復雜的代碼構建塊形成鮮明對比。
- 更少的內存開銷：由于移除了價值模型及其全部訓練組件，相比 PPO，ReMax 節省了大約 50% 的 GPU 內存。
- 更少的超參數: ReMax 成功移除了所有和價值模型訓練相關的超參數，其中包括：GAE 系數、價值模型學習率、重要性采樣時期、小批量（mini-batch）大小。這些超參數往往對問題敏感且難以調整。我們相信 ReMax 對 RLHF 研究者更加友好。
- 更快的訓練速度：在 GPT2（137M）的實驗中，我們觀察到 ReMax 在真實運行時間方面相比于 PPO 有 2.2 倍的加速。加速來自 ReMax 每次迭代中較少的計算開銷。通過我們的計算，該加速優勢在更大的模型上也能維持（假設在足夠大的內存下 PPO 可以被成功部署）。
- 優異的性能：如前所示，ReMax在中等規模實驗中與PPO實現了相當的性能，并且有時甚至超越它（可能是由于 ReMax 更容易找到合適的超參數）。我們推測這種良好的性能可以拓展到更大規模的模型中。
3. 10年市場規模1.3萬億美元，「模力時代」已來
原文：https://mp.weixin.qq.com/s/ps274X9uf_hTe0UopkGtsg大模型風暴刮了大半年，AIGC市場開始起了新的變化：酷炫的技術Demo，正在被完整的產品體驗所取代。比如，OpenAI最新AI繪畫模型DALL· E 3剛一登場，就跟ChatGPT強強聯合，成為ChatGPT Plus里最令人期待的新生產力工具。
又比如，微軟基于GPT-4打造的Copilot，已經全線入駐Win11，正式取代Cortana成為操作系統里的新一代AI助手。
再比如，國產汽車如極越01，已經在座艙中正式搭載大模型，而且是完全離線的那種……如果說，「大模型重塑一切」在2023年的3月份還只是一句技術先行者的樂觀預言，到了今天，仍舊激烈的百模大戰、以及實際的應用進展，已經讓這一觀點在行業內外激發越來越多的共鳴。換言之，大到整個互聯網的生產方式，小到每一輛汽車中的智能座艙，一個以大模型為技術力底座、驅動千行百業自我革新的時代正在來臨。按照蒸汽時代、電力時代的命名方式，或許能將之命名為「模力時代」。而在「模力時代」中，最受關注的場景之一，就是智能終端。原因很簡單：以智能手機、PC、智能汽車甚至XR設備等為代表的智能終端產業，是與當代人生活最緊密相關的科技產業之一，自然也就成為了檢驗前沿技術成熟度的一個金標準。所以，當技術熱潮帶來的第一波炒作逐漸冷靜，以智能終端場景為一個錨點，「模力時代」新的機遇和挑戰應該如何去看待和解讀？現在，是時候掰開揉碎，好好梳理一番了。智能終端，大模型新戰場在具體分析挑戰和機遇之前，還是先回到一個本質的問題上：大模型為代表的生成式AI為何會如此火爆，甚至被認為是“第四次工業革命”？針對這一現象，已經有不少機構在進行研究，試圖預測或總結生成式AI在不同場景下的發展規律，如紅杉資本的《Generative AI: A Creative New World》。在這其中，也有不少行業頭部公司，基于自身經驗分析了生成式AI在特定行業中的落地場景和潛在變革方向。如終端側AI代表玩家高通，就在前段時間發布了關于生成式AI發展現狀和趨勢的白皮書《混合AI是AI的未來》。從中，或許能解讀出生成式AI在行業中火爆的三大原因。首先，是技術本身足夠硬核。無論是智能涌現的大模型，還是生成質量以假亂真的AI繪畫，無不是用效果說話，實打實在幾乎所有與文字、圖像、視頻和自動化相關的工作領域，展現出了顛覆傳統工作流的驚人能力。其次，是潛在落地場景豐富。大模型所帶來的AI代際式的突破，從一開始就帶給了人們無窮的想象空間：最早的一批體驗者，很快就感知到了生成式AI給工作帶來的助益。用戶側龐大的需求，從ChatGPT等代表性應用的用戶增速，就可見一斑。
從最開始互聯網的搜索、編程、辦公，到現在涌現的文旅、法律、醫藥、工業、交通等等場景應用，乘生成式AI之風而起的，遠不止能夠提供基礎大模型的公司，更是有一大批初創企業正順勢繁榮生長。有不少業內專家認為：對于創業者而言，大模型所帶來的應用層的機會更大。底層有技術的代際式突破，上層有應用需求的蓬勃爆發，生態效應由此被激發。根據Bloomberg Intelligence預測，到2032年生成式AI市場規模將從400億美元爆炸式增到1.3萬億美元，廣泛覆蓋生態鏈的各個參與方，包括基礎設施、基礎模型、開發者工具、應用產品、終端產品等等。
這種生態鏈的形成，推動了行業新的變革，有望讓AI進一步成為底層核心生產力。基于這樣的背景，我們再來看智能產業當下正在發生的事情。一方面，以大模型為代表的AIGC應用風暴，正在以天為單位的迭代節奏中迅速從云端走向終端。ChatGPT就率先在移動端更新了“視聽說”的多模態功能，用戶們拍照上傳，就能針對照片內容與ChatGPT進行對話。高通也快速實現了在終端側運行十幾億參數的Stable Diffusion和ControlNet大模型，在手機上生成高質量AI圖像只需十幾秒。不少手機廠商也已經宣布，要為自家語音助手裝上大模型這個“大腦”。還不僅僅是手機。在上海車展、成都車展、慕尼黑車展等等國內外大型展會上，基礎模型廠商和車廠的合作越來越常見，大模型“上車”已然成為智能座艙領域新的競爭點。
另一方面，應用的爆發加劇了算力供不應求的情況。可以預見的是，模型的推理成本將會隨著日活用戶數量及其使用頻率的增加而增加，僅僅只依靠云端算力，是不足以快速推進生成式AI規模化的。從各行各業都在提升對終端側AI算力的重視程度，也能看出這一點。例如終端側AI玩家高通，針對PC端芯片性能提升發布了新一代PC計算平臺，采用高通自研的Oryon CPU，尤其搭載的NPU將面向生成式AI提供更強大的性能，被命名為驍龍X系列平臺。預計會在2023驍龍峰會上，這一新的計算平臺就會發布。顯然，無論從應用還是算力來看，智能終端都已經成為AIGC落地潛力最大的場景之一。AIGC潮涌下的暗礁事物通常具有兩面性，大模型從快速發展到落地亦是如此。當生成式AI一路狂飆到今天，智能終端產業巨大潛力下的現實瓶頸，已經浮出水面。最大的掣肘之一，是最底層的硬件。正如紅杉兩位投資人Sonya Huang和Pat Grady最新一篇生成式AI分析文章《Generative AI’s Act Two》中所提到的，AIGC發展得很快，然而預料之中的瓶頸不在于客戶需求，而在于供應端的算力。這里的算力，主要指AI和機器學習硬件加速器，從部署場景來看又可以被分為五大類：數據中心級系統、服務器級加速器、輔助駕駛&自動駕駛場景下的加速器、邊緣計算和超低功耗加速器。
隨著ChatGPT爆火，大模型帶動AIGC現象級出圈，使得數據中心、服務器級處理器等“云端算力”短期受到大量關注，甚至出現供不應求的情況。然而，隨著生成式AI迎來第二階段，關于算力的一些問題也日漸凸顯。首先也是最大的問題，在于成本。如高通《混合AI是AI的未來》白皮書所言，如今大半年過去，隨著大模型從技術追逐轉向應用落地，各公司的基礎模型訓練逐漸塵埃落定，算力的大部頭落到大模型的推理上。短期內推理成本還可以接受，但隨著大模型的APP越來越多、應用場景越來越廣泛，在服務器等加速器上推理的成本也會急劇增加，最終導致調用大模型的成本比訓練大模型本身還高。換言之，大模型進入第二階段后，推理對算力的長期需求將會遠遠高于單次訓練，僅僅依靠數據中心和服務器級處理器組成的“云端算力”，完全不足以將推理打到用戶能夠接受的成本。據高通在白皮書中統計，以加持大模型的搜索引擎為例，每一次搜索查詢的成本，可以達到傳統方法的10倍，每年光是在這方面的開銷就可能增加數十億美元。這注定會成為大模型落地的關鍵掣肘。隨之而來的，還有時延、隱私和個性化問題。高通在《混合AI是AI的未來》中也提到，大模型直接部署在云端，除了用戶量激增帶來的服務器計算量不夠，需要“排隊使用”等bug，還勢必需要解決用戶隱私和個性化問題。如果用戶不希望上傳數據到云端，大模型的使用場景如辦公、智能助手等，就會受到不少限制，而這些場景多數分布在終端側；而如果需要進一步追求更好的效果，如定制大模型為己用，更是需要直接將個人信息用于大模型訓練。種種因素之下，在推理上能發揮作用的“終端算力”，也就是包括自動駕駛&輔助駕駛、邊緣計算（嵌入式）和超低功耗加速器在內的幾大類處理器，開始進入人們的視野。終端潛藏著巨大的計算能力。據IDC預測，2025年全球物聯網設備數將超過400億臺，產生數據量接近80ZB，超過一半的數據需要依賴終端或者邊緣的計算能力進行處理。但終端同樣存在功耗散熱受限導致算力受限等問題。這種情況下，如何利用潛藏在終端的巨大算力，來突破云端算力發展面臨的瓶頸，正在成為「模力時代」下的最普遍的技術難題之一。更別提除了算力以外，大模型落地還面臨著算法、數據和市場競爭等挑戰。對于算法而言，基礎模型的架構依舊未知。ChatGPT固然已經取得了很好的成果，但其堅持的技術路線并非就是下一代模型的架構方向。對于數據而言，其他公司要想取得ChatGPT一般的大模型成果，高質量數據不可或缺，但《Generative AI’s Act Two》同樣指出，目前應用公司生成的數據并沒有創造一個真正的壁壘。靠數據建立起來的優勢是脆弱且無法持續的，下一代基礎模型很可能就能直接摧毀這堵“城墻”，相比之下，持續而穩定的用戶才能真正構建數據來源。對于市場而言，目前大模型產品尚未出現多個殺手級應用，它究竟適配于何種場景仍舊未可知。在這個時代將它用于哪類產品之中、做出哪種應用能發揮它最大的價值，目前市場還沒能給出一套能夠沿襲的方法論或標準答案。更感興趣的內容，請查看源文。4. 憶阻器存算一體芯片新突破！有望促進人工智能、自動駕駛等領域發展
原文：https://mp.weixin.qq.com/s/2BbWRjpu_lreG6TEiG0XKw電子發燒友網報道（文/李彎彎）近日，清華大學集成電路學院教授吳華強、副教授高濱團隊基于存算一體計算范式，研制出全球首顆全系統集成的、支持高效片上學習的憶阻器存算一體芯片，在支持片上學習的憶阻器存算一體芯片領域取得重大突破。該芯片包含支持完整片上學習所必需的全部電路模塊，成功完成圖像分類、語音識別和控制任務等多種片上增量學習功能驗證，展示出高適應性、高能效、高通用性、高準確率等特點，有效強化智能設備在實際應用場景下的學習適應能力，有望促進人工智能、自動駕駛、可穿戴設備等領域的發展。什么是憶阻器憶阻器，全稱記憶電阻器(Memristor)。它是表示磁通與電荷關系的電路器件。憶阻具有電阻的量綱，但和電阻不同的是，憶阻的阻值是由流經它的電荷確定。因此，通過測定憶阻的阻值，便可知道流經它的電荷量，從而有記憶電荷的作用。1971年，蔡少棠從邏輯和公理的觀點指出，自然界應該還存在一個電路元件，它表示磁通與電荷的關系。2008年，惠普公司的研究人員首次做出納米憶阻器件，掀起憶阻研究熱潮。納米憶阻器件的出現，有望實現非易失性隨機存儲器。并且，基于憶阻的隨機存儲器的集成度、功耗、讀寫速度都要比傳統的隨機存儲器優越。此外，憶阻是硬件實現人工神經網絡突觸的最好方式。2012年，比勒菲爾德大學托馬斯博士及其同事制作出一種具有學習能力的憶阻器。2013年，安迪·托馬斯利用這種憶阻器作為人工大腦的關鍵部件，他的研究結果發表在《物理學學報D輯：應用物理學》雜志上。安迪·托馬斯解釋說，因為憶阻器與突觸的這種相似性，使其成為制造人工大腦——從而打造出新一代電腦——的絕佳材料，“它使我們得以建造極為節能、耐用，同時能夠自學的處理器。”托馬斯的文章總結了自己的實驗結果，并借鑒其他生物學和物理學研究的成果，首次闡述了這種仿神經系統的電腦如何將自然現象轉化為技術系統，及其中應該遵循的幾個原則。這些原則包括，憶阻器應像突觸一樣，“注意”到之前的電子脈沖；而且只有當刺激脈沖超過一定的量時，神經元才會做出反應，憶阻器也是如此。在國內，錢鶴、吳華強團隊2012年開始研究用憶阻器來做存儲，但由于憶阻器的材料器件優化和集成工藝不成熟，團隊只能靠自己在實驗室里摸索，在一次次失敗的實驗中探索提高器件的一致性和良率。兩年后，清華大學與中科院微電子所、北京大學等單位合作，優化憶阻器的器件工藝，制備出高性能憶阻器陣列，成為我國率先實現憶阻器陣列大規模集成的重要基礎。基于憶阻器的新型存算一體架構近些年，隨著人工智能應用對計算和存儲需求的不斷提升，集成電路芯片技術面臨諸多新挑戰。一方面，摩爾定律“漸行漸遠”，通過集成電路工藝微縮的方式獲得算力提升越來越難；另一方面，計算與存儲在不同電路單元中完成，會造成大量數據搬運的功耗，增加延遲。如何用計算存儲一體化突破AI算力瓶頸，成為近年來國內外的科研熱點。過去很多年里，學術界和產業界探索了多種用于實現存算一體的硬件，憶阻器被認為是極具前景的器件之一。吳華強教授此前談到，基于憶阻器的新型存算一體架構，可以打破算力瓶頸，滿足人工智能等復雜任務對計算硬件的高需求。不過，想讓憶阻器陣列實現芯片的功能，還需解決器件、系統、算法等方面的瓶頸。吳華強表示，憶阻器固有的非理想特性，例如器件間波動、器件電導卡滯、電導狀態漂移等，會導致計算準確率降低；此外，在架構方面，憶阻器陣列實現卷積功能需要以串行滑動的方式連續采樣、計算多個輸入塊，無法匹配全連接結構的計算效率。從最新的研究成果來看，吳華強團隊似乎解決了這些困難。該團隊創新設計出適用于憶阻器存算一體的高效片上學習的新型通用算法和架構，研制出全球首顆全系統集成的、支持高效片上學習的憶阻器存算一體芯片。相同任務下，該芯片實現片上學習的能耗僅為先進工藝下專用集成電路（ASIC）系統的3%，展現出卓越的能效優勢，極具滿足人工智能時代高算力需求的應用潛力，為突破馮·諾依曼傳統計算架構下的能效瓶頸提供了一種創新發展路徑。吳華強介紹，存算一體片上學習在實現更低延遲和更低能耗的同時，能夠有效保護用戶隱私和數據。該芯片參照仿生類腦處理方式，可實現不同任務的快速“片上訓練”與“片上識別”，能夠有效完成邊緣計算場景下的增量學習任務，以極低的耗電適應新場景、學習新知識，滿足用戶的個性化需求。小結近幾年，人工智能技術的發展對算力的需求越來越高，同時傳統計算架構的瓶頸也越來越明顯，學術界和產業界都在積極探索新的發展模式來解決這一問題，存算一體技術憑借突出的能效比優勢脫穎而出。而在實現存算一體的各類器件中，憶阻器的先天優勢明顯。此次清華大學研制出支持片上學習的憶阻器存算一體芯片，意義重大。
5. 美國AI芯片出口管制再升級，A800/H800禁止對大陸出口，國產GPU發展勢在必行！
原文：https://mp.weixin.qq.com/s/1snqc5TKjPajcUz4ELIO6w10月17日，美國商務部工業與安全局（BIS）發布更新針對人工智能（AI）芯片的出口管制規定。該計劃不僅限制英偉達等公司向中國出口先進的AI芯片，還可能阻礙ASML、應用材料、泛林和KLA等向中國銷售和出口半導體制造設備。與此同時，BIS周二還在《聯邦公報》刊登了一份定于10月19日發布的行政措施，準備將13家中國公司添加到出口管制名單，即所謂的“實體清單”。其中包括北京壁仞科技開發有限公司、摩爾線程智能科技（北京）有限責任公司兩家中國GPU企業。英偉達A100 / A800 / H100 / H800 / L40 / L40S / RTX 4090等產品都將受限美國商務部長吉娜·雷蒙多（Gina Raimondo）稱，新措施填補了去年10月發布法規中的漏洞，并表示這些措施未來可能至少每年更新一次。她表示，美國限制的目標是阻止中國獲得先進的半導體，這些半導體可能推動中國人工智能和精密計算機的突破。去年10月，美國對出口中國的AI芯片實施帶寬速率限制。根據當時英偉達發布的公告，美國通知該公司向中國出口A100和H100芯片將需要新的許可證要求，同時DGX或任何其他包含A100或H100芯片的產品，以及未來性能高于A100的芯片都將受到新規管制。A100是英偉達2020年推出的數據中心級云端加速芯片，支持FP16、FP32和FP64浮點運算，為人工智能、數據分析和HPC數據中心等提供算力。H100是英偉達2022年推出的最新一代數據中心GPU，H100在FP16、FP32和FP64計算上比A100快三倍，非常適用于當下流行且訓練難度高的大模型。當時國內高端場景基本采用英偉達的A100，不少主流廠商也預定了計劃在2022年下半年發貨的H100。然而美國政府去年10月發布的法規，讓這些廠商在一些高端應用上面臨無合適芯片可用的局面。不過之后，英偉達向中國企業提供了替代版本A800和H800，用以解決美國商務部的半導體出口新規。根據美國商務部去年10月的發布的法規，主要限制的是顯卡的算力和帶寬，算力上線是4800 TOPS，帶寬上線是600 GB/s。英偉達新發布的A800的帶寬為400GB/s，低于A100的600GB/s，H800雖然參數未公布，但據透露只約到H100（900 GB/s）的一半。這意味著A800、H800在進行AI模型訓練的時候，需要耗費更長的時間，不過相對來說，也已經很好了。然而，盡管A800、H800對關鍵性能進行了大幅限制。但美國政府認為，H800在某些情況下算力仍然不亞于H100。為了進一步加強對AI芯片的出口管制，美國計劃用多項新的標準來替換掉之前針對“帶寬參數”（Bandwidth Parameter）提出的限制，盡管這已經大大降低了AI芯片之間的通信速率，增加了AI開發的難度和成本。根據新規，美國商務部計劃引入一項被稱為“性能密度”（performance density）的參數，來防止企業尋找到變通的方案，修訂后的出口管制措施將禁止美國企業向中國出售運行速度達到300 teraflops（即每秒可計算 3億次運算）及以上的數據中心芯片。新措施還旨在防止企業通過Chiplet的芯片堆疊技術繞過芯片限制。針對美國政府此次發布的新規，英偉達公司依規發布了8-K文件，對出口管制做出了解釋。英偉達稱，此次出口管制涉及的產品包括但不限于：A100、A800、H100、H800、L40、L40S 以及RTX 4090。任何集成了一個或多個以上芯片的系統，包括但不限于英偉達DGX、HGX系統，也在新規涵蓋范圍之內。此外，美國政府還將要求企業獲得向40多個國家/地區出售芯片的許可證，以防止中國企業從海外其他國家和地區獲得先進芯片。美國政府還對中國以外的21個國家提出了芯片制造設備的許可要求，并擴大了禁止進入這些國家和地區的設備清單。同時，美國還將13家中國公司添加到出口管制名單，其中，壁仞科技、摩爾線程兩家GPU企業在列。發展國產GPU等大算力芯片勢在必行美國政府此次對人工智能芯片的出口管制升級，對中國相關產業發展有何影響？中國主要的互聯網大廠、云服務廠商基本都依賴英偉達的GPU。尤其是近年來隨著ChatGPT的出圈，國內各大互聯網公司、AI企業都在大力自研AI大模型產品，這更是加大了對英偉達GPU的需求。由于去年A100就已經被禁，今年上半年各大互聯網廠商都在爭相采購A800。不過從目前的情況來看，新規對各大廠商短期的影響倒是不明顯。多家廠商對媒體表示，已經提前接到消息，不少廠商已經預先進行囤貨。一家服務器廠商的內部人士表示，公司囤了足夠的量。騰訊、百度等大廠也囤貨充足。一家上市公司17日晚間發布公告稱，其控股子公司向其供應商采購了75臺H800及22臺A800現貨。該公司對媒體表示，已經在兩周前就解決了這個問題。國內一些大模型創業企業也已經提前做了準備，比如智譜AI，該公司表示公司囤貨充足。不過依靠囤貨畢竟不是長久之計，有廠商表示，雖然吞了足夠的量，不過未來還是有很大壓力。美國此次新規的發布意味著其對我國算力的進一步遏制，這對如今備受重視的大模型的發展也將會有所限制。從長遠來看，國產GPU等大算力芯片的發展才是關鍵。事實上，過去這些年美國不斷升級出口管制，國內企業已經逐步傾向于采用***，國內的芯片企業也在政策的支持下，下游企業更多的采用下，技術和產品也得到更多迭代，發展越來越好。比如，智譜AI雖然屯了足夠的芯片，同時它也為配合國產GPU發展，同步落地GLM（通用語言模型）***適配計劃，可適配10余種***等。當前，國內已經有一些芯片可以支持大模型的訓練和推理，長此發展下去，未來的性能、生態也一定會越來越成熟。從美國此次新規將壁仞科技、摩爾線程等公司列入實體清單，可以看出美國對中國GPU芯片快速發展的擔憂。當然這也意味著，未來中國大算力芯片的進一步突破，也將面臨著更大的困難，這需要設備、制造等產業鏈各環節的同步升級。小結為了阻止中國先進技術的發展，美國無休止的實施出口管制。這確實在短期內阻礙了一些企業的發展，不過從過去幾年的情況來看，美國的出口限制，也進一步促進了中國芯片產業的發展。未來，中國企業也同樣會不斷進行探索，以應對美方的打壓。除了對中國企業造成影響之外，美方不當管制嚴重阻礙了各國芯片及芯片設備、材料、零部件企業正常經貿往來，嚴重破壞了市場規則和國際經貿秩序，威脅到全球產業鏈供應鏈穩定。美國自己的企業也損失巨大，比如英偉達，雖然該公司表示短期內財務業務新規影響較小，但是要知道其接近50%的收入來自中國，此次新規將幾乎阻斷英偉達大部分中國業務的開展。除此之外，因為美國的不當管制，其他國家的半導體企業也深受其害。
6. 超火迷你GPT-4視覺能力暴漲，GitHub兩萬星，華人團隊出品
原文：https://mp.weixin.qq.com/s/nG3otCtN1mwSHKXEw-0vxwGPT-4V來做目標檢測？網友實測：還沒有準備好。
雖然檢測到的類別沒問題，但大多數邊界框都錯放了。沒關系，有人會出手！那個搶跑GPT-4看圖能力幾個月的迷你GPT-4升級啦——MiniGPT-v2。
而且只是一句簡單指令：[grounding] describe this image in detail就實現的結果。不僅如此，還輕松處理各類視覺任務。圈出一個物體，提示詞前面加個 [identify] 可讓模型直接識別出來物體的名字。
當然也可以什么都不加，直接問~
MiniGPT-v2由來自MiniGPT-4的原班人馬（KAUST沙特阿卜杜拉國王科技大學）以及Meta的五位研究員共同開發。
上次MiniGPT-4剛出來就引發巨大關注，一時間服務器被擠爆，如今GItHub項目已超22000+星。
此番升級，已經有網友開始用上了~
多視覺任務的通用界面大模型作為各文本應用的通用界面，大家已經司空見慣了。受此靈感，研究團隊想要建立一個可用于多種視覺任務的統一界面，比如圖像描述、視覺問題解答等。
「如何在單一模型的條件下，使用簡單多模態指令來高效完成各類任務？」成為團隊需要解決的難題。簡單來說，MiniGPT-v2由三個部分組成：視覺主干、線性層和大型語言模型。
該模型以ViT視覺主干為基礎，所有訓練階段都保持不變。從ViT中歸納出四個相鄰的視覺輸出標記，并通過線性層將它們投影到 LLaMA-2語言模型空間中。團隊建議在訓練模型為不同任務使用獨特的標識符，這樣一來大模型就能輕松分辨出每個任務指令，還能提高每個任務的學習效率。訓練主要分為三個階段：預訓練——多任務訓練——多模式指令調整。
最終，MiniGPT-v2 在許多視覺問題解答和視覺接地基準測試中，成績都優于其他視覺語言通用模型。
最終這個模型可以完成多種視覺任務，比如目標對象描述、視覺定位、圖像說明、視覺問題解答以及從給定的輸入文本中直接解析圖片對象。
感興趣的朋友，可戳下方Demo鏈接體驗：https://minigpt-v2.github.io/https://huggingface.co/spaces/Vision-CAIR/MiniGPT-v2論文鏈接：https://arxiv.o?rg/abs/2310.09478GitHub鏈接：https://github.com/Vision-CAIR/MiniGPT-4參考鏈接：https://twitter.com/leoyerrrr
———————End———————
點擊閱讀原文進入官網
原文標題：【AI簡報20231020期】出自華人之手：DALL-E 3論文公布、上線ChatGPT！超火迷你GPT-4
文章出處：【微信公眾號：RTThread物聯網操作系統】歡迎添加關注！文章轉載請注明出處。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
RT-Thread
+關注
關注
31文章
1301瀏覽量
40265
原文標題：【AI簡報20231020期】出自華人之手：DALL-E 3論文公布、上線ChatGPT！超火迷你GPT-4
文章出處：【微信號：RTThread，微信公眾號：RTThread物聯網操作系統】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
Llama 3 與 GPT-4 比較
隨著人工智能技術的飛速發展，我們見證了一代又一代的AI模型不斷突破界限，為各行各業帶來革命性的變化。在這場技術競賽中，Llama 3和GPT-4作為兩個備受矚目的模型，它們代表了當前AI
科大訊飛發布訊飛星火4.0 Turbo:七大能力超GPT-4 Turbo
超過GPT-4 Turbo，數學能力和代碼能力更是超過了Open AI最新一代GPT模型GPT-4o。此外，其效率相對提升50%。
OpenAI推出新模型CriticGPT，用GPT-4自我糾錯
基于GPT-4的模型——CriticGPT，這款模型專為捕獲ChatGPT代碼輸出中的錯誤而設計，其獨特的作用在于，讓人們能夠用GPT-4來查找GPT-4的錯誤。
OpenAI API Key獲取：開發人員申請GPT-4 API Key教程
? OpenAI的GPT-4模型因其卓越的自然語言理解和生成能力，成為了許多開發者的首選工具。獲取GPT-4 API Key并將其應用于項目，如開發一個ChatGPT聊天應用，不僅是實踐人工智能技術
國內直聯使用ChatGPT 4.0 API Key使用和多模態GPT4o API調用開發教程！
1. 前言 ChatGPT-4o API 是 OpenAI 提供的強大工具，可用于自然語言處理和多模態任務。在國內直聯使用這些服務需要一些配置和技巧。本文將詳細介紹GPT-4o模型以及如何獲取
OpenAI 深夜拋出王炸 “ChatGPT- 4o”， “她” 來了
功能和實際應用。
GPT-4 turbo****的增強功能
ChatGPT-4o帶來了幾個值得注意的升級，增強了性能和可用性：
· 更快的響應時間和更高的準確性： 是客戶服務和其他快節奏環境中所
發表于 05-27 15:43
OpenAI推出面向所有用戶的AI模型GPT-4o
在周一的直播盛會上，OpenAI揭開了其最新的人工智能模型GPT-4o的神秘面紗。這款新模型旨在為其著名的聊天機器人ChatGPT提供更強大、更經濟的支持。GPT-4o是此前備受矚目的GPT-
OpenAI全新GPT-4o能力炸場！速度快/成本低，能讀懂人類情緒
電子發燒友網報道（文/李彎彎）當地時間5月13日，OpenAI舉行春季發布會，宣布將推出桌面版ChatGPT，并發布全新旗艦AI模型GPT-4
OpenAI計劃宣布ChatGPT和GPT-4更新
人工智能領域的領軍企業OpenAI近日宣布，將于5月13日進行一場產品更新直播，屆時將揭曉ChatGPT和GPT-4的新進展。這一消息立即引發了外界對OpenAI下一項重大技術發布的廣泛猜測和期待。
微軟Copilot全面更新為OpenAI的GPT-4 Turbo模型
起初，Copilot作為Bing Chat AI助手推出，初期采用GPT-3.5模型，隨后升級至GPT-4取得顯著進步，如今再次更新至性能卓越的GPT-4 Turbo模型，這無疑將使得
新火種AI|秒殺GPT-4，狙殺GPT-5，橫空出世的Claude 3振奮人心！
的GPT-4被拉下神壇， Claude 3很可能對GPT-4實現全方位的碾壓 。 Anthropic發布3個模型，全方位實現
OpenAI推出ChatGPT新功能：朗讀，支持37種語言，兼容GPT-4和GPT-3
據悉，“朗讀”功能支持37種語言，且能夠自主識別文本類型并對應相應的發音。值得關注的是，該功能對GPT-4以及GPT-3.5版本的ChatGPT均適用。此舉彰顯了OpenAI致力于“多模態交互”（multimodal capab
全球最強大模型易主，GPT-4被超越
近日，AI領域的領軍企業Anthropic宣布推出全新的Claude 3系列模型，其中包括最強版Claude 3 Opus。據該公司稱，Claude 3系列在推理、數學、編碼、多語言理
Anthropic推出Claude 3系列模型，全面超越GPT-4，樹立AI新標桿
近日，AI領域的領軍企業Anthropic震撼發布了全新的Claude 3系列模型，該系列模型在多模態和語言能力等關鍵領域展現出卓越性能，成功擊敗了此前被廣泛認為是全球最強AI模型的GPT-4
微軟封禁員工討論OpenAI DALL-E 3模型漏洞
瓊斯去年底在進行自主研究時，發現OpenAI的圖像生成模型DALL-E 3存在一個漏洞，漏洞利用者可以越過AI保護墻來制作色情內容。他將此情況報告給微軟和OpenAI，并發文警示這種攻擊可能給公眾帶來危害，要求他們暫停使用
工商網監
評論