1. OpenAI DALL·E 3來(lái)了，集成ChatGPT，生圖效果太炸了

原文：https://mp.weixin.qq.com/s/P4HwP3VwzSnndD5LSt8pXw

終于，OpenAI 的文生圖 AI 工具 DALL-E 系列迎來(lái)了最新版本 DALL?E 3，而上個(gè)版本 DALL?E 2 還是在去年 4 月推出的。

OpenAI 表示，「DALL?E 3 比以往系統(tǒng)更能理解細(xì)微差別和細(xì)節(jié)，讓用戶(hù)更加輕松地將自己的想法轉(zhuǎn)化為非常準(zhǔn)確的圖像。」

2. GPT-4終結(jié)人工標(biāo)注！AI標(biāo)注比人類(lèi)標(biāo)注效率高100倍，成本僅1/7

原文：https://mp.weixin.qq.com/s/AwXljsdH1SG0qzNeYTaprA

3. Transformer+強(qiáng)化學(xué)習(xí)，谷歌DeepMind讓大模型成為機(jī)器人感知世界的大腦

原文：https://mp.weixin.qq.com/s/pp9viv9IfdiLMFXgy4h56A

• 第一，我們希望機(jī)器人系統(tǒng)能比人類(lèi)遠(yuǎn)程操作者更加熟練，利用硬件的全部潛力來(lái)快速、流暢和可靠地完成任務(wù)。
• 第二，我們希望機(jī)器人系統(tǒng)能更擅長(zhǎng)自動(dòng)積累經(jīng)驗(yàn)，而不是完全依賴(lài)高質(zhì)量的演示。

• 論文：https://q-transformer.github.io/assets/q-transformer.pdf
• 項(xiàng)目：https://q-transformer.github.io/

4. Transformer的上下文學(xué)習(xí)能力是哪來(lái)的？

原文：https://mp.weixin.qq.com/s/7eRwSwIE-X-qfjAsOCW1WQ

論文鏈接：https://arxiv.org/abs/2309.05858

• 概括了 von Oswald 等人的理論，并展示了從理論上，Transformers 是如何通過(guò)使用基于梯度的方法優(yōu)化內(nèi)部構(gòu)建的目標(biāo)來(lái)自回歸預(yù)測(cè)序列下一個(gè)元素的。
• 通過(guò)實(shí)驗(yàn)對(duì)在簡(jiǎn)單序列建模任務(wù)上訓(xùn)練的 Transformer 進(jìn)行了逆向工程，并發(fā)現(xiàn)強(qiáng)有力的證據(jù)表明它們的前向傳遞實(shí)現(xiàn)了兩步算法：(i) 早期自注意力層通過(guò)分組和復(fù)制標(biāo)記構(gòu)建內(nèi)部訓(xùn)練數(shù)據(jù)集，因此隱式地構(gòu)建內(nèi)部訓(xùn)練數(shù)據(jù)集。定義內(nèi)部目標(biāo)函數(shù)，(ii) 更深層次優(yōu)化這些目標(biāo)以生成預(yù)測(cè)。
• 與 LLM 類(lèi)似，實(shí)驗(yàn)表明簡(jiǎn)單的自回歸訓(xùn)練模型也可以成為上下文學(xué)習(xí)者，而即時(shí)調(diào)整對(duì)于改善 LLM 的上下文學(xué)習(xí)至關(guān)重要，也可以提高特定環(huán)境中的表現(xiàn)。
• 受發(fā)現(xiàn)注意力層試圖隱式優(yōu)化內(nèi)部目標(biāo)函數(shù)的啟發(fā)，作者引入了 mesa 層，這是一種新型注意力層，可以有效地解決最小二乘優(yōu)化問(wèn)題，而不是僅采取單個(gè)梯度步驟來(lái)實(shí)現(xiàn)最優(yōu)。實(shí)驗(yàn)證明單個(gè) mesa 層在簡(jiǎn)單的順序任務(wù)上優(yōu)于深度線性和 softmax 自注意力 Transformer，同時(shí)提供更多的可解釋性。

• 在初步的語(yǔ)言建模實(shí)驗(yàn)后發(fā)現(xiàn)，用 mesa 層替換標(biāo)準(zhǔn)的自注意力層獲得了有希望的結(jié)果，證明了該層具有強(qiáng)大的上下文學(xué)習(xí)能力。

5. 1.5T內(nèi)存挑戰(zhàn)英偉達(dá)！8枚芯片撐起3個(gè)GPT-4，華人AI芯片獨(dú)角獸估值365億

原文：https://mp.weixin.qq.com/s/GjG_OpzlAO7vGwOW7fmE-w

• 520MB片上SRAM內(nèi)存
• 65GB的高帶寬HBM3內(nèi)存
• 以及高達(dá)1.5TB的外部DRAM內(nèi)存

GPU的架構(gòu)非常嚴(yán)格，面對(duì)圖像、視頻、文本等多樣數(shù)據(jù)時(shí)可能不夠靈活，而SambaNova可以調(diào)整硬件來(lái)滿(mǎn)足工作負(fù)載的要求。

6. 十分鐘，深入淺出理解Transformer

原文：https://mp.weixin.qq.com/s/xtyP6cg6vROOXe1vlPEEew

1、首先，self-attention的輸入就是詞向量，即整個(gè)模型的最初的輸入是詞向量的形式。那自注意力機(jī)制呢，顧名思義就是自己和自己計(jì)算一遍注意力，即對(duì)每一個(gè)輸入的詞向量，我們需要構(gòu)建self-attention的輸入。在這里，transformer首先將詞向量乘上三個(gè)矩陣，得到三個(gè)新的向量，之所以乘上三個(gè)矩陣參數(shù)而不是直接用原本的詞向量是因?yàn)檫@樣增加更多的參數(shù)，提高模型效果。對(duì)于輸入X1(機(jī)器)，乘上三個(gè)矩陣后分別得到Q1,K1,V1，同樣的，對(duì)于輸入X2(學(xué)習(xí))，也乘上三個(gè)不同的矩陣得到Q2,K2,V2。

2、那接下來(lái)就要計(jì)算注意力得分了，這個(gè)得分是通過(guò)計(jì)算Q與各個(gè)單詞的K向量的點(diǎn)積得到的。我們以X1為例，分別將Q1和K1、K2進(jìn)行點(diǎn)積運(yùn)算，假設(shè)分別得到得分112和96。

3、將得分分別除以一個(gè)特定數(shù)值8（K向量的維度的平方根，通常K向量的維度是64）這能讓梯度更加穩(wěn)定，則得到結(jié)果如下：

4、將上述結(jié)果進(jìn)行softmax運(yùn)算得到，softmax主要將分?jǐn)?shù)標(biāo)準(zhǔn)化，使他們都是正數(shù)并且加起來(lái)等于1。

5、將V向量乘上softmax的結(jié)果，這個(gè)思想主要是為了保持我們想要關(guān)注的單詞的值不變，而掩蓋掉那些不相關(guān)的單詞（例如將他們乘上很小的數(shù)字）

6、將帶權(quán)重的各個(gè)V向量加起來(lái)，至此，產(chǎn)生在這個(gè)位置上（第一個(gè)單詞）的self-attention層的輸出，其余位置的self-attention輸出也是同樣的計(jì)算方式。將上述的過(guò)程總結(jié)為一個(gè)公式就可以用下圖表示：

self-attention層到這里就結(jié)束了嗎？還沒(méi)有，論文為了進(jìn)一步細(xì)化自注意力機(jī)制層，增加了“多頭注意力機(jī)制”的概念，這從兩個(gè)方面提高了自注意力層的性能。第一個(gè)方面，他擴(kuò)展了模型關(guān)注不同位置的能力，這對(duì)翻譯一下句子特別有用，因?yàn)槲覀兿胫馈癷t”是指代的哪個(gè)單詞。

第二個(gè)方面，他給了自注意力層多個(gè)“表示子空間”。對(duì)于多頭自注意力機(jī)制，我們不止有一組Q/K/V權(quán)重矩陣，而是有多組（論文中使用8組），所以每個(gè)編碼器/解碼器使用8個(gè)“頭”（可以理解為8個(gè)互不干擾自的注意力機(jī)制運(yùn)算），每一組的Q/K/V都不相同。然后，得到8個(gè)不同的權(quán)重矩陣Z，每個(gè)權(quán)重矩陣被用來(lái)將輸入向量投射到不同的表示子空間。經(jīng)過(guò)多頭注意力機(jī)制后，就會(huì)得到多個(gè)權(quán)重矩陣Z，我們將多個(gè)Z進(jìn)行拼接就得到了self-attention層的輸出：

上述我們經(jīng)過(guò)了self-attention層，我們得到了self-attention的輸出，self-attention的輸出即是前饋神經(jīng)網(wǎng)絡(luò)層的輸入，然后前饋神經(jīng)網(wǎng)絡(luò)的輸入只需要一個(gè)矩陣就可以了，不需要八個(gè)矩陣，所以我們需要把這8個(gè)矩陣壓縮成一個(gè)，我們?cè)趺醋瞿兀恐恍枰堰@些矩陣拼接起來(lái)然后用一個(gè)額外的權(quán)重矩陣與之相乘即可。

最終的Z就作為前饋神經(jīng)網(wǎng)絡(luò)的輸入。接下來(lái)就進(jìn)入了小編碼器里邊的前饋神經(jīng)網(wǎng)模塊了，關(guān)于前饋神經(jīng)網(wǎng)絡(luò)，網(wǎng)上已經(jīng)有很多資料，在這里就不做過(guò)多講解了，只需要知道，前饋神經(jīng)網(wǎng)絡(luò)的輸入是self-attention的輸出，即上圖的Z,是一個(gè)矩陣，矩陣的維度是（序列長(zhǎng)度×D詞向量），之后前饋神經(jīng)網(wǎng)絡(luò)的輸出也是同樣的維度。以上就是一個(gè)小編碼器的內(nèi)部構(gòu)造了，一個(gè)大的編碼部分就是將這個(gè)過(guò)程重復(fù)了6次，最終得到整個(gè)編碼部分的輸出。然后再transformer中使用了6個(gè)encoder，為了解決梯度消失的問(wèn)題，在Encoders和Decoder中都是用了殘差神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，即每一個(gè)前饋神經(jīng)網(wǎng)絡(luò)的輸入不光包含上述self-attention的輸出Z，還包含最原始的輸入。上述說(shuō)到的encoder是對(duì)輸入（機(jī)器學(xué)習(xí)）進(jìn)行編碼，使用的是自注意力機(jī)制+前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，同樣的，在decoder中使用的也是同樣的結(jié)構(gòu)。也是首先對(duì)輸出（machine learning）計(jì)算自注意力得分，不同的地方在于，進(jìn)行過(guò)自注意力機(jī)制后，將self-attention的輸出再與Decoders模塊的輸出計(jì)算一遍注意力機(jī)制得分，之后，再進(jìn)入前饋神經(jīng)網(wǎng)絡(luò)模塊。

以上，就講完了Transformer編碼和解碼兩大模塊，那么我們回歸最初的問(wèn)題，將“機(jī)器學(xué)習(xí)”翻譯成“machine learing”，解碼器輸出本來(lái)是一個(gè)浮點(diǎn)型的向量，怎么轉(zhuǎn)化成“machine learing”這兩個(gè)詞呢？是個(gè)工作是最后的線性層接上一個(gè)softmax，其中線性層是一個(gè)簡(jiǎn)單的全連接神經(jīng)網(wǎng)絡(luò)，它將解碼器產(chǎn)生的向量投影到一個(gè)更高維度的向量（logits）上，假設(shè)我們模型的詞匯表是10000個(gè)詞，那么logits就有10000個(gè)維度，每個(gè)維度對(duì)應(yīng)一個(gè)惟一的詞的得分。之后的softmax層將這些分?jǐn)?shù)轉(zhuǎn)換為概率。選擇概率最大的維度，并對(duì)應(yīng)地生成與之關(guān)聯(lián)的單詞作為此時(shí)間步的輸出就是最終的輸出啦！！假設(shè)詞匯表維度是6，那么輸出最大概率詞匯的過(guò)程如下：

以上就是Transformer的框架了，但是還有最后一個(gè)問(wèn)題，我們都是到RNN中的每個(gè)輸入是時(shí)序的，是又先后順序的，但是Transformer整個(gè)框架下來(lái)并沒(méi)有考慮順序信息，這就需要提到另一個(gè)概念了：“位置編碼”。Transformer中確實(shí)沒(méi)有考慮順序信息，那怎么辦呢，我們可以在輸入中做手腳，把輸入變得有位置信息不就行了，那怎么把詞向量輸入變成攜帶位置信息的輸入呢？我們可以給每個(gè)詞向量加上一個(gè)有順序特征的向量，發(fā)現(xiàn)sin和cos函數(shù)能夠很好的表達(dá)這種特征，所以通常位置向量用以下公式來(lái)表示：

最后祭出這張經(jīng)典的圖，最初看這張圖的時(shí)候可能難以理解，希望大家在深入理解Transformer后再看這張圖能夠有更深刻的認(rèn)識(shí)。

Transformer就介紹到這里了，后來(lái)的很多經(jīng)典的模型比如BERT、GPT-2都是基于Transformer的思想。我們有機(jī)會(huì)再詳細(xì)介紹這兩個(gè)刷新很多記錄的經(jīng)典模型。