最近關乎AI監管的觀點可謂有了“新高度”，一群AI大佬在推特上就“人類滅絕論”展開激烈討論。

正方辯手是以Hinton為代表的“AI有風險派”，反方代表是以吳恩達為核心的“AI積極論”。在這場辯論中，吳恩達更是聲稱“一部分人非常賣力地傳播AI擔憂其實只是為了“錢”。

究竟要不要AI監管？AI監管會帶來什么樣的后果？fast.ai的一群研究者們，開展了一項調查研究，采訪了70多名專家，并查閱了300多篇學術論文。最終形成結論：我們正處在AI啟蒙階段，嚴格的監管勢必要扼殺希望的萌芽。

以下是對fast.ai觀點文章“AI Safety and theAge of Dislightenment

”的原文，文摘菌做了不改變原意的編譯

編者注：這篇文章，還有一個目的，就是駁斥OpenAI的監管論“Frontier AI regulation:Managing emerging risks to public safety”

嚴格的AI模型許可和監管可能無法實現預期目標，甚至可能產生負面后果。這可能導致權力集中且不可持續，并可能抵消啟蒙時代的社會進步。

在保護社會和提高社會自我防衛能力之間，需要找到一個微妙的平衡點。我們應該采用開放的態度、保持謙遜并廣泛征求意見。隨著對具有改變社會的潛力技術的了解加深，有些應對策略也應該不斷調整。

人工智能（AI）發展迅速，我們目前還不知道它能走到哪里。OpenAI 的首席執行官 SamAltman 認為 AI 可能會“握住宇宙中一切未來價值的光芒”（capture the light cone of all future value in the universe）。但另一些專家警告說，AI可能會導致“滅絕風險”。

也有許多人提出了一些規范 AI 的方法，包括白皮書“前沿 AI 規制：管理公共安全的新興風險”（FAR），以及歐盟 AI 法案的議會版本，內容大致包含兩個部分：

1.為 AI 模型的開發和部署制定標準；

2.創建機制以確保符合這些標準。

然而，其他專家反駁說：“對存在風險（x-risk，指可能導致人類滅絕的風險）的關注如此之多，以至于它‘擠占了更緊迫問題的關注空間’，并對關注其他風險的研究人員產生了潛在的社會壓力。”

因此不禁要問：盡管當前的AI風險很重要，但人類滅絕的威脅是否意味著我們應該繼續實施這種監管呢？也許不應該。正如我們將看到的，如果 AI 真的足夠強大以至于構成災難性威脅，那么這個提議實際上可能無濟于事（文摘菌注：小雨不用打傘，大雨打傘沒用）。事實上，過嚴的提議可能會使事情變得更糟，例如創造嚴重的權力失衡，導致社會的瓦解。

有些擔憂針對的是：要監管AI 模型的開發階段全過程，而不只是監管模型如何被使用。而監管措施的影響可能無法逆轉，因此在立法前我們應該非常謹慎。

前沿 AI 規制（FAR）和 AI 法案試圖對“基礎模型”進行監管。這些基礎模型是通用 AI，它們能夠處理幾乎所有類型的問題，盡管成功程度可能因問題而異。

對于任何通用設備（例如計算機或鋼筆），無法確保它們永遠不會被用來造成傷害。因此，為了確保 AI 模型不被濫用，唯一的方法是：不讓別人直接使用這些模型。

另外，也可以將它們限制在一個受嚴格控制的有限服務接口上，如 ChatGPT是一個與 GPT-4 相連的接口，可以提供受限但可控的訪問權限。

如果我們現在為了“安全”而采取加強權力集中的監管措施，我們可能會抹殺啟蒙時代的成就，導致社會進入一個相反的新時代：the Age of Dislightenment（黯淡時代）。

與此相反，我們應該堅守啟蒙時代的開放與信任原則，例如支持開源模型的開發。開源通過廣泛參與和分享推動了巨大的技術進步。廣泛的參與意味著更多具備不同專業知識的人可以共同識別和應對潛在威脅，從而提高整體安全水平，這在網絡安全等領域已經被證實是有效的。

大問題

隨著 AI 能力的迅速發展，許多人開始尋求“保護”，也有很多人提供“保護”。正如那篇名為“前沿 AI 規制：管理公共安全的新興風險”的白皮書認為：政府的介入有助于確保這類“前沿 AI 模型”符合公共利益。

然而，我們是否能真正確保這一點，以及需要付出怎樣的代價？

同時，白皮書也沒有解決一個重要且明顯的問題：任何能夠獲取強大 AI 模型完整版本的人相較于那些只能通過受限服務訪問該模型的人，擁有更大的權力。當然，如果 AI 真的變得非常強大，這種巨大的權力差距將無法持續存在。

盡管從表面上看，推進的監管制度似乎滿足了各種安全要求，但最終這導致了大量權力被集中到既得利益公司（因為它們可以訪問原始模型），這些公司會利用信息不對稱優勢，試圖監管或限制政府，從而導致社會的瓦解。

原因如下：AI 模型實際上是通用計算設備，所以無法保證它們不會被濫用。這就好比試圖制造一臺無法被濫用的計算機（例如用于發送勒索郵件）。同樣，如果你給某人一個通用計算設備，你無法確保他不會利用它來造成傷害。這就像我們無法制造一臺不會被濫用的計算機。

如果某人控制了一個強大的模型，它負責處理所有信息的消費和生產，并且這個模型是保密的專有技術，那么他就可以塑造人們的觀念、影響人們的行為，并隨意審查內容。

監管政策最終使得那些不在“少數公司”工作的人無法接觸到最強大的 AI，這些公司的主導地位將因此得到鞏固。這對社會來說是一條極為危險且不穩定的道路。

競賽

行，現在設想一下，如果監管政策實現，我們社會將發生什么？

設想的前提：我們擁有世界上最強大的技術，并且它不斷快速發展，但只有少數大公司能訪問這項技術最強版本，并無限制地使用。

接下來，所有關心權力和金錢的人現在都迫切需要找到辦法獲得這些模型的完全訪問權限。因為，任何不能完全訪問這項歷史上最強技術的人都無法與之競爭。對他們來說好消息是，這些模型實際上只是一堆數字。它們可以很容易地被復制，一旦你擁有了它們，你就可以免費把它們傳給所有的朋友。（FAR 就此問題有一整個部分，稱為“擴散問題”。）

有很多專家擅長數據滲透，他們知道如何運用敲詐、賄賂、社會工程等非常有效的手段得到AI能力。對于那些不愿使用這些手段但有資源的人來說，他們也可以通過投資大約1億美元來獲得AI能力。即使是《財富》全球2000強中最小的公司也有70億美元的年收入，這樣的支出在他們的預算范圍內。當然，大多數國家政府也負擔得起這筆費用。然而，這些組織在不違反擬議中的監管要求的情況下，無法直接向公眾提供這些模型，但至少組織中的一些人將能夠獲得完整模型的力量。

那些渴望權力和財富但無法獲得AI模型的人現在有了新目標：努力進入擁有大型AI模型的組織的高層職位，或進入政府部門的高層，從而影響相關決策。

因此，一開始致力于為社會利益發展AI的組織，很快就會發現自己成為追求公司利潤的一環，因為所有公司在成長過程中都會加入這個競爭，并且領導這些公司的人都是追求利潤的能手。

TogetherComputer的最新成果

實際上，試圖控制AI使用的整個努力是毫無意義且無效的。不僅模型的“擴散”無法控制（因為數字信息很容易被泄露和復制），事實證明限制訓練模型計算量的措施也是不可能實施的。這是因為現在世界各地的人們可以在虛擬環境中聯合起來共同訓練一個模型。例如，Together Computer 創建了一個完全去中心化、開放、可擴展的AI云服務，最近的研究表明這種方法可以取得相當大的進展。

GPU即能用于訓練模型，也能用于玩電腦游戲。目前世界上用于玩游戲的計算能力比用于AI的計算能力要多。全球的游戲玩家只需在自己的計算機上安裝一個小軟件，就能選擇加入幫助訓練這些開源模型的行列。

換句話說，開發者們已經在思考如何確保普通人訓練這些模型。AI安全社區對這個問題非常了解，并提出了各種解決方案。例如，AI政策專家Yo Shavit最近的一篇有影響力的論文，研究了可以添加到計算機芯片的監控機制，指出：

“隨著先進的機器學習系統在地緣政治和社會秩序方面發揮越來越重要的作用，兩個方面可能變得尤為關鍵：第一，政府需要在其管轄范圍內對先進機器學習系統的發展進行規定；第二，各國需要能夠互相核實彼此是否遵守關于先進機器學習開發的未來國際協議（如果有的話）。”

解決這個問題，必須確保每個制造此類芯片的公司都在其芯片中加入監控功能。若有一家公司未實施此限制，所有想建立強大模型的人將選擇使用該公司的芯片。Shavit指出，在硬件層面全面執行這種規則需要監視和管控個人公民對其個人計算機的使用，這在道義上是極其不能接受的。

然而，現實是，要使集中化和控制有效，就需要這樣的規則，因為個人計算機只需通過互聯網連接就可以用來訓練大型模型。

當AI安全先驅Eliezer Yudkowsky建議空襲未授權數據中心并使用核武器威懾未被授權的國家確保合規時，許多人震驚了。實際上，轟炸數據中心和監視全球計算機是實現FAR提出安全合規的唯一方法。

管制用戶，不要發展

另一名為亞歷克斯·恩格勒的學者，提出了一種替代方法，與強制執行安全標準或許可模型不同，這種方法主張“規范有風險和有害的應用，而非開源AI模型”。這正是大多數法規的運作方式：通過追求責任。

例如，如果有人創建了一個通用工具，而別人用這個工具去做壞事，制造工具的人則不會承擔責任。

像互聯網、計算機和紙筆這樣的“雙重用途”技術，并不僅限于大公司使用，任何人都可以搭建計算機或制作自己的紙張。他們無需確保所建造的東西只能用于社會利益。

這是一個關鍵的區別：它區分了使用規定（即將模型實際應用于系統的部分，特別是像醫藥這樣的高風險系統），與發展（即訓練模型的過程）。

這個區別之所以關鍵，是因為這些模型實際上只是數學函數。它們將一堆數字作為輸入，計算并返回另一堆數字。它們本身并不做任何事情，它們只能計算數字。

然而，這些計算可能非常有用！

實際上，計算機本身也只是計算機器（因此得名“計算機”）。它們在使用時非常有用，因為能連接到某個可以真正發揮作用的系統上。

FAR同樣關注了模型開發與模型使用之間的區別，并聲稱AI能力的改進可能是不可預測的，在沒有進行密集測試之前很難完全理解。因此，如果監管并未要求在部署前對模型進行充分的測試，可能無法防止部署的模型帶來嚴重風險。

然而，這種推論并不成立，因為模型在未被使用時無法造成危害，所以開發模型本身并非有害活動。此外，由于我們討論的是通用模型，我們無法確保模型本身的安全性。只有在嘗試確保模型在使用過程中的安全性時，才有可能降低風險。

另一種有用的監管方法是考慮確保敏感基礎設施（如化學實驗室）的安全訪問。FAR簡要地考慮了這個想法，稱“對于前沿AI開發，特定領域的監管可能很有價值，但可能會遺漏一部分高嚴重性和規模風險。”但是，FAR沒有進一步研究。

如果我們開發先進AI，應期望它幫助識別需加固的敏感基礎設施。若利用這些設施可能有害，則很可能識別出它們，因為無法識別的AI也無法使用它們。

當然，處理一個已經識別出的威脅可能并不簡單；例如，如果一個臺式DNA打印機可以用來制造危險的病原體，那么加固所有該設備需要巨大的工作量。但這比限制全世界的計算設備要花費的成本小得多，也不那么具有侵入性。

這引導我們走向另一條有用的監管途徑：部署披露。如果你考慮將使用AI的自動化系統連接到任何類型的敏感基礎設施，那么應該要求披露這一事實。此外，某些類型的連接和基礎設施應該事先進行仔細的安全檢查和審計。這樣可以確保在應用AI技術時，對潛在的安全風險進行了有效的評估和管理。

走向集中化

更好的AI可以用來改進AI。這已經在早期能力較弱、資源較少的算法時代多次出現。谷歌已經利用AI改進了數據中心的能源利用方式，創造了更好的神經網絡架構，并為優化這些網絡中的參數開發了更好的方法。模型輸出已經被用來創建用于訓練新模型的提示、為這些提示創建模型答案以及解釋答案的推理過程。隨著模型變得更強大，研究人員將找到更多方法來改進數據、模型和訓練過程。

因此，我們沒有理由相信我們已經接近這項技術的極限。

那些能夠訪問完整模型的人可以比那些無法訪問的人，更快、更好地構建新模型。其中一個原因是他們可以充分利用強大的功能，如微調、激活以及直接學習和修改權重。例如，最近的一篇論文發現，微調允許模型用比基礎模型少幾個數量級的參數來解決具有挑戰性的問題。

這種反饋回路導致集中化：大公司變得更大，其他競爭者無法與之抗衡。這導致了集中化、競爭減少，致使價格上升、創新減少以及安全性降低。

其他強大的力量也在推動集中化。以谷歌為例。谷歌擁有地球上最多的數據。更多的數據直接導致更好的基礎模型。此外，隨著人們使用他們的AI服務，他們獲得了越來越多關于這些互動的數據。他們使用AI改進產品，使產品對用戶更具“粘性”，吸引更多人使用，從而獲得更多數據，進一步改進他們的模型和基于模型的產品。此外，他們正變得越來越垂直整合，他們制造自己的AI芯片（TPU），運行自己的數據中心，并開發自己的軟件…….

對前沿模型開發的監管加劇了集中化。特別地，未來AI監管（FAR）提出的許可制成為了推動集中化的有力因素。在這種制度下，希望建立與當前最先進技術同等或更優秀的模型的新參與者在獲得開發權之前，必須申請許可。這使得與已經穩固地位的參與者競爭變得更加困難。同時，這種制度為監管俘獲提供了一個強有力的途徑，因為它使得一個缺乏民主性的許可委員會在決定誰能夠開發地球上最強大的技術方面擁有最后的決定權。

開源與AI啟蒙的新時代

與尋求安全、控制和集中化的愿望相反，我們應該再次承擔幾百年前的風險，相信人類和社會的力量與善意。

正如啟蒙時代的思想家們提出了一系列具有挑戰性的問題，例如“如果每個人都接受教育會怎樣？如果每個人都有投票權會怎樣？”等，我們也應該思考這樣一個問題：“如果每個人都能獲得AI的全部能力會怎樣？” 這意味著我們應該勇于設想一個每個人都能充分利用AI能力的未來，并思考如何實現這一目標。

我們從啟蒙時代的成果中可以看出，這個前提是錯誤的。但這個觀念仍然頑固地存在。幾十年來，社會學家一直在研究和記錄“精英恐慌”：精英階層認為普通人會在災難面前表現糟糕，因此必須加以控制的傾向。然而，這也是錯誤的。事實上，正如麗貝卡·索爾尼特所言：“我認為這些危機時刻是人民力量和積極社會變革的時刻。

當我們面對AI誤用的威脅時，怎樣擁抱進步信念和所有人類的理性呢？許多專家現在正在研究的一個觀點是開源模型可能是關鍵。

模型只是軟件，它們是以代碼形式體現的數學函數。當我們復制軟件時，我們通常不稱之為“擴散”，因為這詞通常與核武器有關。當我們復制軟件時，我們稱之為“安裝”、“部署”或“共享”。由于軟件可以自由復制，它引起了一個龐大的開源運動，共享是一種道德善舉。既然所有人都可以受益，為什么要把價值限制在少數人身上呢？

這個觀點具有很大的影響力。如今，幾乎你使用的每一個網站都在運行一個開源的網絡服務器（如Apache），它又安裝在一個開源的操作系統上（通常是Linux）。大多數程序都是用開源編譯器編譯的，用開源編輯器編寫的。起初，這些被認為是瘋狂的想法，有很多懷疑者，但最后證明是正確的。簡單地說，如果沒有開源，今天使用的計算機和互聯網的很大一部分世界將無法存在。

如果最強大的AI模型是開源的會怎樣呢？仍然會有壞人想利用它們傷害他人或不正當地致富。但是大多數人并不是壞人。大多數人會使用這些模型來創造和保護。有什么比讓整個人類社會的巨大多樣性和專業知識都竭盡全力去識別和應對威脅，同時擁有AI的全部力量更安全的辦法呢？與只有一家營利性公司的少數人能完全訪問AI模型相比，如果全球頂尖的網絡安全、生物武器和社會工程學者都在利用AI的優勢研究AI安全，而且你可以自己訪問和使用他們的所有成果，你會感覺更安全嗎？

為了獲得完整模型訪問的更好功能，并減少商業控制在原本具有分享文化的開放研究社區中的程度，開源社區最近介入并訓練了一些相當有能力的語言模型。截至2023年7月，這些模型中最好的那個與第二梯隊較便宜的商業模型處于類似水平，但不如GPT-4或Claude。它們的能力正在迅速增長，并吸引了越來越多的捐助者、政府、大學和希望避免權力集中及確保獲得高質量AI模型的公司的投資。

然而，FAR中關于安全保證的提案與開源前沿模型是不相容的。FAR建議“在明確可行的安全部署之前，謹慎避免潛在的危險前沿AI模型被開源”。但即使一個開源模型以與監管批準的封閉商業模型完全相同的方式從完全相同的數據中訓練，它仍然無法提供相同的安全保證。這是因為作為通用計算設備，任何人都可以將其用于他們想要的任何目的，包括使用新數據集進行微調，并應用于新任務。

開源并不是萬能的解決方案。這仍然需要謹慎、合作和深入仔細的研究。通過使系統對所有人可用，我們確保整個社會都能從它們的能力中受益，但也可以努力理解和抵制它們潛在的危害。斯坦福和普林斯頓的頂尖人工智能和政策團隊聯合起來，回應了美國政府對人工智能問責的請求，并表示：

“為了推動公共利益，基礎模型的開發和部署應確保透明，支持創新，分配權力并最小化傷害... 我們認為，開源基礎模型可以實現這四個目標中的所有目標，部分原因是由于開源的內在優點（支持透明度，支持創新，反對壟斷）。”

此外，他們警告說：如果研究人員和技術人員無法檢查閉源模型，安全漏洞可能在造成傷害之前無法被發現... 另一方面，跨領域的專家可以檢查和分析開源模型，這使得安全漏洞更容易被發現和解決。此外，限制誰可以創建基礎模型將減少能力強大的基礎模型的多樣性，并可能導致復雜系統中的單點故障。

今天獲得開源模型的訪問權面臨嚴重的風險。歐洲人工智能法案可能會根據FAR中的類似原則有效地禁止開源基礎模型。技術創新政策分析師Alex Engler在他的文章“歐盟試圖規范開源人工智能是適得其反”的寫道：

如果監管委員會試圖對開源進行規范，可能會產生一系列復雜的要求，這將對開源人工智能貢獻者構成威脅，而不會改善通用人工智能（GPAI）的使用。開源人工智能模型為社會帶來了巨大價值，因為它們挑戰了大型技術公司對通用人工智能的主導地位，并幫助公眾了解人工智能的功能。

不傷害原則

AI政策專家Patrick Grady和Daniel Castro推薦不要急于采取監管行動：

“對新技術的恐懼遵循一個可預測的軌跡，被稱為‘技術恐慌周期’。隨著公眾熟悉技術及其好處，恐懼感會增加、達到高峰，然后隨著時間的推移逐漸減弱。事實上，其他先前在創意領域中的“生成型”技術，如印刷機、留聲機和電影攝影機也遵循了同樣的軌跡。但與今天不同的是，政策制定者不太可能采取措施來監管和限制這些技術。隨著對生成型AI的恐慌進入最不穩定的階段，政策制定者應該“深呼吸”，認識到我們正在經歷可預測的周期，并將直接加強生成型AI的任何監管努力暫時擱置。”

然而,監管者也許應考慮希波克拉底的醫學忠告:“先不要傷害”。醫療干預可能會產生副作用,治療方法有時可能比疾病本身更糟。一些藥物甚至可能損害免疫反應,使身體過于虛弱而無法抵抗感染。

監管干預也是如此。“確保安全”的中心化監管挾制不僅可能直接危害社會,還可能降低安全性。如果只有一個大型組織掌握了巨大的技術力量,我們就處于脆弱的境地,因為社會上其他力量無法取得同等的權力來保護自己。然而，爭權斗爭可能引發人工智能誤用，導致社會毀滅。

人工智能監管的影響微妙且難以預測。平衡社會保護和賦權難度大，過快監管難以成功。

我們還有時間。人類社會的綜合能力非常強大，超越它的AI還很遙遠。OpenAI的技術專家Ted Sanders和GSK的AI總監Ari Allyn-Feuer共同做了一項深入研究，得出的結論是：“我們估計到2043年實現具有變革性的通用人工智能（AGI）的可能性小于1%。”

時間過得越長,我們學到的就越多。不僅是關于技術方面,還有社會如何應對技術方面。我們不應匆忙實施可能讓社會步入無法擺脫的反烏托邦路線的監管變化。

對AI語言模型安全性的擔憂已經存在一段時間。2019年，我就OpenAI決定不公開新語言模型權重的事情寫過一篇文章。我引用了一篇名為《人工智能的惡意使用》的論文，其重要作者如今在OpenAI工作。論文有四個建議：

政策制定者和科研人員應共同防止AI的惡意使用；

AI研究人員和工程師需意識到他們工作的雙重用途；

應借鑒計算機安全等領域的最佳實踐應用于AI；

應擴大參與討論這些問題的人群。

《人工智能的惡意使用》論文由14個機構的26位作者共同撰寫，其首作者現在在OpenAI工作。論文的四條建議并非強調集中化和控制，而是互動和合作。有趣的是,作為FAR的共同創作者，那位跳到OpenAI的論文作者，和他的初心漸行漸遠。

FAR提醒我們注意防范AI的強大和潛在欺騙性，聲稱這可能引發AI接管的危險。我們可能因為安全感而做出一些行動，但需要冷靜和理智來應對這種可能的恐慌。

古希臘人警告我們不要因為過度的自信而制造出我們想要避免的未來。如果我們為了避免AI末日，過度控制技術，那么未來可能會變得像封建社會一樣，計算能力掌握在少數精英手中。我們需要避免像古希臘的故事人物那樣，因為過于自信而做出我們本來想要避免的事情。例如國王俄狄浦斯,被預言會殺死他的父親并娶他的母親,但由于設法避免這個命運而最終做了完全相同的事情。或者像荷里奧斯的兒子法埃頓,他對自己控制太陽戰車的能力如此自信,以致他避開了父親為他設定的道路,從而差點摧毀了地球。”

《人工智能的惡意使用》提倡一種基于謙遜的方法，即與專家和被技術影響的人協作，反復學習和磋商。這種方法能讓我們學習到計算機安全的關鍵理念：“通過隱蔽來確保安全”是無效的。網絡安全專家阿文德·納拉揚和薩亞什·卡普爾有篇文章列出了讓少數公司獨占AI技術的五大風險，包括：加劇安全風險；導致結果同質化；定義可接受言論的界限；影響態度和意見；監管俘獲。

我們是如何走到這一步的

我和其他用過GPT-4和Bard的人都對它們的功能感到驚訝，盡管有些錯誤，但它們可以提供各種主題的幫助。我每天都用它們做各種事，包括編程幫助和為女兒提供玩耍的想法。

就像FAR里解釋的:基礎模型,比如大規模語言模型(LLM),都是在大量的自然語言和其他文本(例如計算機代碼)數據集上訓練的,通常從簡單的預測下一個“記號（token）”的目標開始。這種相對簡單的方法產生了驚人的廣泛能力模型。因此,與許多其他類的AI模型相比,這些模型具有更多的通用功能。

FAR接著介紹：關注的重點是那些可能具有潛在危險的新興人工智能模型。在這個定義中，狹窄的模型（即那些只能在特定任務或領域中表現良好的模型）是被排除在外的，盡管這些模型在某些情況下可能具有危險潛力。

例如，有些模型專門用于優化化學合物的毒性或病原體的毒力，這可能會導致預期或可預見的危害。對于這類模型，更適合采用針對性的監管措施。

因此，作者提議“制定負責任的新興AI開發和部署的安全標準”，并“授權監管機構識別和懲處違規行為；或者通過許可證制度來部署和潛在地開發新興AI。”他們提議這樣做是為了“確保”這些模型“被用于公共利益”。

假設這些提議被接受并且這項法規被制定，那么接下來會發生什么呢？嗯，有兩種可能性：

1.AI能力的增長達到極限，因此盡管AI可能會成為一種非常重要的技術，但我們不會達到一種可能摧毀社會的超級智能，

2.AI繼續發展其能力，直到成為人類歷史上迄今為止最強大的技術力量。OpenAI的CEO Sam Altman的預測證明是準確的，即擁有這種技術的人可以“握住宇宙中一切未來價值的光芒”。

我們應該專注于（2），明確地說，沒有人確定這將會發生，但是長時間研究AI的人，認為這可能實現。

人類最強大的技術

由于“通用”或“基礎”模型（例如OpenAI的GPT-4、Google的Bard和Anthropic的Claude）的出現，我們現在處于“通用人工智能”（GPAI）的時代。這些模型是通用計算設備，它們可以回答（成功程度不同）幾乎任何你提出的問題。

隨著基礎模型變得越來越強大，我們應該期望研究人員會找到更多“使用AI改進數據、模型和訓練過程”的方法。目前的模型、數據集創建技術和訓練方法都非常簡單，基本的想法可以用幾行代碼實現。有很多相當明顯的方法可以大幅度改進現有技術，因此我們沒有理由相信我們已經接近技術的極限，我們應該期望在未來幾個月和年份內看到越來越快的技術發展周期。

但是，這些模型的訓練成本很高。由于技術進步，訓練相同大小的模型變得更便宜了，但是模型變得越來越大。訓練GPT-4可能需要花費大約1億美元。目前最強大的所有模型，包括GPT-4、Bard和Claude，都是由美國（分別是OpenAI、Google和Anthropic）和中國的大公司進行訓練的。

共同建設

已經有許多監管舉措落實，包括白宮科學技術政策辦公室的《AI權利法案藍圖》、國家標準與技術研究院的AI風險管理框架以及拜登的行政命令14091。

AI社區也開發了有效的機制來共享重要信息，例如數據集數據表、模型報告、模型卡和生態系統圖。監管可能要求數據集和模型包含關于它們是如何構建或訓練的信息，以幫助用戶更有效且安全地部署它們。這類似于營養標簽：雖然我們不禁止人們吃太多垃圾食品，但我們努力提供他們需要做出良好選擇的信息。歐盟提出的AI法案已經包括了對這種信息的要求。

我們還有許多事情要做，在變化迅速的AI世界里，需要保留未來選擇，避免過早決定路徑，同時迅速、知情地應對新的機遇和威脅，當然這需要各行各業廣泛參與。

政策決策者需要深入理解AI，而不只是聽取行業意見。如斯坦福大學的Marietje Schaake所說，我們需要避免CEO參與AI監管：

“想象銀行CEO告訴國會，由于金融產品復雜，銀行應自行決定防止洗錢和欺詐，這是荒謬的。歷史證明，企業自我監管是失敗的，它們既不獨立，也無法制定公平的監管規定。”

我們還應謹慎，不要讓有趣的科幻情景分散我們對即時真實危害的注意力。Aiden Gomez是transformers神經網絡架構的共同創造者，它為所有頂級語言模型提供動力，包括GPT 4，他警告說：

“這項技術存在真正的風險和使用方式需要被關注，但把大量時間用于討論關于超級智能AGI接管會導致人類滅絕的奇幻故事是荒謬的，這樣做只會分散公眾的注意力。我們應該關注真正的問題和討論。”

反啟蒙

如果我們不敢面對新的力量和不確定性，而是選擇回歸中央集權和限制權力的做法，那就是“反啟蒙”。這樣做會導致富者愈富、窮者愈窮。因為那些富者可以建立越來越好的模型，用于宣傳、威脅開發或者壟斷行業。窮人對社會的貢獻較小，因為他們只能通過有限且安全的方式接觸AI。

一旦走上這條路，回頭將變得困難，甚至可能是不可能的。科技政策專家指出，部署糟糕的解決方案（如不良監管措施）可能需要數十年才能撤銷，如果這對某些人有利，撤銷更為困難。

實現集權將導致富者和窮者的分化，富者擁有使他們更強大的技術。當權力和財富差異巨大時，渴望權力財富的人將控制它，歷史顯示只有暴力才能消除差異。約翰·肯尼迪曾說，阻止和平革命者讓暴力革命不可避免。隨著AI力量和監視體系的發展，暴力可能變得無效。如果真要走這條路，我們應清楚了解它將帶我們走向何方。

“啟蒙時代”的脆弱性

在大部分人類歷史中，未來令人恐懼、不安。我們應對的方式是將信任集中于更強大的個體來確保安全。多數社會將危險工具如教育和權力掌握在少數精英手中。

但是發生了變化，西方興起一種新想法：保證安全的另一種方式是相信整個社會的利益，而非權力精英。如果人人都能接受教育、投票和掌握技術？這是“啟蒙時代”的理念，盡管實現這一承諾需要幾個世紀的努力。

在自由民主國家生活的我們容易忘記這種制度的脆弱和稀有。然而，世界各地正滑向威權領導。正如赫爾曼·戈林所說，領導者可以左右民眾，只需告訴他們面臨攻擊。

明確一點：我們并未受到攻擊。現在不應放棄為平等和機會所取得的成果。雖然沒有人能保證安全，但我們可以共建一個使用AI并服務于所有人的社會。