Sam Altman@OpenAI, February 24, 2023

OpenAI的使命是確保AGI（通用人工智能）——通常來說是比人類更聰明的人工智能系統——造福全人類。

如果AGI被成功創造，此技術可提升人類能力、增加社會財富、推動全球經濟增長、發現全新科學知識進而追求無限可能。

AGI有潛力為每個人提供難以置信的新能力，可以想象這樣一個世界，任何人都可以在幾乎任何認知任務中獲得幫助，為人類的聰明才智和創造力提供巨大的能力放大器。

另一方面，AGI也會帶來嚴重濫用、重大事故和社會混亂的風險。由于AGI的優勢是如此之大，我們認為社會不可能或者不希望永遠阻止它的發展，相反，社會和AGI的創造者們必須弄清楚如何把它做好。盡管我們無法準確預測未來，當前的進展也可能陷入瓶頸，但我們還是要清楚地說明我們最關心的原則：

我們希望AGI能讓人類在宇宙中最大限度地繁榮。我們不期望未來變成糟糕的烏托邦，我們希望把有利因素的最大化，把不利因素的最小化，讓AGI成為人性良知的放大器。

我們希望AGI的益處、使用和治理能夠被廣泛和公平地共享。

我們希望成功應對巨大的風險。

在面對這些風險時，我們承認，理論上看似正確的事情，在實踐中往往表現得比預期的更奇怪。我們相信，我們必須不斷地學習和適應，部署功能較弱的技術版本，以盡量減少追求“一次做對”的場景。

短期

為迎接AGI的到來，我們認為有幾件事很重要，需要提前做好準備。

首先，隨著我們不斷創建更強大的系統，我們希望部署它們并獲得在現實世界中操作它們的經驗。我們相信這是小心管理AGI的最佳方式——逐步過渡到一個有AGI的世界總比突然發生要好。我們期待強大的人工智能使世界的進步速度更快，所以我們最好逐步適應這一點。

循序漸進的過渡讓人們、政策制定者和機構有時間了解正在發生的事情，親身體驗這些系統的優劣，調整我們的經濟結構，并實施監管。這使得社會和人工智能可以共同進化，并讓人們一起找出他們想要的東西，從而使風險降到較低水平。

我們目前認為，成功應對AI應用挑戰的最佳方式就是快速學習和小心迭代的緊密反饋循環。社會將面臨重大問題，包括允許人工智能系統做什么，如何對抗偏見，如何處理大規模失業等。最佳決策將取決于技術的發展道路，像任何新領域一樣，到目前為止，大多數專家的預測都是錯的。這使得在真空中進行計劃非常困難。

一般來說，我們認為在世界上更多地使用人工智能將帶來好處，并希望推廣它(通過將模型放在我們的API中，開源等)。我們相信，AI的平民化還將帶來更多更好的研究、分散權力、帶來更多福利，也會有更多的人可以貢獻新的想法。

隨著我們的系統越來越接近AGI，我們對模型的創建和部署變得越來越謹慎。我們的決策將需要比社會通常應用于新技術時更加謹慎，也比許多用戶希望的更加謹慎。人工智能領域的一些人認為AGI及其衍生系統的風險是虛構的，如果真是這樣，我們當然會很高興，但我們還是要將這些風險視為存在。

在某一時刻，部署的利弊（例如給予惡人以權力將造成社會和經濟混亂，加速不安全的競賽）之間的平衡可能會發生變化，在這種情況下，我們將大幅改變圍繞持續部署的計劃。

其次，我們正在努力創建越來越和人類價值觀對齊（align）、可操控的模型。從第一個版本的GPT-3到InstructGPT和ChatGPT的轉變就是一個這樣的例子。

特別是，我們認為重要的是，就如何使用人工智能全社會能在最廣闊的邊界上使用達成一致，但在這些邊界內，個人有很大的決定權。我們的最終希望是，世界各地的機構可以就這些廣闊的邊界是什么達成共識，短期內，我們計劃對一些外部輸入的做些實驗。各地的機構都需要增加額外的能力和經驗以為針對AGI的復雜決策做好準備。

我們產品的“默認配置”可能會受到很大限制，但我們計劃讓用戶更容易改變他們使用AI的行為。我們堅持賦予人自主決策的能力，堅信思想多樣性的內在力量。

隨著我們的模型變得更強大，我們將開發新的對齊技術（并通過測試來了解我們當前的技術何時失敗）。我們的短期計劃是使用人工智能來幫助人類評估更復雜模型的輸出并監控復雜系統，而長期計劃是使用人工智能來幫助我們提出更好的對齊技術的新想法。

重要的是，我們認為我們經常必須在人工智能安全和能力方面共同取得進展。分開討論它們是錯誤的，它們在很多方面都是相關的。我們最好的安全工作來自于與我們最有能力的模型合作。也就是說，安全進程與能力進程的同時成比例提高是很重要的。

再者，我們希望就三個關鍵問題展開全球性對話：如何管理這些系統，如何公平分配收益，以及如何公平使用。

除了這三個方面，我們還試圖構建一個架構使我們的激勵與良好的結果相匹配。在我們的章程中有一項條款是幫助其他組織提高安全性，而不是在AGI開發后期彼此競賽。我們對股東能夠獲得的回報規定了一個上限，這樣我們就不會受到激勵，不會試圖在沒有上限的情況為了追求高回報冒著高風險去部署一些可能導致災難性危險的東西（當然，這也是一種與社會分享利益的方式）。我們有一個非營利組織來管理我們，讓我們為人類的利益而運作（可以凌駕于任何營利性利益之上），包括讓我們在安全需要時取消對股東的股權義務，并贊助世界上最全面的UBI實驗。

我們認為，在發布新系統之前，像我們這樣的項目必須接受獨立審計，這一點很重要，我們將在今年晚些時候更詳細地討論這個問題。在某種程度上，在開始訓練未來系統之前進行獨立審查可能是很重要的，并且對于最先進的工作來說，應該限制用于創建新模型的計算機的增長速度。我們認為關于AGI工作何時應該停止訓練運行、確定發布模型是安全的，或者從生產使用中提取模型的公共標準是重要的。最后，我們認為重要的是，世界主要國家的政府應該對一定規模以上的模型訓練有所掌握。

長期

我們相信人類的未來應由人類決定，與公眾分享相關進展至關重要，應對所有試圖建立AGI的行為進行嚴格審查，并對重大決策進行公眾咨詢。

第一個AGI僅僅是智能發展進程的一個點，它會繼續進步，可能會在很長一段時間保持過去10年發展速度。如果這是真的，世界可能會變得與今天截然不同，風險可能會非常大。一個與人類相悖的超級智能可能會對世界造成嚴重的傷害，由超級智能領導的專制政權也會如此。

能夠加速科學進展的人工智能是一個值得研究的特例，可能比其他任何事情都更有影響力。有能力加速自身進程的AGI可能會導致重大變化出人意料地快速發生（過渡初期雖然發展很慢，到我們認為它也會在最后階段迅速進步）。我們認為更慢的起航更易保證安全，協調所有AGI相關工作在關鍵節點時減速可能是非常重要的（即使不需要解決技術與人類價值觀對齊問題，減速可能也是重要的，因為社會需要足夠的時間來適應）。

成功平穩過渡到一個擁有超級智能的世界也許是人類歷史上最為重要、最充滿希望、也是最可怕的工程。成功遠不能保證，唯有希望這場豪賭（無窮的利弊）將全世界人民團結起來。

我們可以想象這樣一個世界，在這個世界里，人類的繁榮超乎想象。我們惟愿為世界貢獻與這種繁榮相稱的AGI。

腳注：

1. 基于先前的預期，我們似乎得到了很多禮物：例如，似乎創建AGI需要大量的計算，這樣世界就知道誰在研究它，像超進化的RL代理相互競爭這樣的原始概念，以一種我們無法真正觀察到的方式進化出智能的可能性比最初看起來要小，幾乎無人預測到我們會在預先訓練的語言模型上取得如此大的進展，這些模型可以從人類的集體偏好和人性輸出等方面學習。

AGI可能在不久的將來發生，從初始AGI到更強大的后續系統的起飛速度可能很慢或更快。我們中的許多人認為這個2乘2矩陣中最安全的象限是短時間線和緩慢的起飛速度，較短的時間線似乎更易于協調，并且由于計算力緊缺，更有可能導致起飛速度變慢，而較慢的起飛讓我們有更多時間憑經驗弄清楚如何解決安全問題以及如何適應。?

2. 例如，當我們第一次啟動OpenAI時，我們并沒有想到擴展會像現在這樣重要。當我們意識到這將是至關重要的時，我們也意識到我們原來的架構是行不通的——我們根本無法籌集到足夠的資金來完成我們作為一個非營利組織的使命——所以我們提出了一個新的架構。

再舉一個例子，我們現在認為我們最初對開放性的看法是錯誤的，并且已經從認為我們應該發布所有內容（盡管我們開源了一些東西，并期望在未來開源更令人興奮的東西！）轉向認為我們應該弄清楚如何安全地共享系統的訪問和好處。我們仍然相信社會理解正在發生的事情的好處是巨大的，并且實現這種理解是確保所建立的東西是社會集體想要的最好方法（顯然這里有很多細微差別和沖突）。

審核編輯：黃飛

?