從軍事戰略的重新調整到外交的重建，人工智能將成為世界秩序的關鍵決定因素。人工智能不受恐懼和偏袒的影響，為戰略決策帶來了新的客觀性可能性。但這種客觀性，無論是由作戰人員還是和平締造者掌握，都應該保留人類智慧的主觀性，而這對于負責任地行使武力至關重要。與其說人工智能是對未知事物的進一步發現，不如說它是對我們現有狀況的揭示。戰爭中的人工智能將揭示人類最美好和最壞的表現。甚至在實現重大突破之前，人們就會認識到人工智能在多大程度上既可以成為沖突的手段，又可以成為沖突終結者。

人類長期以來一直在努力構建越來越復雜的體系，以使任何國家都無法完全主宰其他國家，這一努力已成為一條連續不斷的自然法則。在一個主要參與者仍然是人類的世界里——即使配備了人工智能來通知、咨詢和建議他們——我們仍然應該享有一定程度的穩定性，這種穩定性基于參與者之間共同的行為準則，但會隨著時間的推移而不斷調整。

但是，如果人工智能成為一組實際上獨立的政治、外交和軍事實體，那么古老的權力平衡將被迫被一種新的、未知的不平衡所取代。民族國家的國際協調——過去幾個世紀實現的脆弱且內部不斷變化的平衡——部分是由于參與者的內在平等而得以維持。一個嚴重不對稱的世界——例如，如果一些國家比其他國家更容易接受人工智能進入政治領導地位——將變得難以預測。在某些人類可能與一個高度人工智能化的國家或人工智能本身在軍事或外交上對峙的情況下，人類似乎無力生存，更不用說競爭了。這樣的中間秩序可能會見證一個內部的社會內爆和外部沖突無法控制的爆發。

除了最低限度的安全保障，人類長期以來一直為追求勝利或捍衛榮譽而參與戰斗。但機器——目前——缺乏真正的勝利或榮譽概念。它們可能會發動一種人類歷史上獨一無二的戰爭。但人工智能會做出什么選擇？它們可能永遠不會發動戰爭，而是選擇（例如）立即、仔細劃分領土，并根據相對戰略優勢的復雜計算進行轉移？或者它們會——重視結果而不重視個人生命——陷入人類消耗戰？在一種情況下，人類可能會發生徹底的轉變，完全避免人類行為的殘酷性。在另一種情況下，我們會變得如此屈從，以至于回到野蠻的過去。

難道就沒有別的辦法了嗎？迄今為止，無論是耐心的外交努力還是令人震驚的戰爭恐怖，都未能永久地在人類（更不用說其他物種）心中植入對毀滅的厭惡。然而，在人工智能時代，永久和平的條件是否最終能夠實現呢？

間諜和破壞活動

各國在尋找確保技術安全的方法的同時，也在思考如何“贏得人工智能競賽。” 從某種程度上來說，這種反應是可以理解的。文化、歷史、交流和觀念共同造成了當今主要國家之間的外交局勢，加劇了各方的不安全和猜疑。人工智能是全球未來的一個主要特征，它在本已不穩定的組合中形成了一個低點，雙方都認為，增加戰術優勢可能對其長期利益具有決定性作用。

如果出于自我保護的本能，每個人類社會都希望最大限度地發揮其單邊地位，那么敵對軍事力量和情報機構之間的心理較量就會出現，而人類從未面臨過這樣的情況。今天，在第一個超級智能到來之前的幾年、幾個月、幾周和幾天里，一場生存性的安全困境正在等待著我們。任何擁有這種能力的人類行為者的第一個合乎邏輯的愿望可能是試圖保證單一的持續存在。任何這樣的行為者也可能默認合理地認為，其對手在同樣的不確定性和同樣的利害關系下，也會考慮采取類似的行動。

即使一個占主導地位的國家沒有發動戰爭，超級智能人工智能也可以顛覆、破壞和阻止競爭程序。例如，人工智能既可以以前所未有的威力增強傳統病毒，又可以以類似的徹底性偽裝它們。就像計算機蠕蟲 Stuxnet 一樣——據說這種網絡武器已經摧毀了德黑蘭五分之一的鈾在檢測到之前先對離心機進行攻擊——人工智能代理可以通過掩蓋其存在的方式破壞對手的進展，從而引導敵方科學家走上徒勞的調查之路。

具有獨特的能力，可以大規模操縱人類心理的弱點，它還可以劫持競爭對手國家的媒體，制造大量令人震驚的虛假信息，從而激起大眾對該國人工智能能力進一步發展的反對。或者，對于另一個國家的首席人工智能科學家，它可能會針對性和個性化通信，使他或她對個人悲傷的感受過于強烈，從而削弱有效領導的能力。

評估競爭狀況將更具挑戰性。目前最大的人工智能模型正在與互聯網其他部分斷開的安全網絡上進行訓練。一些高管認為，人工智能開發本身遲早會遷移到堅不可摧的堡壘中，這些堡壘中的超級計算機由核反應堆驅動。現在甚至有人正在海底建造數據中心。很快它們就可能被隔離在環繞地球的軌道上。企業或國家可能會逐漸“隱身”，停止發布人工智能研究成果，這不僅是為了避免讓惡意行為者得逞（如公開規定的那樣），也是為了掩蓋自己的建設進度（如私下打算的那樣）。為了扭曲其進展的真實情況，其他人甚至可能會故意發布誤導性的研究成果，并借助人工智能來制造令人信服的謊言。

這種科學詭計是有先例的：1942年，蘇聯物理學家格奧爾基·弗洛洛夫在注意到美國和英國突然停止發表有關原子裂變的科學論文后，正確地推斷出美國正在研制核彈。然而，如今，由于衡量智能等抽象事物的進展的復雜性和模糊性，這種競爭將變得更加難以預測。盡管有些人認為“優勢”與他們擁有的人工智能模型的大小相稱，但較大的模型并不一定在所有情況下都占優勢，也不一定總是勝過規模部署的較小、較差的模型。較小、更專業的人工智能機器可能會像一群無人機對抗航空母艦一樣運作——無法摧毀它，但足以抵消其大部分能力。

對于某些行為者來說，實現某種能力可以表明整體優勢。這種思路的問題在于，人工智能僅僅是指機器學習的過程，它不僅嵌入在單一技術中，而且嵌入在廣泛的技術中。因此，任何一個領域的能力可能由與另一個領域的能力完全不同的因素驅動。從這個意義上講，通常計算的任何“優勢”都可能是虛幻的。

此外，正如近年來人工智能能力的指數級和不可預見的爆炸式增長所表明的那樣，進步的軌跡既不是線性的，也不是可預測的。展望未來，專家們對人工智能的未來仍存在分歧。超級智能的發展：這僅僅是擴大和實施現有學習基礎設施的問題，還是超級智能需要額外的創造力和科學創新？可以想象，從狹義智能到通用智能再到超級智能的轉變可能會在沒有明顯進化跡象的情況下完成——特別是如果人類沒有形成統一的尋找目標的概念。即使可以說一個參與者“領先”另一個參與者大約幾年或幾個月，關鍵領域在關鍵時刻的突然技術或理論突破可能會顛覆所有參與者的地位。

在這樣一個世界里，沒有哪個領導者能夠相信他們最可靠的智慧、最原始的本能，甚至現實本身的基礎，任何真正的超級智能競爭者都不應該因為從極度偏執和懷疑的角度采取行動而受到指責。毫無疑問，領導者已經在做出決定時，假設他們的努力受到監視或隱藏著惡意影響造成的扭曲。在最壞的情況下，任何處于前沿的參與者的戰略考量都是優先考慮速度和保密性，而不是安全。由于人類感知無法檢測或防御人工智能的壓制企圖，人類領導者可能會陷入一種恐懼之中，即沒有第二名。迫于壓力，他們可能會過早加速部署人工智能，以威懾外部破壞。

如今，我們仍然處于一種不由自主的無知之幕之后。人工智能主導地位之爭的最終贏家（如果可以定義贏家的話）尚不清楚。每家追求領先地位的企業都是潛在的競爭對手。這種不確定性會產生不穩定因素。

傳統上，新大國崛起后，必然要經歷一場血腥的爭奪，然后對手才能達成至少各方都能接受的新現狀。然而，在一個因人工智能而迅速重構的核武器世界里，可能沒有機會通過既定的戰爭原則和手段來驗證新的共識。

如果勝者的身份確實明確，單純的競爭可能會演變為絕望和恐懼所驅動的沖突。在這種情況下，確定性可能比預防措施更不穩定。總而言之，完美的威懾加上無限的速度和最大的準確性意味著徹底的勝利。歷史上對武力壟斷的追求通常會導致其他人的暗中計劃隨之而來。當在一個不穩定平衡的世界背景下考慮這些能力時，一些國家可能會認為人工智能的出現足以威脅到需要進行核回應。在避免了常規戰爭之后，人工智能會把我們拖回核戰爭嗎？

在以往的軍備競賽中，進化本能與發明者之間的競爭相結合，使得創建和操作旨在保護本土社會的工具。在這里，防御性人工智能系統也可以抵消對手的攻擊，例如通過更新目前易受攻擊的軟件和其他系統，或者，如果負責監視競爭程序，則通過充當預警系統。然而，在這種情況下，新的威脅——人工智能生物武器、突然的核擴散，甚至是失調的人工智能本身——可能會如此迅速和悄無聲息地出現，造成如此大的破壞，以至于搶占任何反應的先機。

盡管我們可能還沒有進入這樣的時刻，但應該提前做好準備，以應對人工智能時代的生存競爭及其伴隨的風險。一個意志堅定或絕望的行動者，擁有次要但相當大的實力，將警惕更強大的人工智能。如果這個次要行動者感知到——即使是錯誤的——占主導地位的對手已經掌握了全面的能力，它可能會發動先發制人的電子或物理打擊，引發難以想象的升級和報復循環，以及相互毀滅的可能性不斷上升。

至少就目前而言，我們的不確定性中有一線希望。模糊性可能是培養對話的沃土。由于不確定今天做出的人工智能決策會給任何一個國家或團體帶來什么好處或壞處，全球領導人有機會就人類集體生存的基礎展開討論。

應對緊急情況

如果未來是一場爭奪單一、完美、無可爭議的主導智能的競爭，那么人類很可能要么在多方競爭中失去對生存競賽的控制，要么遭受不受傳統制衡約束的勝利者行使最高霸權。獲勝的差距越小，人類誤判的可能性就越大。

單極可能是一條可以最大程度降低滅絕風險的途徑。如果現有的領先者能夠將其領先優勢擴大到其他實體認為不可能縮小的閾值，那么確保一定程度的穩定可能會更加確定。至少在一段時間內，世界秩序的基礎——不斷追求平衡力量之間短暫而脆弱的平衡——可能不再可取。

或者，也許可以——盡管這取決于人類自然本能的抑制——在競爭實體之間達成協議，以確保商定的合作期限，甚至將處于領先地位的多個競爭努力合并為一個單一的企業。但要實現跨越地緣政治和商業敵對狀態的統一，需要非凡的勇氣和遠見。任何在前線或前線附近的行為者都希望被納入勝利的行列。在這一主要類別中，優柔寡斷或仍處于落后地位的行為者自然會取得勝利參與該協議的其他國家將獲得最大利益，從而占據優勢地位，獲得同等地位，并可能領先。相比之下，其他主要國家可能會發現犧牲自己的領先地位是無法忍受的，他們對利他主義的信任可能過于脆弱，無法抵擋徹底背叛的誘惑。

類似的選擇是通過談判分配和授權權力。當確信勝利在即時，處于最有利位置的一方可能會試圖說服對手投降，保證他們有權使用超級人工智能。但人類對同胞的承諾從來都不是永遠的，更不用說對前對手的承諾了。如果人類克服一切困難達成這樣的協議，那么如何實施它還遠不清楚。

事實上，僅僅將知識“島嶼”上最尖銳的山峰聚集起來，可能會加劇其整合最初旨在防止的動態。人類歷史上還沒有出現過這樣的嘗試，更不用說成功的記錄了。此外，這樣的安排需要對外交戰略進行重大調整。從歷史上看，世界秩序的基礎是通過不斷追求平衡力量的微妙平衡來維持的。相比之下，民族國家將追求一種人類實踐中很少見的霸權停滯狀態。占主導地位的國家集團可能是人工智能系統的最初創造者和其最關鍵部件的供應商，以及開發和改進人工智能的人才的生產者。非主導多數派可能會被降為附庸國，提供數據和其他商品，并獲得一定程度的人工智能發現、治理系統和防御能力。

無論如何，這種情況既不是我們的偏好，也不是我們的預測。相反，我們相信世界上將不僅僅存在一種至高無上的人工智能，而是存在多種超級智能實例。在這種情況下，將出現一組不同的可能未來。我們最強大的創造物作為制衡力量，可能比人類更有能力在全球事務中發揮和維持平衡，這種平衡受到人類先例的啟發（但不受限制）。因此，非人類智能至少在國家安全和地緣政治領域可以管理自己的出現。

但人工智能能否實現可持續的統治權劃分？有可能。外交談判在人類情感和心理的層層掩映之下，其核心是一種應用博弈論，而博弈論本身又是數學的一個分支。即使外交實踐起源于一種藝術形式（盡管是人類行為領域獨有的），它也可能逐漸演變成一門科學。在確定和尋求妥協機會方面，它可以超越人類外交的復雜記錄。西方早期的人工智能模型已經顯示出在應用戰略方面的巨大潛力，至少在游戲玩法方面是如此，而中國則更進一步，利用人工智能來機器智能履行人類外交官的職責。

人類的外交傳統始于在社會之間安全可靠地傳遞信息的簡單需求。漸漸地，遠方的使節開始享受特殊待遇，而違反新規范的國家很少能逃脫制裁。當薛西斯的代表要求希臘城邦做出臣服的象征時，波斯外交官被扔進坑里和井里。希羅多德記載，諸神后來會因為這一行為懲罰斯巴達。大約十七個世紀后，當一位蒙古高級外交官按照波斯沙阿的命令被處決時，成吉思汗命令他可怕的部落摧毀整個花剌子模帝國作為報復。盡管如此，保持溝通渠道暢通已成為一種習慣，即使在戰爭時期也是如此；隨著時間的推移，人們形成了一項基本共識，即傾聽信息比殺死信使更好。

如果人工智能在它們之間進行外交，它們可能會被有意訓練接受相同的習俗，或者它們可能會偶然產生偏向，偏向于這些習俗所保證的額外信息。當然也會有異常情況。雖然可能不會有人被解雇，但機器可能會找到一種同等的方式來追求它們狹隘的利益。在這里，如果人類能夠接受，它們的完全理性可能會增加至少更安全開端的可能性。

然而，為人類的基本問題（如外交和安全）提供機器解決方案將自然而然地導致對人工智能能力的進一步依賴——如果人類必須果斷干預國際事務，這種依賴很難被打破。至少人類的治國方略，無論應用得多么不完美，都迫使我們對自己的選擇負責。相比之下，選擇依賴人工智能可能會降低我們對基本人類判斷的信任能力，而在我們更可預測但原始的過去，我們可以依靠這種判斷可靠地生存。

為什么要冒這樣的風險？一方面是為了避免相互毀滅的競爭困境或超級智能出現帶來的霸權，另一方面也是為了保護我們自己免受其他即將出現的威脅。隨著每一年的過去，隨著每一項新技術的突破，摧毀整個人類社會的最低門檻都在降低。

北歐神話講述了神奧丁和王后弗麗嘉的兒子巴德爾的故事，他被關于他們的兒子即將遭受慘死的預言所驚嚇。弗麗嘉女王決心保護他免受未來的命運，她不知疲倦地走遍了地球上的九個王國，對每一種動物、元素、植物和瘟疫施展強大的魔法，這樣就沒有人能用來對付他了。但是偽裝成老婦人的騙子神洛基從女王那里騙來了一個信息，說她的神圣保護斗篷覆蓋了地球上的所有東西，除了槲寄生，最無害的雜草。在慶祝巴爾德爾的豁免權，諸神為了炫耀女王的精湛技藝，輪流向他發射各種武器。然而，洛基強迫他的盲人兄弟霍德爾射出一支帶有槲寄生的箭，刺穿了巴爾德爾的胸膛，用瓦爾哈拉唯一不受女王全面監護的物體殺死了他。

這句古老神話對于我們現代困境的意義簡單而又令人不寒而栗：隨著威脅變得越來越模糊和復雜，人類對它們的防御必須更加完美，因為最輕微的錯誤或疏忽都可能導致失敗。而要達到這種完美程度，我們很可能需要人工智能的幫助。

因此，要決定哪種風險較低，因此應該優先考慮：在人工智能發展中生存下來，在合成生物學出現等其他平行革命中生存下來，還是在劇烈氣候變化等潛在災難中生存下來。誠然，小型人工智能可能會協助魯莽地發明現有技術；即使這些新手段的創造者本身受到完美和適當的監管，其他人也可能不那么謹慎，危害更大。但大型人工智能可以幫助防御同樣的技術，使戰術防御決策真正完美。

例如，如果開發出個性化的生物防御系統，即人工智能納米機器人將被部署在我們的血液中，以清除任何未能匹配公認的生物特征——將比我們以前對生物威脅的反應更敏捷。同樣，人工智能可能會產生新材料和新工藝來減少碳排放，降低氣候災難的風險。

毫無疑問，讓人工智能承擔其誕生之初的物種和社會的早期和持續責任是有風險的，但傳統的路徑要求人類表現完美，風險可能更大。在我們目前看來，最好的辦法是讓人工智能在人類不得不面對新的生存威脅擴散之前而不是之后發揮作用。根據這一假設，適當的問題是：人類如何才能加速人工智能理想的路徑，同時延緩不理想的路徑？

人工智能是一種不加選擇的不穩定力量；如果不加以控制，它的出現會給其創造者和使用者帶來同樣大的風險。這恰恰可能迫使最初不情愿的競爭對手考慮原本不切實際的協議。我們認為，在外交、國防和其他領域，只有人工智能本身才能成功管理人工智能的一些風險。潘多拉魔盒已經打開；即使沒有打開，人工智能的好處似乎仍然大于風險。

因此，我們認為，我們的“脆弱世界”（借用尼克博斯特羅姆的話）很可能需要人工智能的干預，才能應對人工智能技術發展帶來的一些挑戰和威脅。問題依然存在：人類必須如何行動當我們面對一個同時要求和禁止我們繼續控制的未來時？

戰爭的新范式

在人類歷史上，戰爭幾乎都是在特定的空間內進行的，人們可以相當確定地知道敵方軍隊的能力和位置。這兩種屬性的結合為雙方提供了一種心理安全感和共識，使他們能夠明智地克制殺傷力。只有當開明的領導人對戰爭可能如何進行的基本理解統一時，敵對勢力才能控制是否應該進行戰爭。

速度和機動性一直是決定任何軍事裝備能力的最可預測因素之一。早期的例子就是大炮的發展。狄奧多西城墻建成后，在一千年的時間里，它保護了君士坦丁堡這座大城市免受外來入侵。后來，在 1452 年，一位來自匈牙利王國（當時受拜占庭宗主權管轄）的炮兵工程師向君士坦丁十一世皇帝提議建造巴西利克大炮，這是一門從防御墻后發射的巨型大炮，可以粉碎外來入侵者。但這位自滿的皇帝既沒有物質手段，也沒有遠見認識到這項技術的重要性，因此拒絕了這項提議。

不幸的是，這位匈牙利工程師原來是一名政治雇傭兵：他改變了策略（和立場），將設計升級為更機動的——至少需要 60 頭牛和 400 人才能運輸——并接近皇帝的對手、土耳其奧斯曼帝國蘇丹穆罕默德二世，后者正準備圍攻這座堅不可摧的堡壘。這位富有創業精神的匈牙利人聲稱這門火炮可以“摧毀巴比倫城墻”，贏得了這位年輕蘇丹的興趣，并幫助土耳其軍隊在 55 天內攻破了古老的城墻。

這場 15 世紀戲劇的輪廓在歷史上一再出現。在 19 世紀，速度和機動性首先改變了法國的命運，拿破侖的大軍壓倒了歐洲，然后又改變了普魯士的命運，在赫爾穆特·馮·毛奇（老）和阿爾布雷希特·馮·羅恩的領導下，他們利用新開發的鐵路并采用分布式控制來實現更快、更靈活的機動。同樣，閃電戰——德國軍事原則的演變——將在第二次世界大戰中用于對抗盟軍，產生了巨大而可怕的效果。

在數字戰爭時代，“閃電戰”有了新的含義，也無處不在。速度是瞬時的。攻擊者無需犧牲殺傷力來維持機動性，因為地理位置不再是制約因素。盡管這種組合在很大程度上有利于數字攻擊中的進攻，但人工智能時代可能會看到攻擊速度的提高并重新啟用與網絡攻擊相稱的網絡防御。

在動能戰爭中，人工智能將引發另一次飛躍。例如，無人機將非常快速，機動性超乎想象。一旦人工智能不僅用于引導一架無人機，還用于操控一隊無人機，無人機云將形成并同步飛行，形成一個單一的、有凝聚力的集體，同步性完美無缺。未來的無人機群將毫不費力地解散并重組為各種規模的單位，就像精英特種作戰部隊由可擴展的分隊組成一樣，每個分隊都能夠獨立指揮。

此外，人工智能將提供同樣快速靈活的防御。用傳統炮彈擊落無人機艦隊是不切實際的，甚至是不可能的。但人工智能槍支發射光子和電子（而不是彈藥），可以重現與太陽風暴相同的致命致殘能力，太陽風暴可以燒毀暴露衛星的電路。速度和機動性將再次超越人類的能力——并且可能在防守和進攻上持平。

由于速度和機動性不再是決定變量，競爭實體之間的能力差距現在將取決于精確度、直接影響和戰略應用。

人工智能武器將達到前所未有的精確度。長期以來，對手地理知識的局限性限制了人工智能武器的能力和意圖。任何敵對一方都無法做到這點。但科學與戰爭的結合已經確保了我們儀器的準確性不斷提高，而人工智能有望再次取得突破——甚至多次。因此，人工智能將縮小初衷與最終結果之間的差距，包括在致命武力的應用方面。無論是陸基無人機群、部署在海上的機器軍團，還是可能的星際艦隊，機器都將擁有高度精確的殺傷人類的能力，幾乎沒有不確定性，而且影響無限。潛在破壞的界限將只取決于人類和機器的意志和克制。

因此，人工智能時代的戰爭將主要歸結為評估對手的能力，而不是對手的意圖及其戰略應用。在核時代，從某種意義上說，我們已經進入了這樣的階段——但隨著人工智能證明其作為戰爭武器的價值，其動態和重要性將得到更清晰的關注。因此，關鍵問題是：人工智能指揮官想要什么和需要什么？

由于涉及如此寶貴的技術，人類不太可能被視為人工智能戰爭的主要目標。事實上，人工智能可以完全取代人類作為戰爭中的代理人，使戰爭不那么致命，但可能不會削弱決定性。同樣，領土本身似乎不太可能激起人工智能的侵略——但數據中心和其他關鍵數字基礎設施肯定會。（超級計算機可能會被隱藏起來，情報存儲分散，以確保有更大的機會進行作戰連續性并防御機械的“斬首打擊”。

因此，投降不會發生在對手人數減少、武器庫空無一物時，而是發生在幸存者的硅盾無法挽救其技術資產，最終無法挽救其人類副手時。戰爭可能演變成一場純粹的機械死亡游戲，決定因素是人類（或人工智能）的心理力量，他們必須冒險一試，或者放棄以阻止徹底毀滅的突破時刻。

甚至新戰場的主導動機在某種程度上也是陌生的。GK 切斯特頓告訴我們“真正的士兵戰斗不是因為他憎恨眼前的一切，而是因為他熱愛身后的一切。” 15人工智能戰爭不太可能涉及愛或恨，更不用說士兵勇敢的概念了。另一方面，它可能仍然包含自我、身份和忠誠——盡管這些身份和忠誠的性質可能與今天不一致。

戰爭中的算計總是相對簡單的：哪一方首先發現對手的威力所造成的折磨是無法忍受的，哪一方就會被征服和改變，然后也許才會進行談判。對自己缺點的認識可靠而自然地產生了克制。如果沒有這樣的認識，也沒有痛苦的感覺（因此無法完全忍受痛苦），人們不禁會想，到底是什么會促使人們在戰爭中克制自己。被引入戰爭的人工智能，以及它所引發的沖突將以何種結局收場。如果下棋的人工智能從未被告知游戲結束的規則，它會下到最后一個棋子嗎？

地緣政治重組

在人類的每個時代，幾乎就像遵循某種自然法則一樣，正如我們中的一個人曾經說過的，會出現一個整體，“它擁有力量、意志以及智力和道德動力，能夠按照自己的價值觀塑造整個國際體系”。在該實體出現后，其他單位以新的方式相互聯系，在危機時期建立不可預測的依賴關系，并不斷威脅到地緣政治力量平衡。在某些情況下，由此產生的系統顛覆了現有的權威；在其他情況下，它鞏固了這些權威。

人類文明最熟悉的安排是傳統意義上的威斯特伐利亞體系。然而，主權民族國家的概念只有幾個世紀的歷史，它起源于十七世紀中葉統稱為《威斯特伐利亞和約》的條約。它不是預定的社會組織單位，可能不適合人工智能時代。事實上，隨著大規模虛假信息和自動歧視引發人們對這種安排失去信心，人工智能可能構成一個固有的挑戰國家政府的權力。使問題更加復雜的可能是心理迷失和可能逃避現實，本書前面已經詳述過。或者，人工智能可能會重置當今體系中競爭對手的相對地位。如果人工智能的力量主要由民族國家自己掌握，人類可能會被迫走向霸權停滯，或者走向人工智能賦權的民族國家的新平衡。但它也可能成為更根本轉變的催化劑——轉向一個全新的體系，在這個體系中，國家政府將被迫放棄其在全球政治基礎設施中的核心作用。

一種可能性是，擁有和開發人工智能的公司將獲得全面的社會、經濟、軍事和政治權力。當今的政府被迫應對其作為私營企業的東道主和啦啦隊的艱難地位——借出其軍事力量、外交資本和經濟實力來促進其本土利益——同時還要支持那些對壟斷貪婪和保密心存疑慮的普通人。這可能是一個站不住腳的矛盾。而且，正如本書前面所詳述的那樣，人工智能的出現將使任何既定機構的治理變得更加困難。

與此同時，企業可以結成聯盟，鞏固其本已相當強大的實力。這些聯盟可以建立在互補優勢和合并利潤的基礎上，也可以建立在開發和部署人工智能系統的共同理念上。這些企業聯盟可能會承擔傳統民族國家職能，但它們并不尋求界定和擴大有邊界的領土，而是培育分散的數字網絡作為自己的領域。

還有另一種選擇。不受控制的開源傳播可能會催生出規模較小的幫派或部落，這些幫派或部落擁有低于標準但相當強大的人工智能能力，足以在有限的范圍內管理、供養和保護自己。在那些拒絕既定權威、支持分散金融、通信和治理的人類群體中，原始無政府狀態可能會勝出。或者這樣的群體可能會包含宗教層面，也許是由上一章探討的人工智能和神性概念之一驅動的。畢竟，就影響力而言，基督教、伊斯蘭教和印度教都比歷史上任何一個國家都更大、更持久。在未來的時代，宗教教派，而不是國家公民身份，可能會成為身份和忠誠的更相關框架。

無論是由企業聯盟主導的未來，還是分散到松散的宗教團體中，每個團體所宣稱的新“領土”——以及它們將為之而戰的領土——都不是幾英寸的土地，而是數字設備，這是個人用戶忠誠度的信號。這些用戶與任何政府之間的聯系——無疑受到人工智能對傳統中央集權政府地位的復雜影響——將顛覆傳統的公民觀念，并且實體之間的協議與普通的聯盟不同。

從歷史上看，聯盟是由個別領導人建立的，在戰爭中可以增強國家實力。相比之下，在和平時期，公民身份和聯盟（或許是征服或十字軍東征）的前景圍繞普通民眾的觀點、信仰和主觀身份構建，這將需要一種新的（或非常古老的）帝國觀念。這還將迫使我們重新評估宣誓效忠所涉及的義務和退出選擇的成本（如果在我們與人工智能糾纏的未來中確實存在退出選擇的話）。

和平與權力

民族國家的外交政策，以及國際體系，都是通過平衡理想主義和現實主義而建立和調整的。回顧起來，我們的領導人所達成的暫時平衡并非最終狀態，而只是當時的短暫（如果必要的話）策略。隨著每個新時代的到來，這種緊張關系產生了不同的政治秩序構成表達。領導者不能僅僅實現現有和已經考慮過的范圍內的選擇。相反，統治者必須做出至少一些源自（或似乎源自）靈感的選擇——經常鼓勵追求超出實際實現范圍的目標。

追求利益與追求價值觀之間的矛盾，或者說某個民族國家的優勢與全球利益之間的矛盾，一直是這一無休止演變的一部分。歷史上，小國領導人在外交上反應直截了當，優先考慮自身生存的需要。相比之下，那些擁有實現額外目標手段的全球帝國的領導人面臨著更痛苦的困境。

自文明誕生以來，隨著人類組織單位的不斷壯大，它們也同時達到了新的合作水平。但今天，也許是由于我們面臨的地球挑戰規模巨大，以及國家之間和國家內部明顯的物質不平等，對這一趨勢的反彈已經浮出水面。人工智能能否證明自己與人類治理規模相稱，能夠細致而準確地看到全球的相互作用，而不僅僅是國家的要求？我們能否指望它們比我們以前更精確地計算我們的利益和價值觀，然后計算它們之間的正確比例和關系？

正如我們其中一位之前所說，期望人類領導人能夠可靠地“將我們的行動限制在我們的倫理、法律和軍事立場完全和諧，以及合法性最符合生存要求的情況下”是不現實的。對于人類來說，這仍然是正確的。然而，我們希望人工智能能夠為國內外的政治目的而部署。國外的人工智能可能不僅僅能闡明平衡的權衡。理想情況下，它們可以提供新的、全局最優的解決方案，在更長的時間范圍內發揮作用，并且比人類能夠做到的分辨率更高，從而使我們相互競爭的人類利益保持一致。在未來的世界里，機器智能駕馭沖突和談判和平可能有助于澄清甚至克服我們的傳統困境。

然而，如果人工智能確實能解決我們本應希望自己解決的問題，我們可能會面臨信心危機：即一些人過度自信，而另一些人缺乏信心。對于前者，一旦我們了解了自我糾正能力的局限性，可能很難承認我們已經將太多權力交給了機器的智慧來處理人類行為的存在問題。對于后者，意識到僅僅從處理我們事務中移除人類的代理就足以解決我們最棘手的問題，這可能會過于明顯地揭示人類設計的缺陷。如果和平一直只是一種簡單的自愿選擇，那么人類不完美的代價就是永無止境的戰爭。知道解決方案一直存在，但我們從未構想出來，這將摧毀人類的自尊心。

就我們的安全而言，與我們在流離失所中的安全不同，在科學或其他學術活動中，我們可能更容易接受機械第三方的公正性必然優于人類的自私自利——就像人類很容易認識到在有爭議的離婚案中需要調解人一樣。我們相信并希望，在這種情況下，我們的一些最壞的特質將使我們展現出我們最好的特質：人類追求自身利益的本能，包括以犧牲他人為代價，可能會讓我們做好準備，接受人工智能超越自身利益。