人工智能技術和應用飛速發展，推動經濟社會創新發展的同時，也在重塑人類安全的未來。作為2018世界人工智能大會的重要組成部分，題為“人工智能安全：挑戰與機遇”的安全高端對話9月18日在上海國際會議中心舉辦。此次對話活動由上海賽博網絡安全產業創新研究院、中國信息通信研究院安全研究所聯合承辦，上海社會科學院互聯網研究中心等協辦。

對話圍繞倫理問題、國家安全、網絡安全三大主題展開，研判人工智能時代的安全挑戰，探索人工智能安全發展的創新之道，促進人工智能產業的健康發展，確保人工智能發展造福人類未來。

1

人工智能技術迅猛發展

軍事歷來是推動技術變革的主要力量之一，特別是在一些戰略性領域，新技術與軍事變革之間的互動，不僅推動了技術的發展，也影響了軍事變革。算法上的突破、數據數量和質量的不斷提升以及計算能力的增長為人工智能在軍事領域的應用提供了無限的想象空間。

從現有的技術條件來看，人工智能至少可以在機器人、戰場環境的分析和目標識別、后勤組織計劃、情報分析、信息管理、信息行動等方面在一定程度上提升或改變原有對軍事的認知。

人工智能的發展可以減少軍人的傷亡程度、增強指揮決策、控制戰爭的殺傷范圍方面改變未來的戰爭形態。

第一，當越來越多的無人駕駛飛機、坦克、汽車，以及自主決策武器開始走向戰場，軍人直接暴露在戰場殺傷環境將會減少，軍人的傷亡率較傳統的戰爭也會下降。這會使得跟傳統軍人形象迥異，一群戴著眼鏡，像在網吧中玩著網絡游戲的新的職業軍人和軍事單元出現在戰斗序列中。

第二，人工智能在輔助戰場決策可以發揮重要作用，包括制定軍事計劃、后勤組織保障、戰場環境實時信息獲取、分析、目標的圖像識別等方面可以大幅度提高戰場的指揮決策能力。

第三，人工智能時代戰爭將更多是特種戰爭，而非全方位的戰爭。人工智能在網絡戰、信息戰，以及類似的“斬首行動”“定點清除”等特種作戰領域將會發揮重要的作用。這從很大程度上而言這也會改變戰場的形態，人工智能領域的特種作戰將會先與大規模沖突的爆發，改變人們傳統上認為，戰爭就是工業化時代的大規模飛機、坦克、軍艦等武器之間直接對抗的印象。

鑒于人工智能在軍事領域的重要作用，各國的軍隊和政府都高度重視從國防角度來看待人工智能，越來越多的國家開始發展和使用人工智能武器，制定人工智能國防領域的發展戰略。

2016年2月，時任美國情報總監詹姆斯·克萊伯在參議院武裝力量委員會的聽證會上認為，人工智能系統的欺騙性和破壞性難以預測和理解，將會對國家安全和關鍵信息基礎設施帶來巨大風險。特朗普政府開始加大對人工智能國家戰略的制定和資源的投入，美國國防部門的國防創新咨詢委員會和國防科學委員會不遺余力地推動美國軍方向人工智能轉型，并且成立了國防部聯合人工智能中心；近期，美國國防高級研究計劃局（DARPA）作為美軍重要的技術創新部門宣布對人工智能的投資增加20億美元，用以布局下一代人工智能。

俄羅斯也高度重視人工智能在國防領域的發展。俄羅斯國防力量積極的開發人工智能武器，包括超級坦克、無人蜂群、無人導航水下航行器等，根據媒體報道，俄羅斯已經開始在敘利亞戰場中使用基于人工智能的武器系統。在美俄之外，包括中國、英國、澳大利亞、韓國、印度等越來越多的國家開始重視人工智能在軍事領域的發展和應用。

2

安全領域挑戰不容小覷

人工智能擁有巨大潛能，但事情往往具有兩面性，為了獲取戰略競爭優勢，各國人工智能在國防領域的競爭，也帶來了安全方面的風險——包括為了獲取競爭優勢而忽視人工智能的倫理問題、人工智能技術擴散，以及過度強調人工智能的國家安全屬性對正常的技術發展和商業所帶來的威脅挑戰。

首先，致命性自主武器的倫理問題。致命性系統是一種直接或間接地對人類造成傷害或死亡的系統。現有系統如裝備了武器的無人機，就在某種程度上將自動化與致命性結合起來，但是這一系統需要人類的參與。完全自主的致命性自主武器系統還需要能夠識別和選擇目標，確定擬對目標施加的武力級別，并在特定范圍的時間和空間內對目標實施規定的武力。半自主、全自主系統包括殺傷人員地雷、反艦雷達、各種精確制導導彈、魚雷、巡航導彈、反衛星武器、空中和海上無人機、無人機群以及網絡蠕蟲。從不含情報的地雷到精確制導導彈以及依據地形的巡航導彈，這些系統中的情報數量差異巨大。

國際社會存在著很大的反對發展致命性自主武器的聲音。如此眾多的自主武器帶來的問題是機器是否有權力去自主決定殺傷目標，以及由于算法黑箱或者自主武器失控而導致的誤殺和誤傷成為致命性自主武器發展必須要面臨的倫理問題。雖然戰爭和傷亡是需要極力去避免的，但是由機器來決定傷亡則更加難以接受。不僅如此，人工智能的應用會在一定程度上降低戰爭的門檻，這會鼓勵減少自我約束，采取進攻性的行動來達到相應的目的，但同時也會對國際安全形成新的不穩定因素。

其次，作為人工智能發展核心的算法和數據都存在著潛在的安全問題，這會導致人工智能決策的風險。從編程的角度來看，任何的代碼都是由人編寫，因此無法確保程序完全安全、可靠、可控、可信。從數據角度來看，人工智能依賴大數據，同時數據的質量也會影響算法的判斷。軍事數據質量獲取、加工、存儲和使用等環節都存在著一定的數據質量和安全風險，從而增加了軍事領域使用人工智能的安全風險。

再次，人工智能技術擴散給全球安全帶來的威脅。伴隨著人工智能武器的開發，國際社會面臨的另一大難題就是反擴散問題，恐怖主義組織以及不負責任的國家獲取人工智能武器，并威脅國際安全和平。人工智能從某種意義上而言，也是一種程序和軟件，因此，它面臨的擴散風險要遠遠大于常規武器。類似于美國國家安全局的網絡武器庫被黑客攻擊，并且在暗網交易，最后被黑客開發為勒索病毒的案例，也有可能在人工智能武器領域重現。

最后，人工智能的軍備競賽會對技術邏輯和商業邏輯產生破壞。人工智能具有軍民兩用性質，其發展最初的目的是為了發展經濟，增加社會福利。過度的強調軍事用途會對人工智能的全球研發體系和產業鏈造成嚴重威脅。近期，美國政府對《外國投資審查法案》進行修訂，其中重點就是要阻止其他國家對美國人工智能初創企業的并購。法國政府也采取了相應做法提高外國企業對法國人工智能技術、人才的并購門檻。再加上，出口管制和人才交流限制。人工智能技術尚未發展成熟，各種鴻溝已經在各國之間開始構筑，會嚴重影響正常的技術研發，并且破壞全球化的商業邏輯。

3

治理機制構建刻不容緩

人工智能在軍事領域的發展和應用已經成為很多國家的國家戰略，相應的治理工作應當在現有的國際安全架構開展。今年9月在日內瓦召開的聯合國常規武器公約的討論中，各方并未就制定禁止人工智能驅動的致命性完全自主武器的條約達成共識。全球約有共26個國家支持全面禁止人工智能武器，而絕大多數國家還在觀望。在規則不確定和大國戰略競爭的背景下，人工智能在軍事領域發展面臨的風險和威脅在不斷增加。加強人工智能的國際治理工作，降低軍備競賽風險則是當務之急。

經過2014年和2015年的兩次非正式會議后，在2016年12月16日關于特定常規武器公約的聯合國會議上成立了致命性自主武器系統（LAWS）政府專家組（GGE）。該小組的任務是研究致命性自主武器領域的新興技術，評估其對國際和平與安全的影響，并為其國際治理提出建議。

人工智能引發的安全問題是專家組的一大重要分歧，技術強國與弱國之間存在截然不同的觀點。技術弱國認為應當完全禁止致命性自主武器的開發使用，技術大國則持相反意見，認為開發致命性自主武器可以降低人員損傷，有利于打擊恐怖主義和維護國家安全，并且很多系統已經在戰場上進入實戰。

軍事是推動技術進步的重要因素，互聯網就是由美國軍方所發明，人工智能的技術發展背后也有軍事因素的強力推動。但是，人工智能的科技競賽也非技術之福，特別是致命性自主武器的擴散會造成更為嚴重的后果。因此，從聯合國層面制定相應的規范，并且促成大國之間在發展致命性自主武器上達成一定的軍控條約是當務之急。

聯合國政府專家組應制定致命性自主武器系統和人工智能軍事應用的目標。其中，最重要的一個目標是制定相應的國際法，在國際法不明確的情況下，各國應克制在軍事領域使用人工智能武器。聯合國政府專家組也應考慮對國際法此前未曾預見的情況追加法律限制，并以道德或倫理為由盡量減少對人和平民的傷害。更進一步的目標包括管理以下情況的操作風險，包括降低使用武力門檻、意外導致不應有的傷害、造成意外的升級螺旋式增長以及產生軍備競賽和擴散。

當然，從聯合國角度來達成一項談判可能需要十年甚至更長的時間，鑒于越來越多的風險，大國之間應當及早就人工智能在軍事領域應用可能帶來的潛在風險開展對話，及早啟動相應的軍控進程。短期內促成技術強國在謀求戰略優勢和國際安全體系穩定之間的妥協。

各國政府在制定人工智能在軍事領域的戰略時，還應當高度重視人工智能的治理工作。比如，無論是半自主和全自主的武器系統的設計，應允許指揮官和作戰人員在使用武力方面作出適當的人為判斷。為保證這一要求的實現，需要嚴格的設計、對設計的測試和評估、操作驗證和測試，解決系統錯誤和故障的安全工程以及避免人為錯誤的認知工程。

在決定是否使用人工智能武器時，應當制定明確的規范和流程，避免造成不可預測的后果。同時，還應當加強對人工智能武器的安全性，避免安全泄露，或者是隨意轉讓相關技術。無論是無意或者有意地擴散都會增加軍備競賽的風險，威脅國際安全體系。