在不到一年的時(shí)間里，Chat-GPT 已成為一個(gè)家喻戶曉的名字，反映了人工智能驅(qū)動(dòng)的軟件工具，特別是生成式人工智能模型的驚人進(jìn)步。伴隨著這些發(fā)展，人們頻頻預(yù)測(cè)人工智能將徹底改變戰(zhàn)爭(zhēng)。在人工智能發(fā)展的現(xiàn)階段，人們?nèi)栽谔剿骺赡艿?a target="_blank">參數(shù)，但軍方對(duì)人工智能技術(shù)的反應(yīng)是不可否認(rèn)的。美國網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局局長(zhǎng)詹-伊斯特里警告說，人工智能可能是 "我們這個(gè)時(shí)代最強(qiáng)大的武器"。雖然自主武器系統(tǒng)在有關(guān)人工智能軍事應(yīng)用的討論中往往占據(jù)主導(dǎo)地位，但人們較少關(guān)注在武裝沖突中支持人類決策的系統(tǒng)中使用人工智能的問題。

在這篇文章中，紅十字國際委員會(huì)軍事顧問魯本-斯圖爾特（Ruben Stewart）和法律顧問喬治婭-海因茲（Georgia Hinds）試圖批判性地審視人工智能用于支持戰(zhàn)爭(zhēng)中武裝人員決策時(shí)被吹噓的一些益處。其中特別討論了減輕對(duì)平民的傷害和節(jié)奏問題，尤其關(guān)注武裝沖突中對(duì)平民的影響。

即使在最近的炒作之前，人們可能已經(jīng)以各種形式使用過人工智能，事實(shí)上，人們可能正在使用主要由人工智能驅(qū)動(dòng)的設(shè)備閱讀這篇文章。如果您使用指紋或人臉打開過手機(jī)，參與過社交媒體，使用手機(jī)應(yīng)用程序規(guī)劃過旅程，或者在網(wǎng)上購買過披薩和書籍等任何物品，那么這些都可能與人工智能有關(guān)。在很多方面，我們對(duì)人工智能已經(jīng)習(xí)以為常，常常在不知不覺中將其應(yīng)用到我們的日常生活中。

但如果人臉識(shí)別軟件被用來識(shí)別要攻擊的人呢？如果類似的軟件不是尋找最便宜的航班將你送往目的地，而是尋找飛機(jī)對(duì)目標(biāo)實(shí)施空襲呢？或者，機(jī)器推薦的不是最好的披薩店或最近的出租車，而是攻擊計(jì)劃？這顯然是開發(fā)基于人工智能的國防決策平臺(tái)的公司 "即將到來 "的現(xiàn)實(shí)。

這類人工智能決策支持系統(tǒng)（AI-DSS）是一種計(jì)算機(jī)化工具，使用人工智能軟件顯示、綜合和/或分析數(shù)據(jù)，并在某些情況下提出建議，甚至預(yù)測(cè)，以幫助人類在戰(zhàn)爭(zhēng)中做出決策。

AI-DSS 的優(yōu)勢(shì)往往體現(xiàn)在提高態(tài)勢(shì)感知能力和加快決策周期上。下文將根據(jù)人工智能系統(tǒng)和人類的局限性，并結(jié)合現(xiàn)代沖突的規(guī)劃過程，對(duì)這些說法進(jìn)行解讀。

將沖突中傷害平民的風(fēng)險(xiǎn)降至最低

新技術(shù)在戰(zhàn)爭(zhēng)中的出現(xiàn)往往伴隨著這樣的說法，即新技術(shù)的整合將減少對(duì)平民的傷害（盡管在實(shí)踐中并不總是如此）。就 AI-DSS 而言，有人聲稱這種工具在某些情況下有助于更好地保護(hù)沖突中的平民。當(dāng)然，國際人道主義法（IHL）規(guī)定，軍事指揮官和其他負(fù)責(zé)攻擊的人員有義務(wù)根據(jù)他們?cè)谙嚓P(guān)時(shí)間所掌握的所有來源的信息做出決定。特別是在城市戰(zhàn)爭(zhēng)的背景下，紅十字國際委員會(huì)建議，有關(guān)平民和民用物體存在等因素的信息應(yīng)包括互聯(lián)網(wǎng)等公開來源資料庫。此外，具體到人工智能和機(jī)器學(xué)習(xí)，紅十字國際委員會(huì)認(rèn)為，只要人工智能-DSS工具能夠促進(jìn)更快、更廣泛地收集和分析這類信息，就能使人類在沖突中做出更好的決策，從而最大限度地減少對(duì)平民的風(fēng)險(xiǎn)。

與此同時(shí)，任何 AI-DSS 的輸出都應(yīng)在多個(gè)來源之間進(jìn)行交叉核對(duì)，以防止信息有偏差或不準(zhǔn)確。雖然這對(duì)沖突中的任何信息來源都是如此，但對(duì)AI-DSS 尤為重要；正如紅十字國際委員會(huì)先前所概述的那樣，由于系統(tǒng)的功能以及人類用戶與機(jī)器的交互方式，要核實(shí)輸出信息的準(zhǔn)確性可能極其困難，有時(shí)甚至是不可能的。下文將進(jìn)一步闡述這些方面。

系統(tǒng)局限性

最近關(guān)于人工智能發(fā)展的報(bào)道經(jīng)常包括人工智能失敗的例子，有時(shí)是致命的。例如，軟件無法識(shí)別或錯(cuò)誤識(shí)別膚色較深的人，推薦的旅行路線沒有考慮最新的路況，以及自動(dòng)駕駛汽車造成死亡的例子。其中一些失誤是可以解釋的，但不可原諒，例如，因?yàn)槠漭敵鏊罁?jù)的數(shù)據(jù)有偏差、被破壞、中毒或根本不正確。這些系統(tǒng)仍然很容易被 "欺騙"；可以使用一些技術(shù)來欺騙系統(tǒng)，使其對(duì)數(shù)據(jù)進(jìn)行錯(cuò)誤分類。例如，可以想象在沖突中使用對(duì)抗性技術(shù)來影響瞄準(zhǔn)輔助系統(tǒng)的源代碼，使其將校車識(shí)別為敵方車輛，從而造成毀滅性后果。

隨著人工智能被用于執(zhí)行更復(fù)雜的任務(wù)，特別是當(dāng)多層分析（可能還有決策和判斷）不斷累積時(shí)，驗(yàn)證最終輸出以及導(dǎo)致最終輸出的任何錯(cuò)誤的來源就變得幾乎不可能。隨著系統(tǒng)越來越復(fù)雜，出現(xiàn)復(fù)合錯(cuò)誤的可能性也越來越大--第一個(gè)算法建議中的一個(gè)微小不足會(huì)被反饋到第二個(gè)算法過程中并造成偏差，而第二個(gè)算法過程又會(huì)反饋到第三個(gè)算法過程中，依此類推。

因此，人工智能系統(tǒng)經(jīng)常表現(xiàn)出用戶或開發(fā)者無法解釋的行為，即使經(jīng)過大量的事后分析也是如此。一項(xiàng)針對(duì)備受矚目的大型語言模型 GPT-4 的研究發(fā)現(xiàn)，三個(gè)月后，該模型解決數(shù)學(xué)問題的能力從 83.6% 銳減至 35.2%，令人費(fèi)解。不可預(yù)測(cè)的行為也可以通過強(qiáng)化學(xué)習(xí)產(chǎn)生，在強(qiáng)化學(xué)習(xí)中，機(jī)器已被證明能夠非常有效地采用和隱藏不可預(yù)見的行為，有時(shí)甚至是負(fù)面行為，從而戰(zhàn)勝或超越人類：無論是通過撒謊贏得談判，還是通過走捷徑擊敗電腦游戲。

人類與機(jī)器互動(dòng)面臨的挑戰(zhàn)

AI-DSS 不會(huì) "做出 "決定。不過，它們確實(shí)會(huì)直接影響人類的決策，而且往往影響很大，其中包括人類在與機(jī)器交互時(shí)的認(rèn)知局限性和傾向性。

例如，"自動(dòng)化偏差 "指的是人類傾向于不批判性地質(zhì)疑系統(tǒng)的輸出，或搜索矛盾的信息--尤其是在時(shí)間緊迫的情況下。在醫(yī)療保健等其他領(lǐng)域已經(jīng)觀察到了這種情況，經(jīng)驗(yàn)豐富的放射科醫(yī)生的診斷準(zhǔn)確性受到了人工智能錯(cuò)誤輸出的不利影響。

在醫(yī)療領(lǐng)域，不準(zhǔn)確的診斷可能是致命的。同樣，在武裝沖突中，過度信任也會(huì)帶來致命后果。2003 年，美國的 "愛國者 "防御系統(tǒng)兩次向友軍聯(lián)軍飛機(jī)開火，原因是這些飛機(jī)被誤認(rèn)為是攻擊導(dǎo)彈。在隨后的調(diào)查中，發(fā)現(xiàn)的主要缺陷之一是 "操作員接受了信任系統(tǒng)軟件的培訓(xùn)"。

這些運(yùn)作方式，再加上人機(jī)互動(dòng)的這些特點(diǎn)，有可能增加結(jié)果偏離人類決策者意圖的可能性。在戰(zhàn)爭(zhēng)中，這可能導(dǎo)致意外升級(jí)，無論如何都會(huì)增加平民和受保護(hù)人員的風(fēng)險(xiǎn)。

節(jié)奏

人工智能在軍事上被吹捧的一個(gè)優(yōu)勢(shì)是，它能讓用戶的決策節(jié)奏快于對(duì)手。節(jié)奏的加快往往會(huì)給平民帶來額外的風(fēng)險(xiǎn)，這就是為什么要采用 "戰(zhàn)術(shù)忍耐 "等降低節(jié)奏的技術(shù)來減少平民傷亡。放慢決策節(jié)奏，包括為決策提供信息的過程和評(píng)估，可以讓系統(tǒng)和用戶有額外的時(shí)間：

看到更多

了解更多；以及

制定更多選擇。重要的是，在整個(gè)決策鏈中都是如此，而不僅僅是在最后的 "決策點(diǎn)"。因此，聲稱 AI-DSS 將加快最終決定是否 "扣動(dòng)扳機(jī) "的耗時(shí)步驟，從而實(shí)際上為戰(zhàn)術(shù)忍耐帶來更多時(shí)間的說法，有可能過度簡(jiǎn)化當(dāng)代沖突中的目標(biāo)選擇和武力執(zhí)行過程。

額外的時(shí)間讓用戶看到更多

2021 年 8 月 29 日，在喀布爾大撤退期間，無人機(jī)對(duì)喀布爾進(jìn)行了臭名昭著的空襲，造成 10 名平民死亡，中央司令部指揮官將這次空襲歸咎于 "我們沒有多余的時(shí)間來分析生活模式和做其他一些事情"。

"生活模式"分析是一些軍隊(duì)對(duì)平民和戰(zhàn)斗人員的存在和密度、他們的時(shí)間表、在考慮攻擊的地區(qū)內(nèi)和周圍的移動(dòng)模式等進(jìn)行評(píng)估的描述。這是減少平民傷害的重要方法。然而，對(duì)生活模式的評(píng)估只能實(shí)時(shí)進(jìn)行--平民創(chuàng)造這種模式需要時(shí)間--無法加快。

試圖根據(jù)歷史趨勢(shì)預(yù)測(cè)未來行為的做法無法顧及當(dāng)前情況。在這個(gè)例子中，回顧舊的情報(bào)資料，特別是喀布爾的全動(dòng)態(tài)視頻，并不能反映出由于塔利班接管和正在進(jìn)行的疏散工作而發(fā)生的形勢(shì)和行為變化。

正如預(yù)防平民傷亡指南所解釋的那樣，"等待和觀察的時(shí)間越長(zhǎng)，你就會(huì)對(duì)發(fā)生的事情了解得越多，也就能更好地做出使用致命或非致命手段的決定"，或者正如拿破侖所說的那樣 "慢慢給我穿衣服，我趕時(shí)間"--有時(shí)，刻意為之才能達(dá)到最佳效果。

額外的時(shí)間可以讓用戶理解更多

放慢決策速度的另一個(gè)原因是，人的理解能力，尤其是對(duì)復(fù)雜和混亂情況的理解能力，需要時(shí)間來培養(yǎng)，也需要時(shí)間來斟酌適當(dāng)?shù)膽?yīng)對(duì)措施。時(shí)間越少，人理解局勢(shì)的能力就越弱。軍事規(guī)劃流程旨在讓指揮官和參謀人員有時(shí)間考慮作戰(zhàn)環(huán)境、對(duì)手、友軍和平民，以及所考慮的行動(dòng)方案的利弊。正如德懷特-D-艾森豪威爾所解釋的，"在準(zhǔn)備戰(zhàn)斗的過程中，我總是發(fā)現(xiàn)計(jì)劃是無用的，但規(guī)劃是不可或缺的"。

當(dāng)人類決策者考慮由 AI-DSS 生成或 "推薦 "的行動(dòng)方案時(shí)，這一點(diǎn)就會(huì)產(chǎn)生影響，因?yàn)橄鄬?duì)于對(duì)手而言，AI-DSS 加快行動(dòng)節(jié)奏的能力可能是被利用的最主要原因。如果人類計(jì)劃人員沒有經(jīng)歷或甚至完全不了解 AI-DSS 提出的計(jì)劃的制定過程，那么他對(duì)局勢(shì)、各種影響因素和相關(guān)人員的了解可能就會(huì)很有限。事實(shí)上，人們已經(jīng)注意到，使用自動(dòng)輔助工具會(huì)降低人類用戶的警覺性，損害他們保持態(tài)勢(shì)感知的能力。這一點(diǎn)應(yīng)從如何影響遵守國際人道主義法義務(wù)的角度加以考慮；盡一切可能核查目標(biāo)的義務(wù)表明，需要最大限度地利用現(xiàn)有情報(bào)、監(jiān)視和偵察資產(chǎn)，以獲得在當(dāng)時(shí)情況下盡可能全面的態(tài)勢(shì)感知。

更多時(shí)間可讓用戶做出更多選擇

除了能讓指揮官看到和了解更多情況外，額外的時(shí)間還能讓指揮官制定戰(zhàn)術(shù)備選方案，包括決定不使用武力或緩和局勢(shì)。額外的時(shí)間可以讓其他單元和平臺(tái)脫離接觸、重新定位、重新補(bǔ)給、計(jì)劃和準(zhǔn)備協(xié)助即將到來的行動(dòng)。這為指揮官提供了更多選擇，包括可更好地減少平民傷害的替代計(jì)劃。額外的時(shí)間可能允許采取額外的緩解措施，如發(fā)布警告，從平民的角度來看，這也允許他們實(shí)施應(yīng)對(duì)機(jī)制，如躲避、重新補(bǔ)給食物和水或撤離。

正如軍事規(guī)劃理論中的一個(gè)例子所解釋的那樣，"如果時(shí)間充裕，而且更快采取行動(dòng)也沒有好處，那么就沒有什么借口不花時(shí)間進(jìn)行充分規(guī)劃"。正如北約的《保護(hù)平民手冊(cè)》所回顧的那樣，"如果有時(shí)間按照國際人道主義法的原則對(duì)部隊(duì)或目標(biāo)進(jìn)行蓄意規(guī)劃、區(qū)分和精確瞄準(zhǔn)，那么CIVCAS[平民傷亡]的可能性就會(huì)大大降低"。

結(jié)論

"戰(zhàn)爭(zhēng)是混亂的、致命的，從根本上說是人類的努力。它是人與人之間的意志沖突。所有戰(zhàn)爭(zhēng)本質(zhì)上都是為了改變?nèi)祟惖男袨椋恳环蕉荚噲D通過武力改變另一方的行為"。"戰(zhàn)爭(zhēng)源于人類的分歧，在人類群體之間展開，由人類控制，由人類結(jié)束，而在戰(zhàn)爭(zhēng)結(jié)束后，人類又必須共存。最重要的是，沖突中的苦難由人類承擔(dān)。

這一現(xiàn)實(shí)，乃至國際人道主義法本身，都要求在武裝沖突中開發(fā)和使用人工智能時(shí)采取 "以人為本 "的方法--努力在本已不人道的活動(dòng)中維護(hù)人性。這種方法至少有兩個(gè)關(guān)鍵方面：(1) 關(guān)注可能受影響的人；(2) 關(guān)注使用或下令使用人工智能的人的義務(wù)和責(zé)任。

在研究可能受影響的人時(shí)，不僅要考慮在使用 AI-DSS 獲取軍事優(yōu)勢(shì)時(shí)減少對(duì)平民的風(fēng)險(xiǎn)，還要考慮專門為保護(hù)平民的目標(biāo)設(shè)計(jì)和使用這類工具的可能性。在這方面已經(jīng)提出的可能性包括識(shí)別、跟蹤和提醒部隊(duì)注意平民人口存在的工具，或識(shí)別在武裝沖突中表明受保護(hù)地位的特殊標(biāo)志的工具（見這里和這里）。

確保人類能夠履行其在國際人道主義法下的義務(wù)意味著 AI-DSS 應(yīng)為人類決策提供信息，但不能取代人類對(duì)武裝沖突中人們的生命和尊嚴(yán)構(gòu)成風(fēng)險(xiǎn)的判斷。在自主武器系統(tǒng)方面，各國已廣泛認(rèn)識(shí)到這一點(diǎn)（例如，見此處、此處和此處）。遵守國際人道主義法的責(zé)任在于個(gè)人及其指揮官，而非計(jì)算機(jī)。正如美國國防部《戰(zhàn)爭(zhēng)法手冊(cè)》所述："戰(zhàn)爭(zhēng)法并不要求武器做出法律決定......相反，必須遵守戰(zhàn)爭(zhēng)法的是人。中國在《新一代人工智能倫理規(guī)范》中更普遍地強(qiáng)調(diào)了這一點(diǎn)，堅(jiān)持 "人是最終的責(zé)任主體"。

關(guān)于 AI-DSS 必然會(huì)加強(qiáng)平民保護(hù)和遵守國際人道主義法的說法必須受到嚴(yán)格質(zhì)疑，并根據(jù)這些考慮因素進(jìn)行衡量，同時(shí)考慮到我們對(duì)系統(tǒng)局限性、人機(jī)互動(dòng)以及行動(dòng)節(jié)奏加快的影響的了解。

編輯：黃飛