作者：鄭文博, 李強, 劉文禮, 費愛國, 王飛躍

元宇宙深沉浸、虛實相生的特性為作戰建模的發展提供了新的技術，對此，提出了面向城市作戰的一種新型的數據知識驅動的元宇宙建模框架。基于此框架，運用知識圖譜、生成式對抗網絡等相關理論和方法，探究元宇宙情景下的城市作戰環境本體建模問題，設計了元宇宙城市作戰模型的改進案例方案，以達到表現力好、擴展性強，并進行了相關定量實驗驗證。面向城市作戰的元宇宙建模框架有望成為實現虛實融合的智能決策的新設計范式。

2021年被稱為元宇宙元年，隨著當年10月Facebook公司更名為“Meta”，“元宇宙”（Metaverse）這一概念被點燃和引爆，迅速引起世界各國的廣泛關注。元宇宙概念最早來源于1992年美國科幻小說《雪崩》。但在上世紀90年代，錢學森先生就在書信中將虛擬現實（virtual reality）技術，稱之為符合中國傳統文化語境的“靈境”，“靈境”能夠擴展人腦的感知，從而使人進入到前所未有的新空間，這一重要思考被認為是我國對元宇宙的思想啟蒙雛形。從認知概念上講，元宇宙是整合虛擬現實技術、人工智能技術、數字孿生技術等多種信息高新技術而誕生的新型智能運用和社會形態。

元宇宙時代的到來將帶來一場“技術革命”，尤其是在實現身臨其境的態勢感知方面。之前的研究表明，繼機械化、電氣化、信息化、網絡化之后，面向平行化技術的指揮與控制體系、理論、方法和技術，即5.0的平行指揮與控制，是未來技術的發展方向。其核心思路是虛實交互的ACP方法，通過物理實際環境與虛擬信息系統之間的虛實交互進行計算與數字化模擬來完成給定軍事行動及目標，并能反饋實時效果，提升了作戰能力與作戰效果，這也暗合了孫子的“夫未戰而廟算勝者，得算多也”的道理。沿著先前研究進行深入研究，本文聚焦“元宇宙”中的軍事斗爭或將產生的新作戰形態與新樣式。

隨著現代化戰爭的發展，大規模陸海空作戰可能將要成為不可及的未來。目前，世界局勢以多點爆發的城市暴亂為主，也就是圍繞城市爭奪和城市巷戰展開，例如俄烏之戰下的基輔。城市化的不斷發展也使得城市作戰逐步成為現代戰爭的一種重要作戰形式。本文利用人工智能技術，著眼于城市作戰（urban warfare）這一作戰形式進行探索，提出了一套新型的數據知識驅動的研究框架，其目的在于彌補現有建模表現力不足、擴展性不強的問題。并基于此框架，設計了針對問題的案例分析與實驗設計，案例和實驗說明了本框架的合理性與有效性。

?

1?相關工作與問題提出

元宇宙建模實際上是作戰環境建模問題，它本質上是營造一個面向各類受訓人員的、貼近實戰的訓練環境，能夠對作戰計劃進行科學的模擬檢驗，能夠對作戰行動進行輔助決策，能夠對作戰環境建設、環境態勢認知等進行預測與估計。美軍充分認識到現代化戰爭對作戰環境建模保障的迫切需求。自2004年以來，美軍在理論上進入了以“數字為中心”的地理空間情報（geospatial intelligence，GEOINT）時代，摒棄了傳統的紙質地圖。值得注意的是，美軍已經使用“元宇宙”的相關技術進行部隊的合成訓練；在2019年，美軍啟動高逼真度、高分辨率虛擬世界建設項目，為部隊遂行全球作戰任務打造更高質量的訓練環境合成訓練環境（synthesis environment training，SET），把作戰環境建模為一個統一的“元宇宙”空間，使士兵和指揮作戰人員實現多層級/多領域戰術和指揮訓練，通過逼近真實的作戰環境中反復訓練提升其作戰能力。可見，研究面向“元宇宙”的作戰環境建模是現代化戰爭的必要手段之一。但是當前元宇宙建模，還存在著以下兩個缺陷：

1）元宇宙建模真實感不強

當前的元宇宙建模環境雖然擁有海量數據的場景建模，嵌入物理模型，模擬實時的光照和紋理，支持高精度碰撞檢測，但真實感比較低，與真實物理環境差異較大，無法充分表現環境信息。

2）元宇宙建模擴展性不強

真實的物理環境是由海、陸、空及復雜的電磁環境構成的，而且千絲萬縷的聯系存在于各環境之間。這種復雜情景和聯系毫無疑問地影響著作戰人員及裝備的作戰性能。由于目前的環境本體建模是按照要素劃分的，難以呈現各要內部之間的聯系，也就更加難以建立科學的、可信的環境模型；任何區域的作戰環境狀態具有鮮明的時變性、動態性，這就要求作戰環境模型不僅要了解作戰環境的基本特征，還要能夠作戰人員協同編輯，并且可以科學預測其動態變化趨勢，掌握其發展變化規律。換句話說，元宇宙建模需要可拓展和可編輯。

2?新型元宇宙框架的構建

如圖1所示，先前的研究[5]提出了平行軍事與ACP方法，其主要觀點是構建虛擬系統，與現實系統一同虛實交互，進行推演計算與涌現演化。關鍵是交互的構造方式與演化方法。另一方面，知識在交互應用中起到了不可忽視的作用。“知識就是力量”，知識自動化的運用是傳統空間中信息自動化的自然延伸與提高，?也是轉向元宇宙空間的智能化的基礎，進而實現能夠動態變化、實時反饋的智能化元宇宙建模。據此，提出引入結構化知識，并建立為知識空間的表征，然后與元宇宙空間結合起來。深度學習、知識圖譜、大數據等新興技術是其技術的核心支持。從本質上講，這種框架的基本思想是將結構化的人類知識構建為復雜系統的虛擬代理，并在此基礎上進行定量的計算實驗，以更有效地解決復雜問題。

圖 1?平行智能與元宇宙

Fig. 1??Parallell Intelligence and Metaverse

由此，利用本體技術對針對元宇宙城市作戰環境的數字資源中不同層次的概念、實體、關系等進行知識抽取，從而構建數字資源語義的作戰環境模型。資源標引和實體或者事理關聯構建是元宇宙城市作戰模型的關鍵，也是利用數字資源實現元宇宙敘事的基礎。元宇宙城市作戰模型的構建要進行知識獲取，針對不同結構的、不同來源的數據進行知識獲取要有不同方法，但是無論哪種都需要從數據源中獲取描述實體關系信息，構建三元組形式，需要對知識信息執行特定操作以提取出關鍵的數據信息；具體來說，要從數據源與第三方數據庫中提取出知識實體、關系和屬性，在此過程中要結合自動化和半自動化技術把這些提取內容以邏輯順序的形式存儲。其次，利用人工智能技術實現實體對齊、本體構建、知識表示與知識推理等一系列操作。

如圖2所示，作戰環境模型的總體部署框架包括基礎數據層、知識建模層、知識計算層和智能應用層，如下：

1）基礎數據層：它是元宇宙城市作戰模型的數據基礎，主要包括事件、地理信息、環境實體、氣象、海洋、電磁、網絡等基礎數據，知識存儲模態包括文本、圖像、視頻、音頻、地圖等。

2）知識建模層：它是元宇宙城市作戰模型的核心計算引擎，主要實現由多源異構信息構造具有表現力的仿真模型和具有擴展性的多模態知識圖譜（詳細見第3節案例設計），能夠實現自動的知識抽取、知識表示、知識關聯和知識推理等。

3）知識計算層：它主要包括元宇宙作戰建模的環境綜合要素表達、可視分析和知識計算三個模塊，能夠實現環境影響模擬、知識推理、知識搜索、圖計算等分析計算功能。

4）智能應用層：它主要是面向多種典型城市作戰場景，實現城市作戰環境信息的推理與關聯分析等智能服務應用。

圖2 數據知識驅動的城市作戰元宇宙建模框架

Fig. 2 Data-knowledge-driven metaverse intelligence framework

3?案例設計

本文采用深度學習為主要研究手段，運用知識圖譜、生成式對抗網絡、“元宇宙”等相關理論和方法，結合提出的數據知識驅動的新型框架，針對以實現傳統作戰環境建模的表現力差、擴展性弱的現狀進行一種改進，即案例分析：1）針對現有作戰環境建模表現力不足的問題，利用生成式對抗網絡來生成與擴充具有真實感的數據，以圖像數據為例，結合人類的視覺信息的規律設計結構化知識模型；2）針對現有作戰環境建模擴展性不強的問題，利用知識圖譜的優良性能完成作戰環境的本體描述，引入人類元認識的結構化元學習，設計元宇宙框架的知識模型協同編輯技術。

3.1基于生成式對抗網絡的表現力改進設計

元宇宙城市作戰建模的復雜性決定了城市元宇宙所在的虛實空間的數據具有高維、極其巨大空間，按現有深度學習技術對這樣高維巨大空間進行表征和描述，所亟需的數據量遠超想象。但有效數據樣本不足和海量數據標注困難一直是元宇宙城市作戰建模研究的瓶頸問題。獲取這種數據的一種途徑是通過積累歷史數據，但由于歷史數據往往難以獲取且成本昂貴，所以很難展開系統的研究。另一種途徑是通過仿真得到數據，但想要得到真實多樣的樣本，仍然非常困難。

2014年，人工智能領域知名專家古德菲勒提出一種新型生成式模型——生成式對抗網絡，這種模型主要采用博弈思想和深度學習的技術來生成數據。生成式對抗網絡，一般來說，是由兩個神經網絡組成，即生成器和判別器。生成器通過接受給定的輸入，不斷生成某一樣本；判別器主要負責生成器的優化，隨著時間的積累越來越詳細地告知生成器怎樣更新和迭代。換言之，生成器嘗試不停生成新樣本，判別器聯動地判定樣本是否真實。兩者在此過程中都不斷更新自身，直到完成博弈平衡，也就是假樣本與真樣本完全不可區分。在模擬作戰環境方面，以圖像信息為例，可將生成圖像生成擴充為真實樣式（內容、風格）圖像，模擬真實光線，給定特定天氣和特殊地點，從而生成與擴充各種虛擬作戰環境數據。

但是，目前的生成式對抗網絡技術用以生成與擴充數據并非沒有不足。以圖像信息為例，可以分為兩類主流方法：特征級的生成式對抗網絡方法（例如最大均值差、相關距離、對抗識別器精度），在沒有任何標定目標樣本的情況下，這些方法將會導致較高級別的深度表征的對齊可能無法模擬對于其他視覺任務至關重要的較低級的信息或者特征的改變；像素級的生成式對抗網絡模型，如CycleGAN、DiscoGAN、UNIT、DRIT等，可以進行與特征的對齊相似的分布對齊。這類方法雖保留了自然場景中的局部內容，但沒有考慮到視覺效果逼真設計，導致生成的圖像看起來不真實。

圖3?基于新型生成式對抗網絡的生成與擴充技術

Fig. 3 ?A novel generation and expansion technology based on generative adversarial network

圖4?受人類視覺系統啟發的生成式對抗網絡

Fig. 4?A novel generative adversarial network inspired by the human visual system

3.2基于知識圖譜的擴展性改進設計

元宇宙環境面臨環境要素維度多、裝備類型多、對象目標多、對象對手多等問題，信息更加復雜。元宇宙城市建模主要通過地圖、影像、各類信息平臺等工具實現，在統一時空框架下，難以充分考慮多種環境要素的影響，例如對研究的武器裝備對元宇宙建模性能的影響，需要充分考慮土質、地形、氣象、電磁等多種要素，當前的地圖、影像等產品多是單一要素（領域）環境數據，難以實現全域多維環境要素的綜合影響分析；再如跨領域的元宇宙建模環境，需要關聯地理空間信息、人工信息等多源要素進行綜合分析。元宇宙環境在統一時空框架下難以實現非時空多源多模態信息的關聯挖掘。作為本體描述技術的知識圖譜可有效解決這些問題。

知識圖譜是一種用圖模型來描述知識和建模世界萬物之間的關聯關系的技術方法。這一概念由谷歌在2012年提出，它通過一個多關系圖來表示現實世界中的實體和關系，基本單位是“實體-關系-實體”，圖結構中實體的關鍵值與屬性相關，實體與實體之間通過關系連接。關鍵技術包括命名實體識別、關系抽取、知識表示、知識推理、知識融合等。知識圖譜技術已經逐漸成為智能認知的重要手段，其核心是大規模的網狀知識庫，通過知識表示、知識推理等技術能夠實現不同模態、不同源、不同領域信息知識的關聯鏈接。知識圖譜可以將元宇宙建模涉及到多傳感、多模態、多類別的信息，以及不同來源、分散無序、相對獨立的數字對象進行聚類、融合和重組，而且顯式地呈現出不同粒度的知識。

單個元宇宙城市環境要素如地形環境分析、氣象要素影響等已經在各自的領域得到了深入的研究，但該環境對作戰行動、武器裝備的影響需要綜合考慮全域多維環境要素的影響，例如地面土質、地形起伏、當前的降雨、能見度、城鎮的人文構設等均會對武器裝備的機動速度、射界產生綜合影響。尚缺乏能夠快速檢索、自動關聯到全域多維要素的數據驅動模型。

現在常用的基于知識圖譜的應用，大都采用如YAGO、NELL和Wikidata等大型知識圖譜，這種圖譜通常以（頭尾）實體對（節點）之間的關系（邊）形式表示事實。然而，面臨元宇宙環境的多變性以及復雜性，即使是大型知識圖譜對于其本體描述也是不完整的。另外，大型知識圖譜中的每個關系都需要大量的實體對。然而，真實環境中的本體關系的頻率分布往往有長尾。很大一部分關系在知識圖譜中只有少數實體對。知識圖譜和處理實體對數量有限的關系是非常重要和具有挑戰性的。在這種情況下，以前的模型假設所有的關系都有足夠多的訓練實例，這就造成了模型的不可行性。另一方面，針對變化的元宇宙城市環境，知識圖譜的本體描述不可能是一成不變的。因此，對于環境的反饋，對于修正環境的本體描述是一種非常重要的手段，而目前的知識圖譜顯然對此不支持。

鑒于上面兩個挑戰，結合人類元認識的少樣本學習或元學習，設計知識圖譜構造方案以及協同編輯技術。一方面，嘗試建立一個基于少樣本學習和元學習的關系模型，目的是學習一個匹配函數。即使在給定每個關系的少量參考實體對集合的情況下，該技術也能夠有效地推斷出真實的實體對；另一方面，本項目嘗試利用預訓練多模態模型在數據理解和生成方面的出色能力，用于彌合知識圖譜編碼和協同編輯內容的語義差距，以學習原有知識圖譜和新信息之間的對應關系。

綜合上述兩點，整體技術期待可以解決目前模型擴展性不強的問題。

具體來說，元宇宙城市作戰環境多模態知識圖譜采用“自頂向下”方法構建，主要分為模式層和數據層構建，如圖5所示。模式層主要是作戰環境各要素本體和概念，數據層主要是作戰環

境各要素實體和相關屬性，其思路是根據本體概念分類體系實現地理本體和概念的構建，然后基于地質、地形、氣象、海洋、電磁、網絡等領域數據，實現實體和相關屬性的抽取，利用知識融合方法實現跨域、多源異構作戰環境數據的關聯融合，最終形成元宇宙城市作戰環境多模態知識圖譜。但這種城市作戰的知識圖譜有著擴展性不強的弊端，因此，通過下面的方式來完善：在知識圖譜的構建中，運用新型的基于元學習（少樣本學習）的關系學習模型，旨在通過作戰士兵或者前線的少量發現增補新關系的事實。該模型意圖有效地從異質圖結構中捕獲知識，聚合少數樣本的表示，并為每個關系匹配相似實體對。具體來說，首先，意圖構建一個關系感知的異質鄰居編碼器，以學習基于異質圖結構和注意力機制的實體嵌入、捕捉到不同的關系類型和本地鄰居的影響差異。接著，擬設計一個遞歸自動編碼器的聚合網絡，來模擬幾張照片的參考實體對的相互作用，并積累它們對每個關系的表達能力。在少量樣本的聚合嵌入的情況下，擬采用一個匹配網絡來發現相似實體對。基于元學習的元訓練的梯度下降法被用來優化模型參數。學到的模型可以進一步應用于推斷任何新關系的真實實體對，而無需任何微調步驟。

為了實現協同編輯，進一步地提出新型的基于預訓練多模態模型和元學習的知識圖譜協同編輯技術，如圖6所示。為了彌補語義上的差距，通過圖神經網絡學習并編碼來自知識圖譜的表征和基于預訓練多模態模型的編輯過的實體表征之間的對應關系來加強表征的一致性。為了將編輯過的實體輸入知識圖譜，提出了一個基于關系的廣度優先搜索策略，將知識圖譜線性化為一個規劃良好的實體序列。從而實現了編輯小樣本或者少樣本的情況下，知識圖譜可以動態更新，以至于達到協同編輯的目的。

圖5?元宇宙城市作戰知識圖譜構建

Fig. 5 Knowledge graph for urban warfare in the metaverse

圖6?基于知識圖譜的協同編輯技術?

Fig. 6 ?Knowledge graph-based collaborative editing

4?案例實驗與分析

結合之前的第2章和第3章節進行元宇宙建模的案例實驗，進行框架的部署，使用OpenKG的中國地理信息圖譜進行實驗驗證；對于第3章案例設計中相關設計進行定量對比實驗。此外，將上述代碼和系統送去具有CMA和CNAS資質的第三方實驗室進行驗證，驗證結果表明該系統與本文論述結果一致，而且系統具有一定的可靠性和有效性。

4.1基于Neo4j的環境模型部署

如何用語言進行信息描述是本體建模領域經久不衰的話題。1998年，美軍的作戰管理語言（battle management language，BML）開始進行研究。2004年成立作戰管理語言研究小組，利用仿真互操作標準化組織（simulation interoperability standard organization，SISO），設計聯盟作戰管理語言（coalition BML，C-BML），并試圖將該語言用在聯盟作戰中LVC建模仿真系統、指揮控制系統、自治無人系統之間需求、計劃、命令和報告的描述和交換，還能夠為實戰化訓練、聯合作戰方案分析（course of action analysis，COAA）和使命演練（mission rehearsal）提供支持，計劃發布數據模型、形式化結構（語法）、形式化語義（本體）3個階段產品，當前只正式發布了第一階段的數據模型標準，并研究了第二階段及后續的標準開發框架。2008年SISO組織制定了軍事想定語言（military scenario definition language，MSDL），用于規范仿真系統之間及其指揮控制系統之間共享信息的描述。當前C-BML語言雖然具備聯合作戰方案信息描述能力，但其語法和語義規范尚在制定過程中，因此急需一種語義級的作戰環境方案描述語言。Python 被昵稱為膠水語言，能夠把用其他語言制作的各種模塊很輕松地聯結在一起。Python具有強大、豐富的（開源）庫，它的應用領域非常廣泛。而且語言簡潔易懂，易于開發，但Python使用時由編譯器解釋執行，效率較低。所以常見的一種應用領域是，由Python快速生成原型，然后對其中有功能需求的部分，改用合適的其他語言，例如，在本體建構過程中，與圖數據庫語言結合。據此，使用Neo4j進行元宇宙城市作戰的環境模型部署。

第1步：本體解析。使用類似結構查詢語言（structured query lan-guage，SQL）的知識圖譜查詢語言，三元組模式是查詢的基本單元，多個查詢基本單元可構成基本圖模式。這種語言還支持多種運算符，將基本圖模式擴展為復雜圖模型。常用的Python開源庫為RDFLIB，它為知識圖譜提供服務，包含Microdata、N3、Ntriples、RDFA、RDF/XML、Turtle的序列化和分析化功能，并提供一個多種存儲方式。可以使用這種在計算機內存中建立起領域本體的模型，為后續工作做好準備。通過生成類似于SQL的數據庫查詢語句、進行查詢，并處理得到的查詢結果，就能建立起本體的模型。

第2步：數據映射。Neo4j由一種圖數據庫，其結構與之前構建的知識本體有所不同。為了存儲由上一步本體解析得到的知識圖譜三元組數據，需要將知識圖譜數據映射為Neo4j專屬模型。進行關系映射時，Neo4j節點存儲的是不同知識點間的聯系。通過這種方式，就可以完成本體模型數據到數據庫的映射。

第3步：知識庫生成。完成作戰環境本體到Neo4j的存儲，需要將完成解析的本體存儲至Neo4j。Py2neo是Python的另一開源庫，能夠使用該庫與Neo4j建立連接。利用Py2neo可以在計算機內存中建立與存儲Neo4j的模型。通過生成節點與關系、過濾重復的數據，最終可生成Neo4j知識數據庫。

4.2案例設計的實驗驗證

根據第3章的案例設計，分別進行實驗驗證：

1）基于生成式對抗網絡改進的實驗驗證

使用黑夜→白天圖像轉換任務為例，使用街景數據集Alderley與BDD100K進行驗證，與其他常見的基于生成式對抗網絡的仿真環境生成與擴充數據算法CycleGAN，Disco-GAN，UNIT和DRIT做對比，利用學習感知圖像補丁相似度（learned perceptual image patch similarity，LPIPS）指標來對生成圖像的逼真性的定量評價。LPIPS 度量值越小，該算法生成的圖像越逼真。

表1 ?轉換對比方法結果表

Table 1?Comparison results for image generation

如圖7所示，來自夜晚域的源圖像被放在每一列的最上方，每一行對應于每種方法的轉換輸出。左邊兩列代表Alderley的定性結果，右邊兩列代表BDD100K的結果。盡管CycleGAN在物體清晰可見的區域進行了適當的編輯，但在黑暗或模糊區域的轉換結果顯示出較差的視覺質量。雖然DiscoGAN和UNIT在Alderley數據集的實驗中與CycleGAN相比呈現出更好的編輯能力，但它們在使用BDD100K時產生了一些假象，而且輸出結果也沒有正確轉換。同樣，利用兩個域的共同編碼空間的DRIT在BDD100K的實驗中產生了整體模糊的圖像。模型可以成功地用兩個數據集進行惡劣天氣轉換。與其他方法相比，它在大多數區域（包括黑暗和模糊區域）輸出了視覺上的優越結果。此外，現有的物體在轉換后的圖像中得到了很好的保留。由此可以看出，案例設計的方法的表現力更強。另外，如表1所示，方法的LPIPS的值是最小的，而且與DRIT相比，生成圖像的逼真性提升5%以上，所以，我們的設計方法的表現力更強。

2）基于知識圖譜的擴展性改進實驗驗證

使用知識圖譜查詢任務為例進行驗證，與其他常用的本體建模方法RESCAL、Trans-E、DistMult、ComplEx和Gmatchi-ng進行了對比。量化指標為知識三元組的查詢排名MRR；它的全稱是Mean Reciprocal Ranking(排名的倒數)，其中Reciprocal是指“倒數的”的意思。該指標越大越好。

如表2所示，本文方法的MRR的值是最大的，而且比Gmatching相比，提升5%以上，所以，本文設計方法的擴展性更強。

表2??查詢對比方法結果表

Table 2?Comparison results for knowledge?retrieval

5?結論

隨著現代化戰爭的發展，大規模陸海空作戰已經成為歷史和不可及的未來。目前，世界局勢以多點爆發的城市暴亂為主，也就是圍繞城市爭奪和城市巷戰展開。但是，為了經濟發展與人民生活安定，幾乎不可能在超大城市或者大型城市里進行實戰演練。因此，建設面向未來戰爭的智能作戰環境模型是輔助作戰籌劃與決策的一種有效方法。而沉浸感強、虛實融合與協作性強的元宇宙, 給作戰建模的發展帶來更多新可能。據此，提出了面向城市作戰的數據知識驅動的元宇宙建模框架；并基于此框架，探索了當前環境建模表現力差、擴展性弱的改進方案，而且對改進方案進行了定量實驗驗證。未來，基于此框架，期望可以積極開展元宇宙城市作戰指揮控制基本理論與應用方面的探索，推進元宇宙城市作戰空間關鍵功能模塊的完善與實戰應用。

編輯：黃飛