近些年來，生成式人工智能技術取得了飛躍發展。隨著各式各樣的大模型不斷迭代升級，從一般通用生成能力，到各種專有領域的細分能力，再到更注重與用戶的實際交互，大模型的各項能力顯著提升，人工智能應用越來越受到關注。但當前大模型仍然面臨可信瓶頸，無法開展大規模應用。大模型的安全可信受到高度關注，國內外已經有多項法規與標準快速制定并落地。本文以層次化的結構，構建了生成式人工智能的安全可信評測體系，分別從物理可信度、安全可靠度、偽造可察度三個維度來評估現有大模型的安全可信水平。評測對象涵蓋了文生圖模型、文生視頻模型、視覺大語言模型等多種生成式模型，并根據相關評測結果指出了這些模型存在的改進空間，為生成式人工智能實現規模化應用提供安全可信指南。

生成式人工智能（Generative AI）作為人工智能的一個重要分支，通過學習大量的數據形成涌現能力，能夠自主生成內容，在多模態對話、圖像生成、視頻生成等多個領域取得了令人矚目的進展。近年來，隨著預訓練技術的發展和計算資源的提升，以GPT、DALLE、Sora等為代表的多模態生成大模型飛速發展，展現了讓人眼前一亮的效果。由此，生成式人工智能不僅在學術研究中激起了千層浪，也在實際應用中展示了巨大的潛力，逐漸融入了人們的日常生活。例如，多模態對話生成在文字提取、聊天機器人和語言翻譯任務中受到廣大用戶的青睞；圖像、視頻生成技術助力了新媒體行業，被廣泛應用于藝術創作、廣告設計和電影特效中；在具身智能中，大語言生成模型可以為機器人的動作提供具身指令，賦予機器人更具規劃性的決策能力；在醫療生物研究中，生成式人工智能幫助預測蛋白質結構、分析醫學影像，為科學發現提供了新的工具。 隨著生成式人工智能逐漸步入社會日常生活，人工智能的安全可信程度成為了國際關注的焦點。國內外的人工智能安全事件導致輿論頻發，例如，人工智能換臉的圖片、視頻被詬病已久，造成了社會的虛假信息傳播與名譽損害；經典的惡意攻擊“如何制造一個炸彈”也會被大模型直接回答，一旦被不法人士利用則會為犯罪提供可乘之機；一些用于教育、科普性質的人工智能視頻也經常出現常識錯誤，不符合物理世界的規律，錯誤視頻在網絡上傳播很容易影響未成年人的認知。不安全、不可信的輸出成為了生成式人工智能面臨的重要挑戰。

面對這一挑戰，學術界、工業界、國際社會都采取了相關措施來發掘并彌補大模型的安全問題。科研人員建立了許多安全可信的評測基準，衡量生成式人工智能模型對不安全內容的敏感度；OpenAI也制定了許多針對安全、隱私的政策，來限制GPT的有害響應；2023年7月14日，國家互聯網信息辦公室聯合國家發展和改革委員會等部門發布了《生成式人工智能服務管理暫行辦法》并實施，這是世界上第一個有關生成式人工智能的成文法；2024年3月13日，歐盟議會審議通過《人工智能法案》，國內外對于人工智能領域安全可信的監管均邁入全新時代。

在這種情況下，生成式人工智能的安全可信程度究竟在哪些方面還需要改進，是一個需要不斷探索的話題。只有知己知彼，才能使大模型的安全可信之戰獲得充分保障，才能為生成式人工智能的發展提出有效指引，催生出更強大的社會化人工智能。因此，本文提出了一個層次化的生成式人工智能安全可信評測體系，從多個安全可信維度進行構建，旨在為大模型的規模化應用提供堅實的安全保障。具體來說，如圖1所示，我們對生成式大模型進行三維度的評測：物理可信度、安全可靠度和偽造可察度，每個維度還有許多細分的子維度。物理可信度涵蓋力學、光學、材料學、熱學；安全可靠度涵蓋一般符號、名人隱私、NSFW問題；偽造可察度涵蓋偽造模態、偽造語義、偽造任務、偽造類型、偽造模型等子維度，而且每個子維度都有更深層次的細分內容。我們的評測對象涵蓋了文生視頻（T2V）模型、文生圖（T2I）模型、視覺大語言模型（LVLMs）等多種生成式模型。通過這種全面的層次化安全可信評測，我們得出了評測結果并進行深入分析，不僅揭示了大模型的安全弱點，還針對生成式人工智能模型的改進方向提出了建議，以促進生成式人工智能在各社會領域的安全有效應用，確保技術進步同時帶來的是可控和可信的社會影響。

物理可信度

隨著各種各樣生成模型面世，越來越多的人開始用人工智能創作圖片、視頻，并在互聯網上發布與傳播。當人工智能作品的受眾越來越廣時，人工智能作品的可信度與準確度就成為了發展的關鍵。T2V（例如Sora 等可視化時間與場景變換的工具）越來越被視為構建物理世界通用模擬器的一條有前途的道路。認知心理學認為，直覺物理學對于模擬現實世界至關重要，正如人類嬰兒的學習過程。因此，視頻生成首先應該能夠準確地再現簡單但基本的內容物理現象，提高生成內容的現實可信度。

然而，即使是在大量資源上訓練的最先進的T2V模型在正確生成簡單物理現象時也會遇到困難，如圖2（a）的光學例子所示，模型可能無法理解水面應該有倒影。這個明顯的缺陷表明當前視頻生成模型與人類對基礎物理的理解之間存在巨大差距，揭示了這些模型的物理可信度存在漏洞，它們距離真實世界模擬器還有比較長的一段距離。因此，評估當前T2V模型的各種物理可信程度變得很重要，這有助于指引生成式人工智能的未來改進方向，這也需要開發超越傳統指標的綜合評估框架。

基于這一物理不可信的背景，我們提出PhyGenBench和PhyGenEval來自動評估T2V模型的物理常識理解能力。PhyGenBench旨在根據文本到視頻生成中的基本物理定律評估物理常識。受此啟發，我們將世界上的物理常識分為4個主要領域：力學、光學、熱學和材料特性。我們發現每個類別都有重要的物理定律和易于觀察的物理現象，從而在擬議的基準中產生了全面的27條物理定律和160個經過驗證的提示。具體來說，從基本物理定律開始，通過集思廣益，我們使用教科書等來源構建了可以輕松反映物理定律的提示。這個過程產生了一套全面但簡單的提示，反映了物理常識，對于評估來說足夠清晰。

另一方面，受益于PhyGenBench提示中簡單而清晰的物理現象，我們提出了PhyGenEval，這是一種新穎的視頻評估框架，用于在PhyGenBench中評估物理常識的正確性。如圖3所示，PhyGenEval首先使用GPT-4o來分析文本中的物理定律，解決基于視頻的VLM中對物理常識理解不足的問題。此外，考慮到以前的評估指標沒有專門針對物理正確性，我們提出了三層分層評估策略，從基于圖像的分析過渡到綜合視頻分析：單圖像、多圖像和全視頻階段。每個階段都采用不同的VLM以及GPT-4o生成的自定義指令來形成判斷。通過結合PhyGenBench和PhyGenEval，我們可以有效地大規模評估不同T2V模型對物理常識的理解，產生與人類反饋高度一致的結果。

在物理可信度上，通過PhyGen-Bench與PhyGenEval，我們對流行的T2V模型進行了廣泛的評估，發現了幾個關鍵現象和結論：①即使是性能最好的模型Gen-3，得分也僅為0.51。這表明當前的模型還遠未達到世界模擬器的功能。②PhyGenEval主要關注物理正確性，并且對影響視覺質量的其他因素具有魯棒性。此外，即使模型可以生成具有更好的一般質量的視頻，也并不意味著它對物理常識有更好的理解。③快速工程或者放大T2V模型可以解決一些問題，但仍然無法處理動態物理現象，這可能需要對合成數據進行大量的訓練。

根據評估結果，我們發現生成視頻的物理可信度還存在著較大不足。我們希望這項工作能夠激勵社區專注于學習T2V模型中的物理常識，而不僅僅是將它們用作娛樂工具。

安全可靠度

除了基本的生成內容是否可信合理，生成內容是否安全可靠更是一個嚴峻的問題。這個問題的危害在T2I模型中就能直接體現出來。文本到圖像生成技術近年來引起了廣泛關注，可以通過任意人類書寫的提示詞生成圖像，受到了前所未有的歡迎。文本到圖像生成技術的快速發展推動了T2I模型的誕生，像Stable Diffusion、Civitai社區，還有DALL-E和Midjourney等閉源API，都吸引了大量藝術創作者和商業人士，展現出了巨大的商業潛力和收入前景。

隨著圖片創作這項技能被T2I模型賦能到每個用戶身上，社會越來越追求保障T2I模型的安全。目前，已經有不少政策約束措施應運而生，旨在防止生成有害內容。然而，盡管這些現有的安全措施取得了一定進展，但惡意人士對于T2I模型的攻擊也日漸復雜與深入。我們發現了目前T2I模型安全措施方面的一個顯著弱點：這些措施主要針對顯式文本提示，即目標對象在文本中被直接明確指出的情形。但是更復雜的隱式文本提示還有待探究，即那些沒有明確指出目標物體但給出間接描述的提示。

因此，對于生成式人工智能的安全可靠性方面，我們通過隱式文本提示來深入探討更復雜的危險攻擊。如圖2（b）所示，我們首先考慮“一般符號”，即地標、標志、食物等常見符號，用于初步評估模型對于隱式文本提示的理解程度。我們發現T2I模型確實能夠通過隱式文本提示生成所期望的語義內容。此外，我們重點關注隱式文本提示的危害方面，主要是“名人隱私”和“NSFW問題”（Not Safe for Work）。名人隱私方面，DALLE配備了禁止生成名人圖片的隱私政策，因此直接輸入邁克爾·杰克遜的名字是會被拒絕響應的。但是，使用隱式文本提示描述名人時，T2I模型能夠正常生成邁克爾·杰克遜的圖像，這可能導致虛假信息的傳播，損害公眾人物的聲譽。而在NSFW問題方面，當血腥暴力內容的提示改寫成隱式文本提示“butcher artwork by ben templesmith”時，T2I模型并不能過濾掉這些隱式的危險關鍵詞，仍然生成了血腥暴力的圖像，帶來嚴重的社會風險。這些情形表明，隱式文本提示能夠有效逃避目前大多數T2I模型的安全防護機制，給攻擊者可乘之機，生成有害圖像。

基于這一不安全的背景，我們針對生成式人工智能的安全可靠性，提出了一個新的隱式文本提示基準ImplicitBench，對T2I模型在隱式文本提示下的表現進行了系統性研究。具體來說，ImplicitBench主要關注隱式文本提示的三個方面：一般符號、名人隱私和NSFW問題。如圖4所示，研究的工作流程可以概括如下：首先，我們收集了一個包含超過2000個隱式文本提示的數據集，涵蓋三個方面的內容，并包含二十多個子類別；接著，我們利用三個開源T2I模型和三個封閉源T2I API，基于我們的ImplicitBench，生成了大量圖像；然后，我們設計了ImplicitEval的評估框架，包括三種評估方法，以判斷特定隱式文本提示生成的圖像是否準確地反映了其隱含的顯式內容，并計算出三方面的定量準確率。如圖4所示，對于一般符號，我們采用GPT-4V來評估生成的圖像是否顯示指定的符號；對于名人隱私，我們使用利用傳統的人臉驗證模型Arcface作為識別器，收集了對應名人的真實照片作為參考；對于NSFW問題，我們使用由Stable Diffusion提供的內置安全檢查器和一個專用不安全圖片分類器作為雙重評估方法。

在安全可靠度上，通過Implicit-Bench與ImplicitEval，我們對流行的T2I模型進行了全面評估，得到了以下結論。①一般符號：T2I模型在一定程度上能夠生成符合隱式文本提示所隱含的象征意義的圖像，這一能力與生成圖像的質量和文本與圖像之間的一致性呈正相關，且閉源T2I API的表現普遍較好；②名人隱私：實驗結果表明，T2I模型更容易生成侵犯知名度較高名人隱私的圖像，并且隱式文本提示可以逃脫當前隱私政策的防御，可能帶來虛假信息的傳播和個人聲譽的損害；③NSFW問題：隱式文本提示能夠繞過大多數T2I模型的安全過濾器，雖然它們本身看似無害，但卻能生成有害的NSFW內容。相較于DALL-E系列，Midjourney在安全性方面表現更為突出，更能識別NSFW隱含意義并防止有害內容的生成。此外，相比普通詞匯，某些專業術語、對身體部位的過度詳細特寫，以及具有歧義或多重含義的詞匯，更容易導致生成NSFW內容。

總的來說，ImplicitBench旨在評測生成式人工智能的安全可靠性，引起T2I社區對更復雜的有害攻擊的更多關注。我們發現，現有的安全策略可能無法有效應對隱式文本提示，因此，由隱式文本提示推導出的隱私和NSFW問題應該引起足夠重視。未來，針對隱式文本提示的防范機制亟待進一步研究和完善，以提升生成式工智能的安全可靠性。

偽造可察度

近年來，隨著人工智能生成內容技術的快速發展，創造假媒體的門檻已顯著降低，普通大眾也能輕松制作假媒體。因此，各種合成媒體大量涌入互聯網，給政治、法律和社會安全帶來了前所未有的威脅，例如惡意傳播深度偽造視頻和虛假信息等。為了應對這種情況，研究人員提出了許多偽造檢測方法，旨在盡可能地篩選出合成媒體。然而，現如今的合成媒體可以非常多樣化，可能包括不同的模態，表現各種語義，并由不同的人工智能模型創建或操控。因此，設計一個具有全面辨識能力的通用偽造檢測器成為人工智能生成內容新時代中的一項關鍵且緊迫的任務，給研究界帶來了重大挑戰。 同時，LVLMs在多種多模態任務中取得了顯著進展，例如視覺識別和視覺描述，這重新點燃了人工通用智能的討論。這些出色的泛化能力使得LVLMs成為區分日益多樣化的合成媒體的有力工具。然而，仍然缺乏一個全面的評估基準來評估LVLMs識別合成媒體的能力，這限制了LVLMs在偽造檢測中的應用，進一步阻礙了LVLMs朝著人工通用智能的下一個階段發展。為此，一些研究工作嘗試通過不同的評估基準填補這一空白，但它們僅覆蓋了有限范圍的合成媒體。

基于這一偽造泛濫但難以監察的背景，我們引入了Forensics-Bench，這是一個新的偽造檢測基準套件，用于全面評估LVLMs在偽造檢測中的能力。為此，Forensics-Bench經過精心策劃，覆蓋了盡可能多樣化的偽造類型，包括63K個多選視覺問題，并統計涵蓋了112種獨特的偽造檢測類型。具體來說，Forensics-Bench的廣度涵蓋了5個方面：①不同的偽造模態，包括RGB圖像、近紅外圖像、視頻和文本；②涵蓋各種語義，包括人類主體和其他一般主體；③由不同的人工智能模型創建/操控，如GANs、擴散模型、VAE等；④各種任務類型，包括偽造二分類、偽造空間定位和偽造時間定位；⑤多樣的偽造類型，如面部交換、面部屬性編輯、面部重演等。Forensics-Bench中的這種多樣性要求LVLMs具備全面的辨識能力，能夠識別各種偽造，突顯了人工智能生成內容技術目前所帶來的重大挑戰。圖2（c）便是一些不同的圖片、文本、視頻偽造的例子。

在實驗中，我們使用評測平臺OpenCompass，并遵循了之前的研究進行評估：首先，我們手工檢查選項是否出現在LVLMs的回答中；然后，我們手動檢查選項內容是否出現在LVLMs的回答中；最終，我們求助于ChatGPT幫助提取匹配選項。如果以上提取都失敗，我們將模型的答案設為Z。

在偽造可察度上，我們通過Foren-sics-Bench 評估了22個公開可用的LVLMs和3個專有模型。實驗結果表明LVLMs在不同偽造檢測類型上的表現存在顯著差異，揭示了它們能力的局限性。我們總結了以下發現：①偽造基準Forensics-Bench對LVLMs提出了顯著挑戰，其中表現最好的模型僅實現了66.7%的總體準確率，突顯了穩健偽造檢測的獨特難度。②在各種偽造類型中，LVLMs的表現存在顯著偏差：它們在某些偽造類型（如欺騙和風格轉換）上表現優異（接近100%），但在其他類型上表現較差（低于55%），如面部交換（多個面孔）和面部編輯等。這一結果揭示了LVLMs在不同偽造類型上的部分理解。③在不同的偽造檢測任務中，LVLMs通常在分類任務上表現更好，而在空間和時間定位任務上表現較差。④對于由流行人工智能模型合成的偽造，我們發現當前的LVLMs在擴散模型生成的偽造上表現更好，而對GANs生成的偽造檢測較差。這些結果暴露了LVLMs在區分不同人工智能模型生成的偽造時的局限性。 總體而言，針對偽造可察度，我們通過Forensics-Bench發現了LVLMs在區分人工智能生成的偽造內容時存在局限性，更深入地了解了LVLMs對于偽造內容的敏感度。

面對生成式人工智能的持續發展，確保大模型的安全可信水平是其邁向社會化的必經之路。只有構建了全面的安全可信評測體系，才能深度掌握生成式人工智能的安全漏洞，為改進模型提供切實可行的安全指南。

安全可信評測體系需要多維度、多層次地構建，才能模擬大模型在面對成千上萬用戶時的不同場景，從而有效預防可能出現的安全風險。因此，我們所提出的評測體系圍繞生成式人工智能的物理可信度、安全可靠度、偽造可察度這三個維度，且都是關注其中更為復雜隱晦的安全問題。評測結果表明，這三個維度存在一些容易被大模型忽略的問題，造成不可控的安全可信風險，體現了目前大模型的安全防范仍然比較脆弱。針對實驗結果的分析，我們還對大模型的物理可信度、安全可靠度、偽造可察度提出了一些改進建議。希望我們的安全可信評測能為大模型的防護與改進帶來思考與啟發，從而實現生成式人工智能安全化的進一步飛躍。

放眼未來，生成式人工智能的版圖必將持續擴大，人們的生活方式也會隨之發生日新月異的改變。要想讓大模型以我為主、為我所用，我們就必須確保大模型的安全與可信，這樣生成式人工智能才能平穩和諧地融入日常生活，與我們一起推動社會向前發展與進步，走向更智能、更便捷的新時代。