看似「天衣無縫」的偽造技術，也是有漏洞的。

視頻偽造是 Deepfake 技術最為主要的代表，其制作假視頻的技術也被稱為人工智能換臉（AI face swap）。一直以來，研究者發現 DeepFake 存在著這樣一個漏洞：當偽造人臉頭部轉到 90 度時（側臉 90 度），對方就能識別視頻中的人臉是不是偽造的。

這是怎么回事呢？在最近的一項測試中，技術專家兼評論員 Bob Doyle 允許研究人員進行一些關于人臉偽造的測試，期間研究人員采用 DeepFaceLive 來改變他的外貌。DeepFaceLive 是流行的 DeepFaceLab 軟件的一個直播版本，能夠幫助用戶實時創建不同的視頻身份。

測試中，在人臉轉到 90 度以前，其余角度我們很難發現這張臉是偽造的。

為什么人臉轉到 90 度時會出現漏洞？原來這些深度偽造模型都沒有經過高質量的人臉輪廓數據訓練，因而不能轉換面部的不同邊界，或者執行必要的修復。

不過，借助這一漏洞，我們可以判斷視頻會議中與自己交談的人是真實的還是偽造的。

橫向限制

這一漏洞是怎么造成的呢？

在 Deepfake 技術中，用于估計面部姿態的標準軟件如「Facial Alignment Network」，在有些情況下不能無法可靠地工作。事實上，大多數基于 2D 的人臉對齊算法在從正面人臉映射到側面人臉中，僅僅對齊了 50-60% 特征點。

我們以論文《Joint Multi-view Face Alignment in the Wild》來說，其展示了多視點人臉對齊，正面對齊包含 68 個特征點，而側臉對齊只有 39 個。典型的 2D 人臉對齊算法使側輪廓視圖隱藏了 50% 的特征點，這會妨礙模型的識別、訓練以及后續人臉合成。

意識到這個缺陷后，許多病毒式 Deepfake 都會有針對性地進行規避。一些人做出了一些努力，比如 YouTube 上就有人做過實驗，他們通過大量的后期處理，將 Jerry Seinfeld 的臉替換到《低俗小說》 （1994） 中的緊張場景中，獲得了很棒的側視圖。

當然，完成如此逼真的換臉還需要大量的訓練。本次用到了《宋飛傳》里的鏡頭，時長達 66 小時，其中大部分鏡頭是 Jerry Seinfeld 的。

影視演員可以獲得大量人臉視頻，但對于我們普通人來說，側面 90 度的照片卻很少，可能是側面照不能表達太多東西，而更多角度的照片可以提供更豐富的內容。

由于可用數據缺乏，很難獲得一系列普通人的圖像。因此，Deepfake 這一缺點提供了一種潛在的方法，可以在實時視頻通話中發現「偽造」的人臉。如果你懷疑和你說話的人可能是一個「深度偽造的人臉」，你可以讓他們側身一到兩秒鐘，看看對方有沒有破綻露出。

今年 5 月，AI 安全公司 Sensity 發布了一份報告和一段視頻，展示了一個類似 DeepFaceLive 的系統，該系統通過偽造身份成功地騙過活體檢測器。

Sensity CEO 兼首席科學家 Giorgio Patrini 表示，他們在實驗和測試中沒有進行 90 度人臉檢測，并表示將人臉的側視圖用作身份驗證的一種形式時，確實可以提供一些保護來防止 deepfake 技術。正如前面所指出的，缺乏廣泛可用的側視圖數據，使得 deepfake 檢測器的訓練非常具有挑戰性。

意識到訓練數據的缺陷，論文《Dual-Generator Face Reenactment》的附加材料中提供了一些包含 90 度的人臉照片。

自該現象出現以來，研究界一直在深入研究和開發 deepfake 檢測技術，但在一定程度上相關技術還是受到了阻礙。

盡管如此，研究人員還是提出了一些解決方案來保證視頻通話中的安全。這些解決方案包括測量監視器照明、評估面部區域的不一致等方法。

Deepfake 換臉能夠以假亂真，但鑒別算法總能找到破綻，以控制假視頻的傳播。