近日，F(xiàn)acebook CEO 扎克伯格透露公司正在研究一款可用于AR眼鏡的腦機(jī)接口技術(shù)，但該技術(shù)并非將AR眼鏡以植入性芯片的形式進(jìn)行，而是希望能開(kāi)發(fā)成可量產(chǎn)的可穿戴技術(shù)。

類似《刀劍神域》中那般腦機(jī)接口被認(rèn)為是虛擬現(xiàn)實(shí)的最終形態(tài)，也是最理想的形態(tài)，然而這個(gè)離我們似乎還有些遙遠(yuǎn)。

一直想要發(fā)展VR社交的Facebook，一邊在規(guī)劃幾十年后的未來(lái)，同時(shí)也在踏踏實(shí)實(shí)地走好每一步。比如剛剛公布的Codec Avatars技術(shù)，就讓VR社交中的虛擬人物表情動(dòng)作達(dá)到了非常真實(shí)的狀態(tài)，仿佛在虛擬世界中復(fù)刻了一個(gè)“真實(shí)”的你。

就此新科技與前卡內(nèi)基梅隆大學(xué)(Carnegie Mellon University)副教授現(xiàn)

FaceBook超逼真化身的研究者Yaser Sheikh進(jìn)行了交談。

視頻畫面中有一名年輕女子，她的眼睛閃爍著光芒說(shuō)：“門口站著一個(gè)大塊頭的傻瓜。然后他說(shuō)：‘你以為你是誰(shuí)，蓮娜·荷恩（上世紀(jì)美國(guó)超級(jí)黑人巨星）嗎？’我說(shuō)雖然我不是荷恩，但我就像姐姐一樣了解荷恩。”

上面這段獨(dú)白來(lái)自沃頓·瓊斯的戲劇《1940年的廣播時(shí)刻》的開(kāi)場(chǎng)白。畫面中的年輕女子繼續(xù)說(shuō)著這段臺(tái)詞，能看出來(lái)她很清楚自己在做什么。當(dāng)她詳細(xì)講述門衛(wèi)的聲調(diào)變化時(shí)，臉上蕩漾出笑容，就像在跟你講笑話一般。她咬字準(zhǔn)確時(shí)，嘴唇的形狀會(huì)發(fā)生恰到好處的變化，聲音抑揚(yáng)頓挫。她的表情經(jīng)過(guò)如此精細(xì)的校準(zhǔn)，朗讀臺(tái)詞時(shí)如此地胸有成竹，再加上黑色背景，恍然之中你會(huì)覺(jué)得自己仿佛正置身于百老匯劇院，眼前在上演的正是上世紀(jì)70年代后期的百老匯戲劇。

唯一的不足之處就是：她脖子以下的身體都消失不見(jiàn)了。

Yaser Sheikh伸出手停止了視頻的播放。剛剛畫面中的年輕女子實(shí)際上是一個(gè)看上去極其逼真的VR虛擬化身，她令人驚艷的表現(xiàn)背后是收集的數(shù)據(jù)在運(yùn)作。

形象創(chuàng)建

為了創(chuàng)建每個(gè)頭像，F(xiàn)acebook使用了一個(gè)專門的拍攝工作室，由132個(gè)指向中心的攝像頭組成。幾個(gè)小時(shí)后，一個(gè)人做出各種各樣的面部表情，系統(tǒng)就會(huì)生成一個(gè)獨(dú)特的逼真的頭像。另一個(gè)新建的系統(tǒng)捕捉身體。

Yaser Sheikh解釋道:“目前，創(chuàng)造逼真的化身需要使用Facebook現(xiàn)實(shí)實(shí)驗(yàn)室匹茲堡辦公室的高度定制的攝像頭和麥克風(fēng)系統(tǒng)，捕捉研究參與者的大量高質(zhì)量音頻和視頻。這些數(shù)據(jù)被用來(lái)訓(xùn)練人工智能系統(tǒng)，也許有一天，用戶可以通過(guò)幾張快照或幾段視頻，快速、輕松地構(gòu)建自己的編解碼化身。”

由于一些原因，目前無(wú)法與消費(fèi)者合作，因此研究的主要焦點(diǎn)是使用機(jī)器學(xué)習(xí)來(lái)生成這種細(xì)節(jié)的化身。可能有一天，你在Facebook或Instagram上現(xiàn)有的照片就足夠了。我問(wèn)Yaser Sheikh，他是否嘗試過(guò)把自己的照片從Facebook上傳到Facebook的系統(tǒng)中，看看他是否能利用Facebook創(chuàng)建一個(gè)化身。他說(shuō)，在嘗試之前，他們需要更多地了解光是如何與皮膚相互作用的。

捕獲研究

為了驅(qū)動(dòng)這些面部化身，F(xiàn)acebook在頭戴式捕捉研究設(shè)備的內(nèi)部建立了一個(gè)帶有攝像頭的系統(tǒng)，其中一個(gè)攝像頭安裝在鼻子上。讓人令人印象深刻。

VR頭盔的內(nèi)部相對(duì)較暗，你不想讓光線蒙蔽用戶。可以用肉眼看不見(jiàn)的紅外光來(lái)照明。這些類型的光用于Oculus Rift的“星座”位置跟蹤系統(tǒng)，經(jīng)常用于眼球跟蹤。Facebook在這里使用同樣的技術(shù)來(lái)照明捕獲系統(tǒng)。

其它處理

Facebook在加利福尼亞州的索薩利托有一個(gè)單獨(dú)的團(tuán)隊(duì)，他們正在研究一種不同的方法來(lái)制作逼真的化身。

Yaser Sheikh解釋道：“這涉及到探索基于物理可以與任何交互的虛擬環(huán)境,結(jié)合基礎(chǔ)研究生物力學(xué)、神經(jīng)科學(xué)、運(yùn)動(dòng)分析、和物理驅(qū)動(dòng)模擬，這項(xiàng)技術(shù)仍然依賴于實(shí)時(shí)數(shù)據(jù)采集，就像編解碼的化身一樣，但它驅(qū)動(dòng)的不是實(shí)時(shí)傳感器數(shù)據(jù)驅(qū)動(dòng)神經(jīng)網(wǎng)絡(luò)，而是一個(gè)基于物理的模型，靈感來(lái)自人體解剖。”

Facebook應(yīng)該在今年晚些時(shí)候分享更多關(guān)于這種方法的信息。

研究了很長(zhǎng)時(shí)間，但仍然很遙遠(yuǎn)

Facebook的Oculus多年來(lái)一直在研究人臉跟蹤和逼真的化身。在2015年的SIGGRAPH大會(huì)上，Oculus與南加州大學(xué)合作進(jìn)行的研究揭示了一個(gè)硬件原型，一個(gè)笨重的手臂附在一個(gè)開(kāi)發(fā)工具包上。

眼鏡泡沫內(nèi)襯中的附加傳感器將能夠讀取攝像頭被遮擋時(shí)的表情。

匹茲堡的FRL沒(méi)有參與早期的研究。Facebook正在“尋找可能的解決方案”，Yaser Sheikh分享了一些“奇跡”，這些奇跡需要發(fā)生才能成為主流。他說(shuō)，總的來(lái)說(shuō)，他們的目標(biāo)是最終將技術(shù)轉(zhuǎn)移到產(chǎn)品團(tuán)隊(duì)。不過(guò)，他提醒說(shuō)，他們首先需要弄清楚如何在提供最少信息的情況下制作出真實(shí)的化身。

Yaser Sheikh說(shuō):“完成身體的其余部分是另一個(gè)奇跡。”

控制距離和數(shù)字化

在消費(fèi)產(chǎn)品中，Yaser Sheikh的團(tuán)隊(duì)和Facebook的其他人正在打造的高品質(zhì)化身將從根本上改變溝通的本質(zhì)。我們將不再討論有限的卡通近似表情。我們將與人類對(duì)話，不管距離有多遠(yuǎn)。

一些研究人員和科學(xué)家認(rèn)為，再現(xiàn)人類微妙表情的問(wèn)題是VR中最難解決的問(wèn)題之一。不過(guò)，有一天，與這些化身的對(duì)話可能會(huì)成為遠(yuǎn)程通信的主要形式，取代并消除視頻通話的限制。

這項(xiàng)技術(shù)的發(fā)展也帶來(lái)了巨大的風(fēng)險(xiǎn)。如果你的外表和行為習(xí)慣可以被別人當(dāng)作有意模仿，那么數(shù)字化模仿的風(fēng)險(xiǎn)是巨大的。

Yaser Sheikh通過(guò)電子郵件更詳細(xì)地解釋了這一點(diǎn):

這是早期的研究，隨著我們繼續(xù)開(kāi)發(fā)這項(xiàng)技術(shù)，我們正在務(wù)實(shí)地考慮我們可以采取的措施，以打擊濫用化身。例如，我們正在研究如何確保您的頭像在真實(shí)帳戶中是安全的。我們?nèi)绾卧谄脚_(tái)上處理真實(shí)身份將是其中的關(guān)鍵部分，我們已經(jīng)討論了未來(lái)設(shè)備的幾個(gè)安全和身份驗(yàn)證選項(xiàng)。顯然，我們離這種技術(shù)還有一段路要走，但我們現(xiàn)在想要考慮解決方案。