利用人工智能,科學家現在甚至可以在智能手機上快速生成照片級真實感彩色3D全息圖。根據一項新的研究顯示,這項新技術可以在虛擬現實(VR)和增強現實(AR)耳機以及其他應用中得到應用。
全息圖能夠出色地展現3D世界,而且它的呈現效果非常漂亮。全息圖可以根據觀看者的位置提供變化的視角,并允許眼睛調整焦深以交替聚焦在前景和背景上。
提起三維場景可視化,虛擬現實(VR)是最常見的一種技術。雖然用戶實際上是注視著 2D 顯示器,但 VR 會產生 3D 觀看的錯覺,從而使人視覺疲勞和感到頭暈惡心。更好的 3D 可視化解決方案可能在于一種誕生了六十年的技術:全息圖。
然而,盡管像三星這樣的公司最近在開發能夠顯示全息視頻的硬件方面取得了長足的進步,但實際生成全息數據以供此類設備顯示仍然是一個重大挑戰。
長期以來,研究者們一直在試圖制造出計算機生成的全息圖,但傳統上,該過程需要一臺超級計算機來進行物理模擬,這非常耗時,并且產生的效果真實感不高。
為了把全息影像帶給大眾,科學家們嘗試了許多不同的策略來減少所需的計算量——例如,用簡單的查找表代替復雜的物理模擬。然而,這些往往以犧牲圖像質量為代價。
現在麻省理工學院(MIT)的研究人員已經開發出一種新的方法,幾乎可以瞬間產生全息圖——這種基于深度學習的方法非常有效,它可以在筆記本電腦上一眨眼就產生全息圖。他們在近日的《自然》雜志上詳細介紹了他們的研究結果,該研究部分由索尼公司資助。
麻省理工學院計算機科學家Liang Shi說:“一切都神奇地完成了,這真的超出了我們的預期。”
Shi指出,利用物理模擬計算全息圖涉及到計算全息圖中許多塊的外觀,然后將它們結合起來得到最終的全息圖。他說,使用查找表就像記憶一組常用的全息圖塊,但這犧牲了準確性,仍然需要組合步驟。
在某種程度上,計算機生成的全息圖有點像計算如何切蛋糕,Shi說。使用物理模擬來計算空間中每個點的外觀是一個耗時的過程,類似于使用八次精確切割來生產八片蛋糕。使用計算機生成全息圖的查找表就像在切割前標記每個切片的邊界一樣。雖然這樣做省去了計算切割位置的步驟,節省了一點時間,但執行所有八次切割仍然需要大量時間。
相比之下,新技術利用深度學習,從根本上解決了如何只切三次蛋糕就把蛋糕切成八片的問題,Shi說。卷積神經網絡——一個大致模擬人腦如何處理視覺數據的系統——學習“捷徑”來生成一個完整的全息圖,而不需要單獨計算每一塊全息圖的顯示方式,“這將使總運算量減少幾個數量級,”他說。
研究人員首先建立了一個由4000張計算機生成的圖像組成的自定義數據庫,每個圖像都包含每個像素的顏色和深度信息。該數據庫還包括對應于每個圖像的三維全息圖。接下來,算法開始發揮作用。卷積神經網絡學習如何生成新的全息圖,通過多攝像頭設置或激光雷達傳感器進行計算。
新系統需要不到620 kilobytes的內存,并且可以在單個消費級GPU上每秒生成60幅分辨率為1920×1080像素的彩色3D全息圖。研究人員可以在iPhone11Pro上以每秒1.1個全息圖的速度運行它,在Google Edge TPU上以每秒2個全息圖的速度運行它,這意味著有朝一日它可以在未來的虛擬現實(VR)和增強現實(AR)移動耳機上實時生成全息圖。
實時 3D 全息技術還有助于 VR、3D 打印等系統的發展。研究團隊表示,新系統可以幫助 VR 觀眾沉浸在更真實的場景中,同時消除眼睛疲勞和長期使用 VR 的其他副作用。這項技術可以很容易地應用在調制光波相位的顯示器上。目前,大多數價格合理的消費級顯示器只調節亮度,但如果廣泛采用 3D 全息技術,相位調制顯示器的成本會下降。
未來的研究可能會增加眼睛跟蹤技術,通過創建只有眼睛看的地方才有高分辨率的全息圖來加速系統的速度,Shi說。另外,他補充,另一個方向是根據人的視覺敏銳度來制作全息圖。
原文標題:研究人員推出3D全息圖生成新方法 可在智能手機上實時運行
文章出處:【微信公眾號:IEEE電氣電子工程師學會】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
3D
+關注
關注
9文章
2883瀏覽量
107593 -
vr
+關注
關注
34文章
9640瀏覽量
150327
原文標題:研究人員推出3D全息圖生成新方法 可在智能手機上實時運行
文章出處:【微信號:IEEE_China,微信公眾號:IEEE電氣電子工程師】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論