借助攝影測量方法以及GPU賦力的深度學習,以虛擬形式探訪陵墓的細節。
現在,游客無需越洋飛行就能探索納菲爾塔莉墓的精致細節。
納菲爾塔莉墓被譽為埃及最好的墓穴之一。主人納菲爾塔莉被認為是拉美西斯二世五位妻子中最美麗的一位。拉美西斯二世為其建造的陵墓是紀念其美貌的圣地,陵墓中三間墓室和走廊墻壁都用彩飾進行裝飾。
納菲爾塔莉墓與王后谷中的大多數陵墓一樣,在考古學家發現之前也曾遭到過盜墓。雖然已采取相應的保護措施,但景點仍然非常脆弱。
Simon Che de Boer及其位于新西蘭的視覺特效研發公司realityvirtual.co找到了一種數字方式來保護納菲爾塔莉墓,為無數人參觀墓中景象提供了機會。
納菲爾塔莉:永恒之旅(Nefertari: A Journey to Eternity)提供VR體驗,通過高端攝影測量、視覺效果技術和AI,打造令人震撼的細節體驗,使納菲爾塔莉墓重現昔日輝煌。游客可以采用數字方式四處行走,從不同視角進行參觀,還可以進行放大以近距離觀察
對于需要跨越半個地球才能目睹這一景觀的游客來說,這是一個效果逼真的替代選擇。
使用NVIDIA Quadro GPU處理海量數據
為了復制陵墓精致的細節,Che de Boer拍攝了近4000張4200萬像素的景點照片,然后將攝影測量(在照片中進行測量的科學)與深度學習方法結合,對其進行處理和可視化。
NVIDIA GPU在處理現場采集的大量攝影測量數據上發揮了關鍵作用,其處理速度比CPU快很多倍。
GPU也是進行3D重建和呈現細節紋理不可或缺的部分。通過借助部署高端NVIDIA Quadro GPU的強大HP工作站,realityvirtual.co使用CapturingReality將數據轉換為密集的240億3D點云,以進行初始創建。
初始清理工作則使用Autodesk MeshMixer和Maya完成。然后,他們使用內部專用流程完成改良工作并提高效率,包括填充孔、推斷材料特性、去除噪點和清理人工痕跡。
Che de Boer 在陵墓內部拍攝圖像
接下來,他們對這些龐大的數據集進行優化,以便在Unreal Engine中以每秒90幀的穩定速度進行實時渲染,利用Granite的紋理流保留全部240億個細節點。
Che de Boer說:“由于數據集非常龐大,處理和播放速度是關鍵。NVIDIA的新架構與Unreal Engine相結合,加快了處理速度,并為處理龐大的數據量提供支持。”
AI助力創建更為逼真的VR
如果不去除陵墓中的現代人工痕跡,就不可能參觀到“真正”的古墓。為了實現這一目標,realityvirtual.co收集了陵墓的所有壓縮數據,并且使用可編程Tensor Core和單個高端NVIDIA Quadro GPU提供的24Gb VRAM容量訓練其超級采樣集。
通過訓練計算機使其理解所看到的事物,計算機可以修改圖像以清除現代人工痕跡。例如,通過圖像修復方法去除出口標志、牌匾、扶手、地板和鹵素燈,并使用與周邊環境相關的元素取代這些區域。
為了覆蓋圖像中的缺口、清除不需要的元素或修復源攝影測量圖像中的重疊區域,realityvirtual.co利用一種新的基于AI的圖像修復方法(此方法由NVIDIA Research開發,并且即將通過NVIDIA NGX技術堆棧提供給軟件開發者),使用周邊環境的元素填充這些區域。
Che de Boer說:“如果沒有高端NVIDIA Quadro提供的內存,處理4200萬像素圖像的數據是不可能的。我們在攝影測量和AI處理過程中廣泛使用了NVIDIA CUDA cuDNN,且貫穿到我們創作的各個環節,以實現最為逼真的效果。這看起來非常震撼,您可以獲得一種身臨其境的感覺,如果我們將NVIDIA RTX實時光線追蹤整合到未來的版本中,這種體驗只會變得更好。”
更新的內部版本已通過realityvirtual.co的超級采樣法運行。這是在他們自己的數據集上進行超級采樣訓練,進一步提高了最終紋理映射的細節水平。
無論參觀者距離陵墓的現代人工痕跡有多近,都無法分辨得出它們。除此之外,最近越來越多的項目開始使用realityvirtual.co的deepPBR方法,以消除圖像擴散、粗糙和位移。這對使用基于物理渲染的引擎(例如Unreal Engine)而言非常重要。
所有這些數據都是自行進行訓練的,這是一個AI使用自身數據進行自我改進的好例子。此結果可用作教學模擬,并可在STEAM游戲平臺免費獲得,但是需要Vive、Rift或Windows VR頭盔。
為了繼續記錄遺產并在未來對其進行數字保護,最近Che de Boer與來自洛桑聯邦理工學院(EPFL,瑞士洛桑的一所著名的研究大學)的Sarah Kenderdine教授達成了戰略合作關系。他們希望通過合作以虛擬形式重建新西蘭的克賴斯特徹奇大教堂,重現它2011年遭到地震破壞之前的樣子。此外,他們也在其他一些尚未公布但非常著名的自然景觀上進行合作。
Che de Boer 表示:“這些都是知之者眾而見之者寡的地方,我們的目標是讓全世界的人都能參觀這些景點,否則他們可能在有生之年都沒有機會感受這些景點。”
-
gpu
+關注
關注
28文章
4761瀏覽量
129136 -
AI
+關注
關注
87文章
31294瀏覽量
269646 -
深度學習
+關注
關注
73文章
5510瀏覽量
121343
原文標題:借助超現實VR探索埃及納菲爾塔莉墓
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論