近年來計算機的發展趨勢之一是形態的多樣化與應用情境的復雜化，自然交互（natural interaction）日益成為人機交互的重要發展方向之一。虛擬現實（Virtual Reality，VR）是新興計算機形態之一，是自然交互的重要組成部分。2010年以來，隨著Oculus、HTC Vive、Google Glass、PsvR、Micro soft hololens等商用頭戴式顯示設備（Head- Mounted Display，HMD）的發行，虛擬現實、增強現實（Augmented Reality，AR）技術逐漸進入人們的日常生活。

在應用方面，除了常見的VR游戲、VR視頻以外，VR和AR技術在教育、軍事、醫療、商業等領域也有著廣泛應用。由此，人們對VR技術產生了不同于以往桌面顯示設備的需求，比如，高性能的VR系統應具有沉浸感、想象性和交互性特點（Immersion， Imagination， Interaction，3I）。這些需求促進了VR技術的發展。當然，作為一種新的人機交互形式，VR交互中還存在一些問題，需要我們注意并加以預防。下面就讓大家和小編一起看看VR技術的新發展吧。

1. VR中輸出技術的發展

與傳統的桌面顯示設備類似，視覺仍然是VR中輸出信息的主要模態，但也有不同于桌面顯示設備的需求，如分辨率及像素密度、近眼顯示、視場角（Field of view，FOV）等。另外，為了增強沉浸感、提高VR交互的自然性，對于VR環境中其他模態（聽覺、觸覺）的信息呈現也有區別于傳統桌面顯示設備的需求。

（1）視覺

VR中的視覺顯示至少在兩方面與傳統的桌面顯示不同：第一，顯示屏（鏡片）與人眼的距離更近；第二，兩塊鏡片呈現的內容不同，通過雙眼視差給人提供立體感。因為顯示屏與眼睛距離更近，對于同等質量的顯示屏，在VR中更容易觀察到像素點，畫質感相對粗糙、不真實，進而影響呈現效果。

我們研究發現，在普通分辨率的液晶顯示器、VR、AR上完成相同的閱讀任務，在VR上準確接收到的信息量大約是液晶顯示器的79%，在AR上準確接收的信息量大約是液晶顯示器的85%。

如果在液晶顯示器、VR、AR上完成相同的快速閱讀任務，被試者在選擇選項時，在VR和AR上需要多花費約10%的時間，即反應更慢；如果想要在VR設備上得到相同的閱讀績效，VR設備需要配備不低于3K分辨率的顯示屏。除了分辨率以外，3D文字、AR環境中的文字疊加背景也會影響VR和AR設備的閱讀績效。

在VR、AR環境中，用戶不再受物理顯示設備的范圍限制，可以在虛擬環境中同時放置多個窗口，如何設計多窗口布局將會影響交互的效率。我們研究發現，設計多窗口布局時需要關注切換距離與路徑，有中心布局（C-type）適用于低頻切換任務，無中心布局（NC-type）適用于高頻切換任務。

我們優先推薦橫向布局，重視滿意度時推薦縱向布局，重視績效時推薦斜向布局。新的VR設備已經在提高分辨率上取得了一些進展。HTC最新推出的Vive pro，組合分辨率達到了2880×1600，已經接近3K分辨率。實驗室的原型機最高分辨率已經達到8K。

（2）聽覺

在以桌面顯示器為主流顯示設備的時代，聽覺可以通過耳機呈現立體聲音效，來模擬環境中不同位置的聲音。在VR中，因為視覺信息可以以立體、360度環繞的形式呈現，所以視聽整合（audio visual Integration）變得更加重要。視聽整合對呈現虛擬環境中物體的深度信息具有重要作用。

研究者將3D聲音信息作為主要線索來幫助使用者判斷物體的距離遠近，發現隨距離變化而調節聲音大小的3D信息能有效幫助使用者判斷物體距離，這種線索也能有效幫助使用者完成目標搜索任務。我們的研究發現，VR環境中的視聽整合對于深度線索的影響也體現在視聽不一致時，人們對視覺刺激的距離會偏向于聽覺刺激。我們的另一項研究發現VR動態背景下聽覺信息影響視覺搜索：當不同方位的聽覺信息影響覺察任務的反應時，如果聽覺信息與視覺目標的空間位置一致，則反應更快。

（3）觸覺

傳統的桌面顯示設備一般沒有觸覺顯示，人們在日常人機交互中接觸的觸覺信息主要是手機的震動。觸覺信息對于視覺有障礙人群具有特殊意義。有一系列為特殊用戶群體設計的觸覺顯示設備，如Braille Display。觸力覺人機交互對于保證VR系統的3I特性至關重要，但是現階段的主流VR系統中觸力覺反饋仍然非常有限，成為制約VR交互發展的瓶頸。

手和皮膚是人們的主要觸覺感覺器官，相應地，VR配套的觸力覺設備主要有手套和全身穿戴設備兩大類。其中手套設備更重視真實感的重現以及雙向信息流動，而全身穿戴設備專注于提供更好的沉浸感。例如電影《頭號玩家》中的男主角穿戴的就是一套覆蓋全身的觸力覺系統。由開源VR平臺High Fidelity與觸覺設備公司NeoSensory合作開發的觸覺夾克exoskin，其beta版設備帶有32個感覺馬達，覆蓋上肢和主要軀干部位。Tesla Suit的全身穿戴設備融全身觸力覺反饋、溫度變化反饋、動作捕捉系統于一體，力圖為用戶提供VR環境中的真實感與沉浸感。

（4）多模態融合

為了實現真正的自然交互，VR系統不僅要提供高質量的視、聽、觸覺信息，還需要不同模態信息之間有效協同，避免互相干擾，力求達到融合、互補。我們研究發現，（1）在每次呈現1bit信息的情況下，視、聽、觸模態呈現信息的效果沒有顯著差異；在每次呈現2-4bit信息的情況下，視覺呈現信息的效果明顯優于聽覺和觸覺。（2）聽覺最適合呈現的信息形式是時間的長短，觸覺最適合呈現的信息形式是方位信息。（3）在快速連續呈現信息的條件下，多模態冗余信息沒有表現出相對于單模態的增益效果（multi-sensory enhancement）。在VR環境中，除了視聽整合，還要求實現視聽觸整合：同一物體的視、聽、觸的信息要在空間和時間維度上都保持一致，才能實現讓人滿意的整合效果。

2. VR中輸入技術的發展：

設計師和工程師自計算機誕生以來，從未停止對更加自然的交互形式的探索。從最早的穿孔卡開始，經過鍵盤鼠標，再到觸摸板和觸摸屏，交互方式在不斷進化。VR、AR的出現讓計算機顯示從有限尺寸的屏幕發展到沒有實體屏幕，這也要求我們進一步去發現新的交互方式。

（1）動作捕捉

動作捕捉技術，即以某種分辨率捕捉對象的大規模運動，在VR交互中也扮演著重要角色。動作捕捉主要有電磁、機械、聲學、光學和慣性式運動捕捉。其中，光學運動捕捉系統會監視、跟蹤捕捉對象上的特定光點。

慣性式動作捕捉系統，如Xsens MVN和3DSuit，主要通過把慣性傳感器設備（如加速度計、磁感應計和陀螺儀等）固定在重要節點上來實現。算法上的新進展，如機會計算模型（opportunistic computing model）、類增量隨森林、深度學習等方法可以有效提高動作識別精度，對于大規模數據的泛化能力也得到了提高。

（2）移動

移動是非常重要的交互，但是現實世界的空間往往是有限的，為了實現在虛擬空間中的無限移動，讓用戶在虛擬環境中可以不受限制地行走，還需要外接設備—例如萬向跑步機。

萬向跑步機利用動作捕捉技術，將用戶的行走、轉向等產生的動作轉化成用戶在虛擬環境中的化身的相應運動，讓用戶感覺自己在走動，但實際上是原地踏步。其他類似的外接設備使得VR效果更逼真，比如商場中常見的蛋椅9DVR、VR多人聯機產品、迷你VR綜合樂園、移動VR體驗館等。

（3）手勢、眼動、腦電

VR/AR交互的主要輸入方式包括語音、手勢、控制器（手柄）以及傳統的鍵盤鼠標等，另外還有正在發展中的眼動、腦電等輸入形式。AR眼鏡，如HoloLens，支持簡單的手勢交互。更專業主流的手勢識別設備主要有Leap Motion。另外，在VR、AR中輸入文本是一個難題，設備自帶的輸入方式效率非常低。一些新的輸入技術可以提高VR、AR中的文本輸入效率，如頭動輸入、空中打字、單維手勢輸入等。

用眼動來實現交互，通過捕捉眼球的運動，計算出注視點，并配合眨眼等動作實現對設備的操控。Google Glass就可以靠眼動來操控，而在HoloLens和配合手機使用的VR設備（如Google Cardboard）中，眼動技術仍然是一個難點，目前只能通過頭動來操控。將腦電技術應用于VR，通過便攜式腦電設備收集腦電信號，并由特定算法將生理信號識別為意圖（如情緒識別）并實現對其他設備的控制最終以腦機接口的形式進行意圖的輸入，也是發展方向之一。

3. VR在社交領域的發展

演化中的合作關系奠定了人類的社會屬性。VR技術的發展，必定會影響人們的社交形態。作為一種新興的媒體，VR環境既更新了媒體傳播的形式又豐富了媒體展示的內容。兩方面的發展讓虛擬環境下的社交形態更加多樣化，但可能引發一些新的問題。社會交往中，個人的身份構建（identity construction）是一個核心問題。在虛擬社交環境中，一個人可以體驗不同的身份，這種身份可能是跨職業跨年齡、跨性別甚至是跨物種的。不受限制的身份跨越，會引發大量的倫理問題。

除此之外，多樣的身份體驗也會直接對個人的自我認知造成影響，反向作用于真實世界的社交行為，并有可能刺激多重人格的差異化發展。在虛擬世界中，社交環境是虛構的，但用戶是真實的，虛擬社交會直接影響現實社會。因此，虛擬社交中的成人因素和暴力因素需要被妥善監管。現有的媒體研究表明，影視作品中的成人因素和暴力因素會對觀影者造成較大的影響，而VR環境中沉浸感更強，這類影響將進一步擴大。不受規范的虛擬社交很大可能導致現實世界中的反社會行為，這對于青少年可能更為嚴重。

虛擬世界的社交是會促進人們的社會交往還是會導致更嚴重的社會孤立呢？從好的方面講，對于不能進行面對面交流的情況，相比于傳統媒體，VR可以提供的信息更加豐富。除了圖像、語音之外，交流中重要的肢體接觸、環境烘托都成為了可能。虛擬社交能很好地作為真實社交的補充。但是，過分沉迷于虛擬社交，可能會導致對真實社交的忽略，造成社會孤立。

這一現象在社交媒體出現后已有體現，而沉浸感更強的VR社交有可能將這個問題放大。虛擬世界也可以發展親社會的社交：通過虛擬社交的方式增強使用者的同理心、同情心以及合作精神，改善他們在真實社交場景中的表現。總的來說，VR技術會帶來社交方式的變革。這種變革是一把雙刃劍，它具體會產生怎樣的影響還要取決于人們的使用方式，規則的健全程度等因素。