虛擬現實和增強現實正逐漸成為外科手術和醫療保健領域的寶貴工具。

在與醫生溝通關于疾病的話題時，也許我們不會愿意佩戴一個VR頭顯并手握控制器，但這樣做可以更好地進行手術前的咨詢，緩解患者對于手術的焦慮。

在VR世界中，計算機生成的三維圖形使得神經外科醫生可以使用頭顯來全方位觀察大腦，并為患者進行講解，這有助于患者直觀看到自己的大腦情況，并對手術有更深刻的了解。

神經外科醫生早已開始使用VR技術規劃手術。MRI（磁共振成像）掃描僅顯示腦的2D圖像，但不能顯示血管的位置。由于每個人情況不同，因此在手術之前了解血管的位置至關重要。通過VR，這樣的需求很容易實現。

除了在手術前讓患者放心并幫助外科醫生進行更有效的手術計劃外，VR還被用于培訓外科醫生。

有幾家公司開發了VR軟件作為醫療培訓工具。比如Osso VR，該公司的同名產品使醫學生和外科醫生能夠有效地熟悉典型案例，不斷練習，直到整個手術過程變得信手拈來。

該系統使用Oculus Rift頭顯和兩個控制器來對用戶進行動作跟蹤，學生可以模擬操作手術過程，以熟悉新技術。系統可以模擬某些手術，例如膝蓋置換。聯合創始人兼CEO Justin Barad表示，學生還可以將操作時間設置在20至30分鐘之間，甚至對程序進行自定義設置。

Osso VR有一個素材庫，一些是在內部創建的，一些是典型案例的重建。

VR可以幫助外科醫生練習常規手術，或者在一個具有挑戰性的解剖操作上練習，例如畸形骶骨。。

在一項驗證研究中，一組學生接受傳統培訓，另一組學生使用Osso VR進行15至20分鐘的培訓。VR組在測試儀器操作、操作流程和特定程序知識等測試中表現更好。

世界衛生組織的一份報告發現“新技術帶來不良事件的主要原因是訓練不當和學習時間長”。然而，傳統的場外培訓耗時且昂貴，因此鼓勵使用新設備或技術進行培訓。

Barad是一位整形外科醫生，他看到許多住院醫生盡管在大學學習多年，仍然無法操作，因為在沒有足夠時間學習的情況下還不斷有新技術和程序出現。VR讓你可以親自動手進行模擬，在訓練中完成外科手術。

研究表明，與使用文字和視頻學習的學生相比，VR的沉浸式培訓可以將有效率提高230%。

一些外科手術團隊在手術之前使用VR來熟悉操作以及醫生之間的協作。通常情況下，手術室中有六個或更多人，他們往往沒有機會事先操作一遍。VR則允許團隊快速完成模擬，在VR中進行“熱身”。

還有一些提供意見的專業團隊，可能根本不會彼此見面，但VR可以為位于不同地點的用戶建立聯絡。

Digital Surgery的培訓產品Touch Surgery使用AR和VR模擬手術程序。它是Microsoft混合現實合作伙伴（MMRP），作為該計劃的一部分，提供系統和開發人員將在VR系統中使用的內容。

去年，Touch Surgery宣布使用微軟的HoloLens頭顯和人工智能（AI）以及數字手術流程數據庫，訓練計算機了解手術并預測手術的后續步驟。Touch Surgery軟件目前用于通過PC和智能手機準備手術或培訓外科醫生。

AR在醫療領域也有了新的用途，建立在VR和機器人手術的基礎上。首次使用的案例是利用AR在手術過程中對患者進行掃描。因為在手術過程中切換VR與實際環境是不切實際的，而AR是將虛擬圖像疊加在真實世界中，在這樣的場景下，AR比VR更實用。

機器人手術很受歡迎，因為它是微創的，這是在手術室中使用AR的早期例子。機器人手臂末端的小型儀器可由外科醫生操作和控制，觀看來自3D相機的放大圖像。外科醫生通過手術室中的控制臺控制三個或更多的機器人手臂。

所觀察的圖像是外科醫生在手術臺上俯視患者時會看到的圖像，但是AR允許在該圖像上查看數據以豐富外科醫生看到的內容。為了加速進展，制造達芬奇機器人系統的Intuitive Surgical宣布了2019年的資助撥款，以支持外科機器人研究，增強可視化、渲染和AR。

加拿大初創公司Aris MD正在開發一種AR/VR系統來處理2D掃描圖像并將其轉換為3D圖像，這些圖像在手術期間覆蓋在患者身上。使用來自MRI，CT，X射線或超聲掃描的診斷圖像，該技術提供了患者解剖和損傷的圖。這樣的“地圖”可以節省手術時間并減少患者麻醉的時間。

下一步是進行遠程手術，世界各地的外科醫生團隊在同一程序上一起工作。技術已準備就緒，但遠程手術的挑戰是網速。如果外科醫生進行遠程手術，需要能夠在大約70毫秒內顯示信息。這需要一個可靠的互聯網連接。

軟件和硬件公司正致力于在醫療保健領域使用VR和AR技術。據不完全統計，2017年約有400家醫療VR初創企業籌資40億美元，高于前一年約25億美元。醫生們也熱衷于采用這項技術。

目前的VR技術對于醫療領域來說還有一些不足。VR頭顯笨重且舒適度不夠支撐長時間使用，控制手柄不適合在手術中使用，需要更自如的手動追蹤方案。雖然現在可以使用外骨骼和觸覺手套，但是動作和顯示之間依然存在時間差，并且對于外科手術來說追蹤還不夠精確。

盡管有這些限制，但業內人士大多認為，硬件和軟件問題將在兩年內解決，VR/AR技術將進入更多手術室。