日前美國專利商標局公布了一份來自蘋果的專利延續案申請。這份發明主要面向用于將用戶沉浸在虛擬現實/增強現實/混合現實（MR）環境的頭戴式顯示器。

用戶佩戴頭顯示意圖，配備多個攝像頭和紅外發射器

沉浸感質量取決于數個重要因素，如顯示器的特性，比方說圖像質量、幀速率、像素分辨率、高動態范圍（HDR）、視覺暫留和紗窗效應。

追蹤各種元素通常是實現高端VR/MR應用體驗的必要前提。在所述要素中，頭部追蹤、用戶身體追蹤和環境追蹤是實現沉浸感的關鍵。

頭部追蹤的目標是估計頭顯在環境中的位置和方向，這必須是低延遲和高精確。原因是，渲染的圖形必須與用戶的頭部運動緊密匹配，以便在虛擬現實中產生足夠的沉浸感或在混合現實中正確地將數字內容對齊真實世界。

用戶身體追蹤用于估計用戶身體（主要但不限于手和手指）相對于頭顯的位置和方向。它可以在VR/MR中提供一種用戶輸入方式（如手勢），并實現與虛擬元素的交互。行業存在不少用于手部追蹤的方法，如通過紅外攝像頭追蹤手持式控制器搭載的LED陣列。其他方法則利用較小的分析空間（通常在距離頭顯一米的范圍內）來增加手部和手指追蹤算法的魯棒性。

例如，近距離飛行時間（ToF）攝像頭可以與頭顯集成或嵌入到頭顯之中。這種攝像頭可以生成手部的深度圖，然后可以從中構建手部的骨骼模型。另一種方法是使用紅外LED泛光燈和攝像頭來分割和估計手和手指的3D點。

相關專利：Apple Patent | Head-mounted display for virtual and mixed reality with inside-out positional， user body and environment tracking

下面的專利圖2A是用于實現虛擬現實和混合現實的光學元件、顯示器和攝像頭的示例性實施例。

圖4A是頭顯設備的第一示例性實施例的前視圖，其中兩個RGB攝像頭針對透視目的（MR）進行了優化，兩個IR攝像頭提供用于追蹤的視覺數據。

圖5是實現具有頭部追蹤和用戶身體追蹤的處理步驟流程圖；圖8是實現用戶身體追蹤的示例性流程圖。它同時包括手勢識別。

作為專利延續案，這份文件主要增改了下面的內容，并且集中在紅外投影儀的使用：

專利請求1：一種方法，包括：頭戴式顯示設備包括非暫時存儲器、一個或多個處理器、用于與第一和第二RGB立體攝像頭通信的通信接口、紅外（IR）投影儀、一個或多個IR傳感器和顯示器；通過第一RGB立體攝像頭獲得物理環境的第一立體圖像；通過第二RGB立體攝像頭獲得物理環境的第二立體圖像；通過紅外投影儀將紅外電磁輻射的紅外模式投影到物理環境；通過一個或多個紅外傳感器獲取用于與IR圖案反射相關聯的物理環境的紋理信息；至少部分地根據紋理信息將第一立體圖像中的每個像素匹配到第二立體圖像中的不同像素，從而生成密集深度映射；根據密集深度映射將虛擬內容與第一和第二立體圖像合成以生成顯示圖像；以及通過顯示器顯示顯示圖像。

專利請求3：專利請求1所述的方法進一步包括：根據隨機或偽隨機算法之一，通過紅外投影儀生成紅外圖案。

專利請求8：對于專利請求1所述的方法，頭戴式顯示器的通信接口同時與一個或多個紅外泛光燈通信，并且所述方法同時包括：根據時間復用方案操作所述紅外投影儀和所述一個或多個紅外泛光燈。

專利請求9：專利請求8所述的方法進一步包括：實時調制紅外投影儀和一個或多個紅外泛光燈的曝光時間、傳感器增益和強度中的至少一個，以降低圖像飽和并提高動態范圍。

專利請求11：一種頭戴式顯示設備包括：用于與第一和第二RGB立體攝像頭通信的通信接口、紅外（IR）投影儀、一個或多個紅外傳感器和顯示器；一個或多個處理器；以及存儲一個或多個程序的非暫時存儲器。當由一個或多個處理器執行時，所述程序致使頭戴式顯示器：通過第一RGB立體攝像頭獲取物理環境的第一立體圖像；通過第二RGB立體攝像頭獲取物理環境的第二立體圖像；通過紅外投影儀將紅外電磁輻射的紅外圖案投射到物理環境；通過一個或多個紅外傳感器獲取用于與IR圖案反射相關聯的物理環境的紋理信息；至少部分地根據紋理信息將第一立體圖像中的每個像素匹配到第二立體圖像中的不同像素，從而生成密集深度映射；根據密集深度映射將虛擬內容與第一和第二立體圖像合成以生成顯示圖像；以及通過顯示器顯示顯。
責任編輯人：CC