增強現實（AR）和虛擬現實（VR）技術近年在產業界和學術界吸引了極高的關注度，它們豐富了現實世界環境，或用模擬環境替代現實世界。然而，AR/VR設備存在的端到端延遲會嚴重影響用戶體驗。尤其是動顯延遲（Motion-to-photons latency，定義為從用戶發生動作到該動作觸發的反饋顯示在屏幕上所需要的時間），它是限制AR/VR應用的主要挑戰之一。例如，動顯延遲高于20 ms就會導致用戶惡心或眩暈。

因此，減少動顯延遲對于改善用戶的虛擬體驗至關重要。減少動顯延遲的一種常見方法是通過預判用戶的移動來預測未來的頭部方向，使AR/VR設備能夠提前渲染接下來的場景。因此，開發能夠在AR/VR設備中準確預測頭部方向的算法至關重要。當然，除了AR/VR應用，方向預測在無人機、機器人和導航系統等其他實際應用中也至關重要。

方向預測需要利用各種測量源（例如慣性傳感器或單目/立體相機）的信息來預先估算當前方向。例如，之前已有研究合并利用慣性傳感器和相機測量數據以估算物體的方向，其中慣性傳感器用于通過積分測量來確定方向，而相機輸出用于補償誤差。然而，相機視覺信息增加了估算過程的復雜性，不適合資源有限的設備。

此外，照明變化也會影響基于相機的算法性能。MEMS技術的進步推動了慣性測量單元（IMU）的小型化和經濟性。憑借其高采樣率、低延遲和小尺寸，IMU已被用于現代AR/VR設備，以獲取用于定位和方向的數據。

頭部方向預測示意圖

商用IMU通常包括三軸陀螺儀、三軸加速度計和/或磁力計。陀螺儀測量角速度并隨時間進行積分以確定方向角。然而，積分過程也會累積傳感器誤差；因此，隨著時間的推移，估算方向會偏離真實方向，影響可靠性。加速度計用于測量地球的引力場來克服這個問題，從而產生用于校正估算方向的參考矢量。測量地球磁場的磁力計也用于校正角速度。不過，由于其對磁干擾（如金屬或電氣設備產生的磁干擾）非常敏感，使其適用性受到限制。

此外，已有研究利用IMU基于卡爾曼濾波（KF）和粒子濾波（PF）開發了多種用于AR/VR設備的方向預測算法。基于卡爾曼濾波的算法通過遞歸地執行兩步預測和校正來導出最優估計。在預測步驟中，濾波器預測未來方向及其不確定性。

一旦觀察到實際測量結果，就使用加權平均來校正預測，其中不確定性較低的估計值被分配更大的權重。相比之下，粒子濾波是一種遞歸貝葉斯狀態估算模型，利用隨機樣本表示系統狀態的概率密度函數。因為粒子濾波可以以任何形式使用狀態空間模型，所以它們可以應用于廣泛的模型。然而，盡管粒子濾波更復雜，但與卡爾曼濾波相比，粒子濾波并未表現出顯著的改進。

因此，卡爾曼濾波更常用于方向估算和預測。由于標準卡爾曼濾波是僅在線性假設下的最優估算，因此其變體，例如擴展卡爾曼濾波（EKF）和無跡卡爾曼濾波（UKF），廣泛用于非線性系統中的方向預測。特別是擴展卡爾曼濾波通過將基于先前估算的狀態轉移函數線性化到當前估算來預測方向。

然而，當狀態轉移和觀測模型高度非線性時，擴展卡爾曼濾波可能由于不確定度的傳播而表現出較差的性能。在無跡卡爾曼濾波中，線性化被稱為無跡變換的確定性采樣方案所取代，該方案在均值附近選擇一組采樣點。因此，基于無跡卡爾曼濾波的算法不適用于AR/VR等計算能力有限的設備。

據麥姆斯咨詢介紹，韓國東國大學多媒體工程系的一支研究團隊近期提出了一種新的方向預測算法，通過解決傳統預測算法的局限性來提高預測精度。所提出的算法通過從當前方向估算線性位移及隨后的調整來補償線性預測引起的誤差。

當前預測基于先前預測的準確性進行調整。為此，確定先前線性預測和當前方向之間的方向差異。然后，研究人員定義了一個權重矩陣，基于方向差確定當前預測的最優調整。

與卡爾曼濾波的推導相似（不確定性較低的差異被分配更大的權重），使用當前和先前預測的方向之間的預測誤差，獲得最佳權重矩陣作為最小均方誤差（MMSE）估算。

總體來說，研究人員提出了一種配備IMU（包括三軸陀螺儀和三軸加速度計）、基于類卡爾曼誤差補償的AR/VR設備方向預測算法。這項研究的主要貢獻是基于先前的預測精度提高當前的預測精度，并基于方向差確定預測的最佳調整。實驗結果表明，該算法在多個開放數據集上優于傳統的方向預測算法。

審核編輯：劉清