今年年初三星正式發(fā)布了Galaxy S9，同時推出和iPhone X的Animoji非常相似的AR Emoji，它們的功能相差不多，都是用人臉的表情制作出一個動畫表情，由此通過社交軟件分享給朋友和家人，讓聊天變的更有趣。

最近，三星的一份專利公開，顯示出將AR Emoji應用到視頻聊天的可能。

專利中表示, 現(xiàn)有的視頻通信系統(tǒng)和服務, 如 Skype 和 Google 網(wǎng)絡, 在運行播放器應用程序的設備之間傳輸2D 視頻流。這種視頻通信系統(tǒng)通常將壓縮序列圖像的視頻流傳輸與設備之間的音頻流配對。大多數(shù)通信系統(tǒng)都是供單個用戶使用, 需要在包含照相機和顯示器的計算機設備上運行播放機應用程序。

但這樣的視頻通信系統(tǒng)在為用戶提供視頻功能的同時, 也存在一些弊端。例如, 現(xiàn)有的視頻通信系統(tǒng)通常需要較高的帶寬, 并且在將信號傳輸?shù)搅硪粋€設備之前需要生成和壓縮整個圖像序列時, 其固有的高滯后時間。所以, 對于低滯后時間和高質(zhì)量的應用程序, 現(xiàn)有的視頻通信系統(tǒng)要求通信設備最好通過 wi-fi、3G 或4G 移動通信技術進行傳輸。

因此, 需要有一個可視化的通信系統(tǒng), 能夠顯示用戶的實際肖像, 面部表情和實時的運動, 同時減少帶寬。

根據(jù)專利的說明, 發(fā)送3D 網(wǎng)格模型更新數(shù)據(jù)比一般傳輸方式發(fā)送圖像序列需要的帶寬要少得多, 從而允許在帶寬較小的環(huán)境中進行流暢的通信，可以解決前述問題。

這項專利主要是兩個設備之間視覺通信的方法和系統(tǒng)。包括創(chuàng)建第一個設備用戶的3D 網(wǎng)格模型;在二個設備之間的可視通信會話期間接收傳感器陣列中的傳感器數(shù)據(jù), 其中圖像數(shù)據(jù)包括第一個設備用戶的運動方式，第二個設備由圖像數(shù)據(jù)確定3D 網(wǎng)格模型的變化，將3D 網(wǎng)格模型更新顯示出來。

具體來說, 在第一個設備上, 記錄對3D 網(wǎng)格模型的更改和發(fā)送更新數(shù)據(jù)比獲得新圖像并且將圖像壓縮到圖像序列中的滯后時間更低。

在第二個設備上, 不需要等待整個圖像的傳輸和解壓縮循環(huán)，可以一次更新3D 網(wǎng)格模型。即使第二個設備不支持3D 視頻通信的情況下, 第二個設備仍然可以通過對3D 網(wǎng)格模型的分析，顯示出2D的圖像，同時通過傳統(tǒng)的2D 視頻傳輸方案將圖像傳輸給第一個設備。

在專利的一個案例中, 視頻模式的可能由用戶手動選擇。例如, 系統(tǒng)確認第一個設備包含3D攝像頭系統(tǒng), 那么據(jù)可以允許用戶在3D視頻模式或2D視頻模式之間選擇。如果混合視覺通信器發(fā)現(xiàn)該設備僅包括2D 攝像頭系統(tǒng), 則混合視覺通信可能默認為2D 視頻模式，系統(tǒng)也可以根據(jù)可用帶寬自動向用戶建議2D 視頻模式或3D 視覺模式, 并在可視化過程中根據(jù)帶寬的變化動態(tài)更改視頻模式。

這個圖片用于說明創(chuàng)建出的用戶的臉部和頭部的3D 網(wǎng)格模型

三星的專利規(guī)定, 新的視覺通信應用將能夠與各種操作系統(tǒng), 如 Android, 黑莓, 窗口和 iOS。

另一個有趣的點是，除了從攝像頭和深度傳感器接收圖像數(shù)據(jù)外, 它還可能接收與可視化通訊會話上下文相關的其他傳感器數(shù)據(jù), 比如環(huán)境條件數(shù)據(jù)和用戶的身體數(shù)據(jù)，用戶的身體數(shù)據(jù)包括位置傳感器(加速度計、陀螺儀等) 和生物識別傳感器（如心率傳感器、電偶皮膚傳感器、瞳孔膨脹傳感器等），將此用于確定用戶位置的移動和情緒狀態(tài)。同時，3D 模型組件還可以存儲不同的面部表情, 以及不同可選姿勢供用戶選擇。

必須說明，三星在2013年就開始了這方面的研究，2016年就第一次提交這份專利，最開始的時候，專利只是為了減少對視頻時帶寬的需求，提出一種用于進行視頻聊天的 "3D 網(wǎng)格模型"。這個3D 模型只會對用戶的面部表情作出反應, 只有這些表情的變化會被傳送。相對于一般的傳輸方案, 這樣對帶寬的要求更少。

巧合的是, 這個專利在三星推出AR emoji之后通過，但三星只是有可能會應用這個技術，到現(xiàn)在為止也并沒有官方在這方面的說明。但至少，這項專利可以說明三星一直都在探索增強現(xiàn)實模型的應用。