在情感計算發展的過程中，機器人和計算機逐漸發展出分析人類面部表情、識別情緒并基于此進行應答的能力。相關的應用除了檢測個體的健康狀態和學生的注意力外，也在幫助醫生更好的捕捉疾病的信號、讓機器人成為我們更好的陪伴。

但目前的技術對于復雜多變的人類情緒表達還面臨著一系列復雜的問題。除了如文化、性別、年齡等通常的差別外、還包括更細粒度的差異，包括：所處的時刻、睡眠狀態、甚至是對話對象間的熟悉程度都會微妙地影響著我們對于情緒狀態的表達。這些對于機器來說千頭萬緒的問題于人類大腦來看卻是本能的反應。近年來深度學習技術逐漸學會了捕捉人類面部微妙表情的能力，但精確性和跨人群的適應性需要很長的路要走。

為了解決情感計算中面臨的問題，來自麻省理工媒體實驗室情感計算研究組提出了一種可以超越傳統方法捕捉微小的面部表情，并更好的測量人類情緒的機器學習模型。除此之外，通過額外的小規模數據可以將模型高效的遷移到不同的人群中去，在保持精度效率的同時提高了模型的適應性。

精準的個性化情緒識別

傳統的情感計算模型利用一刀切的思想來訓練模型，將在某一數據集上訓練描繪不同表情的優化特征作為通用特征用于整個全新的新數據集。與過去較為單一的方式不同的是，MIT的研究人員提出了一種模型個性化技術，稱為"混合專家(mixture of experts MoE)"的模型。這種模型可以從個體中發掘出更為細粒度的表情數據。

上圖是研究中提出的模型架構，其中研究人員首先利用Faster R-CNN從視頻幀中提取出面部區域，隨后利用ResNet-50學習出面部的深度特征，并將這些特征饋入個性化專家網絡（personalizedexpert network PEN）中，用于自動估計主體的預約和興奮程度。同時還包括了門網絡（gating network CN），在推斷新圖像時為PEN中不同的專家分配權重。

在MoEs中，一系列被稱為“專家”的神經網絡模型被訓練來獨立地處理特定的任務并生成單一的結果。同時研究人員還利用了被稱為“門網絡”結構來計算不同神經網絡對于未知主體情緒的檢測概率，從而找出對于給定圖像最合適的專家檢測器。

利用情感計算數據集RECOLA中的18個獨立視頻，研究人員們將MoEs中的每一個專家網絡與其中的一個視頻進行匹配訓練。在訓練時將所有的視頻分解為獨立的幀，在其中9個上做訓練，并在另外9個上做驗證。

每一個專家網絡和門網絡一起負責跟蹤每一個個體面部表情。模型會根據每一幀中面部表情的愉悅程度和興奮狀態打分。而在訓練時，這些打分的標簽由6位人類專家完成，分值從-1（low）到+1（high）之間。

隨后研究人員測試的模型的個性化能力。在訓練完模型后，利用余下被測者的部分視頻幀進一步訓練模型，而后用模型從未見過的幀來進行測試。結果表明，對于新的人群只需要5%~10%的數據，模型就可以大幅度超過傳統方法，在對于面部表情的愉悅和興奮程度解讀更接近于人類專家的水平。

這一結果顯示出了模型利用少數數據，具有人群和個體間遷移能力的潛力，而這也是處理這一問題的關鍵。我們通常會在某一人群上訓練出一個較好的算法，但當面臨完全不一樣的人群時，算法的表現就會降低很多。但只要從新的人群中進行少數采樣來優化模型，模型就會適應新的人群特征得到較好的結果。這是模型個性化最為重要的優勢。

雖然目前的訓練數據在膚色上缺乏多樣性，但研究人員表示一旦有適合的數據集，模型將在更具多樣性的人口數據上進行訓練以適應更加多樣性的文化。

更好的人機交互

訓練個性化模型的另一個重要原因在于，這會為機器人和計算機帶來強大的學習能力，可以通過很少的數據就能訓練并學習會如何感受我們人類情緒的微妙變化，從而更好的為人類服務。這會為很多應用場景帶來完全不同的便捷體驗。

例如它可以在電腦或移動設備的后臺運行來跟蹤用戶的視頻對話從而學習用戶在不同情形下面部表情的微妙變化。利用web技術或者app可以識別出用戶的焦慮、痛苦、緊張、沮喪等負面情緒，并為用戶及時提供相應的建議。通過情緒識別還可以計算出用戶日常情緒的偏離狀況，并作為健康和幸福指數的度量來描述用戶的狀態。

這在人機交互中十分重要。機器人需要識別不同個體的心理狀態，并根據識別出的情緒提供相應的響應。例如在教育機器人中可以利用情緒識別來判斷學生的專注程度，從而及時調整授課的方式和內容。甚至這也是識別兒童孤獨癥的有效手段。

個性化的情緒識別將為為情感認知提供更好的保證。通過訓練多個專家并對結果進行聚合優于訓練單個超級專家的情況，結合個性化的能力使得情感識別的準確性和通用性大幅提高。通過情緒識別，在未來得以將許多人機交互場景變為現實。也許更懂你的機器人、陪你徹夜長談的mate、默契的好伙伴將在不遠的將來走進我們的生活中。