為了分析附加漢字默讀的多模態意識任務所激活的大腦皮層，采用空間源定位分析與意識任務相關的腦電信號。首先采用獨立分量分析算法將所有電極的腦電信號分解為各自獨立的分量，每個分量可視為來自一個等價偶極子，并確定其在大腦皮層的位置和和方向；然后通過時頻分析確定與意識任務相關的偶極子；最終分析和對比多模態意識任務和單模態意識任務之間偶極子的差異。對10位受試者進行實驗，結果分析表明，與兩個多模態意識任務相關的偶極子平均數量分別為5和4.3，均多于單模態任務，且偶極子數量的排序與這4個任務平均分類準確率一致，說明更多大腦皮層的激活有利于提高分類準確率，并驗證了該實驗的有效性和合理性。

0 引言

人機交互技術在近些年被廣泛研究，尤其是將人體生物電發展為交互的媒介。腦機接口（Brain Computer Interface，BCI）就是一種用大腦的信號控制輔助設備的人機交互技術。它為運動功能障礙者提供新的康復手段，讓使用者獲得了全新的溝通和交互途徑。BCI系統已成功用于電動輪椅的控制、文字輸入、機器人和智能家居的操控等。

檢測大腦的活動有多種方式，其中腦電信號（Electroencephalography，EEG）擁有安全性高、造價廉價等優點，所以該方式在BCI領域應用最為普及。有多種實驗范式能產生可區分的腦電信號。不同的算法被用于分析這些實驗范式的EEG，P300誘發電位常應用方差分析、相干平均和相關分析等時域分析算法。穩態視覺誘發和運動想象所產生的腦電信號具有一定的頻率特性，可用短時傅里葉變換、小波變換等時頻分析算法進行分析[5]。在研究多通道EEG信號時，還可使用引入通道選擇的稀疏共空間模式（Sparse Common Spatial Pattern，SCSP）等時空分析算法[6]。

在考慮通過實驗設計的方式增加BCI操作維數和分類準確率的研究工作中，本課題組提出了附加相關漢字默讀的多模態意識任務實驗范式，并從時間、空間、頻率綜合驗證了該實驗范式的有效性和合理性。相比較于單一的思維活動，附加漢字默讀的多模態意識任務為多個高級思維活動的組合，這涉及更多的大腦皮層。本文通過空間源定位分析的方法來研究EEG信號，分析和比較不同意識任務所激活的大腦皮層以研究多模態意識任務的生理機理，并幫助BCI的研究和設計。

1 實驗設計

該實驗有10位年齡為22~28歲的受試者(其中7位為男性，3位為女性)參與，依次被標識為S1~S10，其中有6位受試者參加過類似的實驗外，其他人首次參加腦電實驗。受試者均為右利手，身體狀態良好，在實驗前有足夠的休息。受試者坐著完成整個實驗，通過注視前方1 m處的22英寸液晶顯示屏來獲得提示信息。受試者在明白實驗目的和注意事項后，簽署了《知情同意書》。

為了比較意識任務附加漢字默讀后的效果，整個實驗包括兩步子實驗，第一步子實驗為多模態實驗范式，第二步子實驗為單一模態實驗范式。本實驗為無反饋實驗，具體內容如圖1所示。“左”和“壹”這兩個漢字作為提示信息會隨機出現。空閑期時，屏幕會顯示一個星號“*”，受試者保持2 s放松狀態。接著顯示1 s的小十字“+”，讓受試者做好準備。之后出現一個漢字，持續1 s。然后顯示4 s的黑屏，表示為想象期，如果漢字是“左”，受試者在第一步子實驗中想象身體左旋的同時默讀“左”，其在第二步子實驗中僅想象身體左旋；如果漢字是“壹”，受試者在第一步子實驗中想象寫“壹”的筆畫時默讀“壹”，其在第二步子實驗中僅想象寫筆畫。4 s的意識任務結束后，一次實驗完成，可放松0.5~1.5 s。每個提示在一組實驗中會出現15次，每位受試者在同一天內完成5組實驗。一組實驗后，受試者可休息5 min。

2 數據采集

默讀漢字屬于語言活動，想象身體向左旋轉涉及空間想象，想象書寫漢字需要語言皮層和運動皮層協調工作。實驗的電極如圖2所示，它們遵照國際10/20系統導聯設置，并覆蓋了威爾尼克區、布洛卡區和運動感覺皮層等大腦皮層的35導電極。實驗所用的儀器為美國Neuroscan公司的SynAmps 2系統。安放兩個雙極性電極分別從水平和垂直方向記錄眼電。為了降低50 Hz工頻干擾，需在頭部前額設置接地電極。此外，在采集腦電信號時，還需在頭頂放置參考電極。為了減少實驗過程中的信號失真，所有電極的接觸電阻需維持在5 kΩ以下。系統的帶通濾波器設置為0.1~100 Hz，信號采樣率設置為250 Hz。

3 分析方法

3.1 預處理

數據采集后，首先通過系統自帶的SCAN 4.5軟件的Ocular Artifact Reduction功能來去除眼電信號。成年人的EEG信號中有用的信息主要在α波和β波， 因此信號經過一個4~45 Hz的帶通濾波器來濾除噪聲。

3.2 獨立分量分析

獨立分量分析（Independent Component Analysis，ICA）是信號處理領域重要的研究方法，屬于盲信源分離算法[8]。經過ICA分解后可將有用信號與噪聲信號分離，以做特征提取或者腦電地形圖的繪制等工作。

3.3 時頻分析

EEG信號在經過ICA分解為各自獨立的分量后，可通過時頻分析來判斷該獨立分量是否和思維活動相關。事件相關譜擾動（Event-Related Spectral Perturbation，ERSP）是在常規時頻分析算法上進行了改進，它可突出意識任務時EEG的能量相對空閑時的變化量[9]。ERSP可分析整個時間軸的能量譜與提示出現的基線能量譜的相對變化值。

如果進入想象期后，能量譜有提高或者降低，則說明該獨立分量與思維活動相關，反之則沒有。以受試者S6想象身體左旋的同時默讀“左”為例，他的第1個和第4個獨立分量經過4~45 Hz帶通濾波后的ERSP圖如圖3所示。漢字提示出現在圖3中ERSP圖0 s的位置，1 s后，受試者開始相應的想象活動。受試者S6的第4個獨立分量在9~15 Hz范圍內的能量隨著思維的進行而增加，他的第1個獨立分量則沒有類似的特征。因此可以判斷，思維活動與第4個分量相關，與第1個分量無關。

3.4 等價偶極子源定位分析

通過時頻分析得到與意識任務相關的獨立分量后，可用空間源定位分析將其反推得到腦內神經活動源的位置、強度和方向等重要信息，這樣可判斷意識任務所激活的大腦皮層。

本文選擇了等價偶極子分析。該算法將事件相關的神經源視為一個或者幾個在大腦內活動的電流偶極子[10]，這些偶極子的方向和位置等信息采用最小化殘余誤差來確定：

其中L為導聯場矩陣，j為躍遷偶極矩，U為ICA分解后的獨立分量矩陣。

詳細的操作流程為：

(1)用EEGLAB工具箱對腦電信號做ICA分解[11]，其中分解算法采用擴展Infomax法；

(2)頭部模型選擇BEM，接著獨立分量通過該工具箱中的DIPFIT 2.2插件計算相應的偶極子；

(3)用一個三維的粗疏網絡掃描出偶極子的大概位置；

(4)將上一步得到的位置作為初值，繼續用非線性交叉擬合算法計算出偶極子的精確位置。

4 結果與分析

本文的目的是通過對與意識任務相關的EEG信號進行空間源定位，來對比多模態意識任務和單一意識任務間的內在差異，最終從時間、空間和頻率之外的角度來證明多模態意識任務的可行性和合理性。

以受試者S6想象身體左旋的同時默讀“左”為例，圖3給出了空間源定位的流程。兩步子實驗均采用了35個電極來記錄EEG信號，所以經過ICA分解后首先可得到35個分量，分量1和分量4為其中的兩個。所有分量經過等價偶極子分析計算后分別得到各自對應的偶極子，并標出其在大腦的位置和方向。最后，采用ERSP來分辨與意識任務相關的獨立分量和偶極子。由ERSP圖可判斷分量4和思維有關系。圖3最終給出了與身體左旋時默讀“左”這一思維相關的5個偶極子的位置和方向，它們位于大腦右半皮層的頂部和顳葉。

分別對10位受試者兩步子實驗的兩類想象做了分析，與意識任務相關的偶極子數量結果如圖4所示。根據10位受試者的平均結果，想象寫“壹”的筆畫時默讀“壹”的偶極子數量最多，達到了5個，說明這類思維活動較復雜，涉及較多的大腦皮層。其他意識任務的結果為：想象身體左旋時默讀“左”(4.3個)、僅想象寫筆畫(3.6個)和僅想象身體左旋(2.5個)，這恰好和四者平均分類準確率的排序一致(分類準確率來自文獻[7])。相比較于單模態，多模態的意識任務涉及更復雜的思維活動，因此有更多大腦皮層參與，這使得EEG信號具有更高的可分性。本文的結果在綜合腦電信號特征提取和分類的結果后[7]，發現了腦電信號分類準確度提高的內在原因，最終全面驗證了多模態實驗范式的可行性和合理性。

5 結論

等價偶極子分析方法可將EEG信號逆運算以定位信號源的空間位置，此方法相對低廉和方便。本文通過對多模態和單模態這兩步子實驗進行空間源定位分析，并對比了這兩步子實驗的偶極子數量和分布，發現多模態子實驗具有更多和思維活動相關的偶極子。更多的偶極子也意味著更多的大腦皮層被激活，也驗證了多模態意識任務分類準確率提高的內在原因。因此從空間源定位的角度驗證了多模態實驗的合理性和可行性。