2019 年 4 月 24 日，來自加州大學舊金山分校（UCSF）神經(jīng)外科學系 Gopala K. Anumanchipalli，Josh Chartier，Edward F. Chang 團隊在 Nature 雜志上發(fā)表了題為 “Speech synthesis from neural decoding of spoken sentences” 的論文，引起了不少人士的關注。

據(jù)悉，研究人員設計一種神經(jīng)解碼器，采用循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network,RNN）的方式將記錄的皮質(zhì)神經(jīng)信號，然后編碼咬合關節(jié)運動的表征，以合成可聽語音。

也就是說，嚴重癱瘓的病患可以使用基于該技術的產(chǎn)品通過大腦皮層活動更有效地向任何人發(fā)送文字信息。可以想象，像此前受肌萎縮側(cè)索硬化ALS病癥多年折磨的著名物理學家史蒂芬 · 霍金（Stephen Hawking）一定也非常樂意看到深度學習技術能夠應用于臨床醫(yī)學上的突破。

隨后，谷歌大腦 Jeff Dean 通過 Twitter 轉(zhuǎn)發(fā)了這條消息，并贊嘆該項研究成果，“非常酷！可以直接從神經(jīng)活動中快速產(chǎn)生語音。”

實際上，他們在 2018 年 11 月 29 日以名為 “Intelligible speech synthesis from neural decoding of spoken sentences” 的論文就已經(jīng)得到了公開。只不過，那時還是預印本，還未經(jīng)過同級評審。

我們先來回顧下最新論文的主要內(nèi)容。

摘要：將大腦神經(jīng)活動轉(zhuǎn)換成語音的技術，對于因神經(jīng)損傷而無法正常溝通的人類來說將具有變革意義。從技術上來講，從神經(jīng)活動中解碼語音是非常具有挑戰(zhàn)性的，因為說話需要對聲道的咬合結(jié)構(gòu)進行非常精確和快速的多維控制。通過設計一種神經(jīng)解碼器，明確地利用人類皮層活動中編碼的運動和聲音表征來合成可聽語音。

循環(huán)神經(jīng)網(wǎng)絡（RNN）將記錄的皮質(zhì)神經(jīng)信號直接解碼為咬合關節(jié)運動的表征，然后將這些表征再轉(zhuǎn)換為語音。在封閉的詞匯測試中，聽眾可以很容易地識別和轉(zhuǎn)錄皮層活動從而合成語音。即便數(shù)據(jù)有限，中間關節(jié)運動（Intermediate articulatory dynamics ）也能提高性能。

經(jīng)過解碼的語音表征非常保守，使得解碼器的一個組件可跨不同受試者進行轉(zhuǎn)換。此外，當受試者靜默地模仿句子時，解碼器可以合成語音。

以上這些發(fā)現(xiàn)提高了使用語音神經(jīng)假體技術以恢復人類口語交流的臨床可行性。

▌研究過程

許多患者是依靠通信設備來轉(zhuǎn)錄頭部、眼睛或者直接的大腦皮層活動中的信息，然后再控制光標逐個選擇字幕來拼寫單詞。例如，患者此前使用的語音合成系統(tǒng)基本就是這樣的原理。雖然該系統(tǒng)顯著提高了患者的生活質(zhì)量，但多數(shù)用戶很難在一分鐘內(nèi)傳遞超過 10 個單詞，這一速度遠低于自然語言中 150 詞 / 分鐘的平均速度。一個主要障礙就是如何克服當前基于拼寫的方法限制，以實現(xiàn)更高效的溝通效率。

基于拼寫的方法最好的替代方式就直接進行語音合成。因為拼寫是離散字母的連續(xù)串聯(lián)，而語音是由重疊的、多發(fā)聲器的聲道運動的流體產(chǎn)生的。為此，基于聲道運動及其產(chǎn)生的聲音模仿方法可能是實現(xiàn)自然語言的唯一高效溝通手段，并且還是可以保證用戶學習的最直觀手段。例如，患有麻痹癥（ALS 或腦干中風）的患者，高保真語音控制信號可僅通過使用大腦 - 計算機接口直接記錄完整皮質(zhì)網(wǎng)絡進行訪問。

為了證明神經(jīng)語言假體的可行性，研究人員試圖將大腦信號轉(zhuǎn)換成可理解的正常說話人語速的合成語音。研究人員采用了一種叫做高密度腦皮層電圖（ECoG）的技術，讓 5 名患有癲癇病的患者大聲說出幾百個句子，直接記錄下受試者大腦皮層的神經(jīng)活動，并跟蹤控制語音和發(fā)生部位運動的大腦區(qū)域活動。

如圖所示，研究人員采用的解碼器方法可分為兩個階段：第一階段，雙向長期短期記憶（bLSTM）循環(huán)神經(jīng)網(wǎng)絡解碼來自聯(lián)系神經(jīng)活動的關節(jié)運動特征；第二階段，單獨的 bLSTM 解碼來自第一階段解碼出的關節(jié)特征的聲音特征，然后從解碼的聲音特征合成音頻信號。

訓練解碼器有三種數(shù)據(jù)來源：ECoG 記錄、聲音以及關節(jié)運動。

ECoG，從每個電級的原始信號中提取高伽馬振幅包絡（70-200Hz）和低頻分量（1-30Hz）。如果它們位于關鍵皮質(zhì)區(qū)域，則選擇電極：腹側(cè)感覺運動皮層（ventral sensorimotor cortex，vSMC）、顳上回（superiortemporal gyrus，STG）或下額回（inferior frontal gyrus，IFG）。

聲音，由于不是典型的頻譜圖，研究人員使用了 25 個梅爾頻率倒頻譜系數(shù)（MFCC），5 個子帶聲音強度用于聲門激勵建模、音調(diào)和發(fā)聲（總共 32 個特征）。這些聲學參數(shù)是用于感知電管的聲音特征，同時最大化音頻重建的質(zhì)量。

關節(jié)運動表征，即存在于神經(jīng)活動和聲音之間的解碼器的一個關鍵組成部分。由于無法同步記錄神經(jīng)活動，研究人員采用了一種基于說話人的聲音 - 發(fā)聲（Acoustic-to-Articulatory）轉(zhuǎn)換統(tǒng)計方法，來測出受試者產(chǎn)生的語音信號對應的聲道運動軌跡。研究人員還添加了額外的生理特征（如關節(jié)運動），并在語音自動解碼器中對值進行了優(yōu)化，進而推斷在語音產(chǎn)生期間聲道生理的完整中間關節(jié)運動表征。

根據(jù)這些特征，可以精確地重建語音頻譜圖。

▌張復倫本人

值得一提的是，該項研究成果之一的 Edward Chang（中文名：張復倫）還是名華裔神經(jīng)外科醫(yī)生，擅長治療成人癲癇、腦腫瘤等疾病，研究主要集中于語言、運動和情感的大腦機制。

最早在 2017 年，張復倫等人在 Science 雜志發(fā)表論文，闡述大腦皮層顳上回神經(jīng)元在語言中的重要性。

在 2011 年 5 月的美國新聞與世界報導對他的采訪中，張復倫就表示：“醫(yī)學界長期忽視神經(jīng)修復學，直到最近科技發(fā)展迅速才獲得重視。相信在未來的 5 到 10 年間，電腦科技對神經(jīng)性疾病患者，如柏金森氏癥和阿茲海默癥、癲癇等，將會有更多治療方式。”

據(jù)了解，張復倫來自典型的中國***移民家庭。他曾表示：“生命中有很多選擇的機會，成為神經(jīng)外科醫(yī)師是一連串的機遇，但父母的支持，讓他可以全神貫注鉆研神經(jīng)科學，達到今天的成就。”