由德國(guó)于利希神經(jīng)科學(xué)和醫(yī)學(xué)研究所聯(lián)合國(guó)際研究機(jī)構(gòu)提出的新算法，解決了限制在E級(jí)超級(jí)計(jì)算機(jī)上模擬大腦神經(jīng)網(wǎng)絡(luò)的焦點(diǎn)問(wèn)題——即原有網(wǎng)絡(luò)創(chuàng)建算法使得每個(gè)處理器所需的計(jì)算機(jī)內(nèi)存量隨著神經(jīng)網(wǎng)絡(luò)的增大而增加。同時(shí)，經(jīng)過(guò)測(cè)試發(fā)現(xiàn)，新算法還一定程度的提高了超級(jí)計(jì)算機(jī)的模擬速度。

人腦是一個(gè)令人難以置信的復(fù)雜器官，由100億個(gè)相互關(guān)聯(lián)的神經(jīng)細(xì)胞組成。即使在最強(qiáng)大的超級(jí)計(jì)算機(jī)幫助下，目前也不可能在這種尺寸的網(wǎng)絡(luò)中模擬神經(jīng)元信號(hào)的交換。

不過(guò)，近日，一個(gè)國(guó)際研究小組已在實(shí)現(xiàn)E級(jí)超級(jí)計(jì)算機(jī)上模擬大腦網(wǎng)絡(luò)邁出了決定性的一步，該項(xiàng)研究允許使用相同數(shù)量的計(jì)算機(jī)內(nèi)存來(lái)代表人腦中較大的部分，新算法顯著加速了現(xiàn)有超級(jí)計(jì)算機(jī)上的大腦模擬效果。這項(xiàng)研究發(fā)表在Frontiers in Neuroinformatics上。

“自2014年以來(lái)，我們的軟件可以模擬人腦中大約百分之一的神經(jīng)元之間的聯(lián)系”德國(guó)于利希神經(jīng)科學(xué)和醫(yī)學(xué)研究所（INM-6）主任Markus Diesmann說(shuō)。為了實(shí)現(xiàn)這一壯舉，該軟件運(yùn)行需要千兆超級(jí)計(jì)算機(jī)，例如神戶的K計(jì)算機(jī)和于利希的超級(jí)計(jì)算機(jī)JUQUEEN。

Diesmann研究模擬軟件NEST已經(jīng)20多年。NEST是一個(gè)免費(fèi)、開源模擬代碼，被神經(jīng)科學(xué)界廣泛使用，同時(shí)也是歐洲類腦計(jì)劃的核心模擬器。而Diesmann本人在歐洲類腦計(jì)劃中領(lǐng)導(dǎo)理論神經(jīng)科學(xué)和高性能分析與計(jì)算平臺(tái)領(lǐng)域的項(xiàng)目。

使用NEST，網(wǎng)絡(luò)中每個(gè)神經(jīng)元的行為都由一些數(shù)學(xué)方程來(lái)表示。未來(lái)的E級(jí)計(jì)算機(jī)，比如計(jì)劃在神戶建設(shè)的Post-K計(jì)算機(jī)和于利希建設(shè)的JUWELS計(jì)算機(jī)，它們的性能將超過(guò)當(dāng)今高端超級(jí)計(jì)算機(jī)10到100倍。而這將是研究人員第一次擁有模擬人類大腦這樣大規(guī)模神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)能力。

看起來(lái)是死路一條：模擬人腦規(guī)模，處理器的內(nèi)存要比超級(jí)計(jì)算機(jī)大100倍

盡管目前的仿真技術(shù)使研究人員有能力開始研究大型神經(jīng)網(wǎng)絡(luò)，但它也代表了E級(jí)技術(shù)發(fā)展的終點(diǎn)。目前的超級(jí)計(jì)算機(jī)由大約10萬(wàn)臺(tái)稱為節(jié)點(diǎn)的小型計(jì)算機(jī)組成，每臺(tái)計(jì)算機(jī)都配備了多個(gè)進(jìn)行實(shí)際計(jì)算的處理器。

“在進(jìn)行神經(jīng)元網(wǎng)絡(luò)模擬之前，需要虛擬地創(chuàng)建神經(jīng)元及其之間的連接，這意味著它們需要在節(jié)點(diǎn)的存儲(chǔ)器中實(shí)例化。在模擬過(guò)程中，神經(jīng)元不知道其目標(biāo)神經(jīng)元在哪一個(gè)節(jié)點(diǎn)。因此，它的短電脈沖需要發(fā)送給所有節(jié)點(diǎn)，然后每個(gè)節(jié)點(diǎn)再檢查這些電脈沖中的哪一個(gè)與該節(jié)點(diǎn)上存在的虛擬神經(jīng)元相關(guān)。”斯德哥爾摩KTH皇家理工學(xué)院的Susanne Kunkel解釋說(shuō)

對(duì)于現(xiàn)階段來(lái)說(shuō)，這種網(wǎng)絡(luò)創(chuàng)建的算法是有效的，因?yàn)樗泄?jié)點(diǎn)同時(shí)構(gòu)建其網(wǎng)絡(luò)的特定部分。但是，將所有電脈沖發(fā)送到所有節(jié)點(diǎn)并不適合在E級(jí)系統(tǒng)上進(jìn)行仿真。

“為了有效地檢查每個(gè)電脈沖的相關(guān)性，需要整個(gè)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的每個(gè)處理器都有一個(gè)信息位。對(duì)于一個(gè)有10億個(gè)神經(jīng)元的網(wǎng)絡(luò)來(lái)說(shuō)，每個(gè)節(jié)點(diǎn)的大部分內(nèi)存都將被神經(jīng)元的這一個(gè)信息位所消耗。”Diesmann補(bǔ)充到。

使用千萬(wàn)億次超級(jí)計(jì)算機(jī)（左下），以前的模擬技術(shù)可以模擬人腦中大約1％的神經(jīng)細(xì)胞（神經(jīng)元）（圖片左側(cè)大腦暗紅色區(qū)域）。盡管下一代超級(jí)計(jì)算機(jī)的性能超過(guò)當(dāng)今超級(jí)計(jì)算機(jī)的性能10到100倍，應(yīng)用以前的模擬技術(shù)在大腦的模擬上也只能有很小的進(jìn)展（圖片中間大腦暗紅色區(qū)域）。使用相同數(shù)量的計(jì)算機(jī)內(nèi)存（右下角），可以用該研究提出的新技術(shù)模擬人類大腦的更多部分。我們大腦的10%約等于整個(gè)大腦皮層的大小（圖片右側(cè)大腦的深紅色區(qū)域），高達(dá)140億個(gè)神經(jīng)細(xì)胞，這是更高級(jí)的處理必不可少的。另一部分神經(jīng)元位于小腦（藍(lán)色部分）。圖片來(lái)自Forschungszentrum Jülich

這就是模擬更大網(wǎng)絡(luò)時(shí)遇到的主要問(wèn)題：每個(gè)處理器所需的計(jì)算機(jī)內(nèi)存量隨著神經(jīng)元網(wǎng)絡(luò)的增大而增加。如果要模擬人腦的規(guī)模，這就要求每個(gè)處理器的可用內(nèi)存比現(xiàn)在的超級(jí)計(jì)算機(jī)大100倍。但是，這在下一代超級(jí)計(jì)算機(jī)中并不太可能出現(xiàn)，下一代計(jì)算機(jī)中每個(gè)計(jì)算節(jié)點(diǎn)的處理器數(shù)量或許會(huì)增加，但每個(gè)處理器的內(nèi)存和計(jì)算節(jié)點(diǎn)的數(shù)量將保持不變。

新算法的突破：節(jié)點(diǎn)間的神經(jīng)元活動(dòng)數(shù)據(jù)交換有條理，不必為神經(jīng)元增加比特

神經(jīng)信息學(xué)前沿的突破性成果是創(chuàng)建了超級(jí)計(jì)算機(jī)神經(jīng)元網(wǎng)絡(luò)的一種新算法。由于這個(gè)算法，每個(gè)節(jié)點(diǎn)上所需的內(nèi)存不再隨著網(wǎng)絡(luò)增大而增加。

在模擬開始時(shí)，新技術(shù)允許節(jié)點(diǎn)交換關(guān)于誰(shuí)需要發(fā)送神經(jīng)元活動(dòng)數(shù)據(jù)的信息給誰(shuí)。一旦獲得了這一知識(shí)，節(jié)點(diǎn)間的神經(jīng)元活動(dòng)數(shù)據(jù)交換就是有條理的，如此各節(jié)點(diǎn)只接收它需要的信息，而不必再為網(wǎng)絡(luò)中的每個(gè)神經(jīng)元添加一個(gè)比特。

有益的另一面：使現(xiàn)有的超級(jí)計(jì)算機(jī)模擬速度更快

在測(cè)試新算法的時(shí)，科學(xué)家們提出了另一有益的發(fā)現(xiàn)，Susanne Kunkel說(shuō)：“當(dāng)分析新算法時(shí)，我們意識(shí)到這項(xiàng)新技術(shù)不僅能完成E級(jí)系統(tǒng)的模擬，同時(shí)還會(huì)使現(xiàn)有的超級(jí)計(jì)算機(jī)模擬速度更快。”

事實(shí)上，隨著內(nèi)存消耗得到控制，模擬的速度成為技術(shù)進(jìn)一步發(fā)展的主要焦點(diǎn)。例如，在于利希的超級(jí)計(jì)算機(jī)JUQUEEN上運(yùn)行的由5.8萬(wàn)億突觸連接的大型模擬神經(jīng)網(wǎng)絡(luò)需要28.5分鐘來(lái)計(jì)算一秒鐘的生物時(shí)間。隨著仿真的數(shù)據(jù)結(jié)構(gòu)改進(jìn)，時(shí)間減少到了5.2分鐘。

利用這項(xiàng)新技術(shù)，我們可以比以前更好地利用現(xiàn)代微處理器的并行性，這在E級(jí)計(jì)算機(jī)中將變得更加重要。”該項(xiàng)研究的主要作者Jakob Jordan評(píng)論道。

E級(jí)硬件和相應(yīng)軟件的結(jié)合促進(jìn)了對(duì)大腦基本功能的研究，比如可塑性和如何快速學(xué)習(xí)。”Markus Diesmann說(shuō)。

在模擬軟件Nest的下一個(gè)版本中，研究人員將把他們的成果作為開源資源免費(fèi)提供給社區(qū)。

“我們一直在K計(jì)算機(jī)上使用NEST來(lái)模擬健康的人和帕金森病人的大腦基底核回路的復(fù)雜動(dòng)態(tài)。我們很高興聽到關(guān)于新一代NEST的消息，這將使我們能夠在Post-K計(jì)算機(jī)上運(yùn)行全腦模擬來(lái)闡明運(yùn)動(dòng)控制和心理功能的神經(jīng)機(jī)制。”沖繩科學(xué)技術(shù)研究院（OIST）的Kenji Doya說(shuō)。

“這項(xiàng)研究將是構(gòu)建E級(jí)計(jì)算機(jī)國(guó)際合作一個(gè)很好的例子。重要的是，我們已經(jīng)準(zhǔn)備好應(yīng)用程序，在這些超級(jí)計(jì)算機(jī)建設(shè)出來(lái)的第一天就能使用。”神戶理化學(xué)研究所的Mitsuhisa Sato最后總結(jié)道。