對于超級人工智能的出現(xiàn)，我們是期待的，因為它的出現(xiàn)意味著不少工作可以以高效率的方式來完成。可是，作為一款號稱智慧遠(yuǎn)超最聰明、最有才華的人類的AI，關(guān)于它可能帶來的災(zāi)難性風(fēng)險的討論并沒有停止腳步。

近期，一群科學(xué)家組成的研究團隊使用理論計算來證明遏制類算法并不能控制超級人工智能，這個研究主要是為了解決牛津哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）提出的控制問題：我們?nèi)绾未_保超級人工智能為我們的利益服務(wù)？

根據(jù)超級人工智能的假設(shè)問題，研究人員構(gòu)設(shè)一種理論上的遏制算法，該算法可以模擬AI的行為，并在AI程序的動作存在有害行為時自動停止程序來解決該問題。

在嘗試運行該試驗?zāi)Ｐ蜁r，分析人員通過分析結(jié)果，發(fā)現(xiàn)建立一種可以控制超級人工智能的機器算法從根本性質(zhì)上來說是不可能的。

該團隊成員伊亞德·拉萬（Iyad Rahwan）表示，如果將問題分解為理論計算機科學(xué)的基本規(guī)則，就會發(fā)現(xiàn)，命令A(yù)I不破壞世界的遏制算法存在無意中止其自身運行的可能性。

若發(fā)生這種情況，用戶其實并不知道遏制算法是否仍在分析超級人工智能可能存在的威脅，或者它是否已經(jīng)順利停止有害的AI。因此，這種狀況的出現(xiàn)會導(dǎo)致遏制算法無法得到有效使用。

根據(jù)研究發(fā)現(xiàn)，由于計算的基本局限性，目前暫時沒有一種算法可以順利計算出超級AI是否會危害世界。

假設(shè)超級人工智能將包含一個程序，該程序包含通用圖靈機在輸入時可能會像世界級狀況一樣復(fù)雜地執(zhí)行所有程序，按照這么高的標(biāo)準(zhǔn)建立圍堵遏制算法，基于這個基礎(chǔ)對該超級AI程序進行仿真，這在理論上是不可能的。

到目前為止，這種類型的超級AI仍僅限于幻想領(lǐng)域，不過，研究人員表示，AI技術(shù)的發(fā)展正朝著科幻小說作家所設(shè)想的超級智能系統(tǒng)的類型邁進。

研究團隊里面的成員之一、來自馬克斯·普朗克人類發(fā)展研究所的曼努埃爾·塞布里安（Manuel Cebrian）表示，已經(jīng)有AI機器可以實現(xiàn)獨立執(zhí)行某些重要任務(wù)，而程序員并沒有完全了解它們是如何學(xué)習(xí)做到的。

因此，基于這個存在而提出一個問題，在某個時候這是否可能變得不可控制并對人類構(gòu)成危險。

不管如何，發(fā)展超級人工智能的趨勢并不會按下暫停鍵，只是，關(guān)于遏制超級人工智能的方式還是要保持跟進的，只有類似法律指引人類日常規(guī)范一般對超級人工智能形成一個制約，才可以讓AI為我們服務(wù)，而不是造成災(zāi)難。