我們探索構(gòu)建通用強(qiáng)化學(xué)習(xí)環(huán)境中的生成式神經(jīng)網(wǎng)絡(luò)模型。我們的世界模型（world model）可以以一種無(wú)監(jiān)督的方式進(jìn)行快速訓(xùn)練，以學(xué)習(xí)環(huán)境的壓縮時(shí)空表征。通過(guò)使用從世界模型中提取的特征作為智能體的輸入，我們可以對(duì)一個(gè)非常簡(jiǎn)潔且簡(jiǎn)單的策略進(jìn)行訓(xùn)練，以解決所需的任務(wù)。我們甚至可以在一個(gè)完全由智能體本身的世界模型所生成的夢(mèng)幻夢(mèng)境中對(duì)智能體進(jìn)行訓(xùn)練，并將此策略遷移回實(shí)際環(huán)境中。

人類根據(jù)他們使用有限的感官對(duì)世界的感知，開(kāi)發(fā)出一個(gè)有關(guān)世界的心智模型。而我們所做的決策和行動(dòng)都是基于這種內(nèi)部模型的。系統(tǒng)動(dòng)力學(xué)之父——Jay Wright Forrester將心智模型定義為：

我們腦海中所承載的有關(guān)周圍世界的圖像，只是一個(gè)模型。世界上沒(méi)有一個(gè)人能夠在其腦海中對(duì)全部的世界、政府或國(guó)家進(jìn)行透徹的想象。他只是選擇了概念，以及它們之間的關(guān)系，并用它們來(lái)表示真實(shí)的系統(tǒng)。（Forrester于1971年提出）

為了處理流經(jīng)我們?nèi)粘Ｉ钪械拇罅?a target="_blank">信息，我們的大腦學(xué)習(xí)對(duì)這些信息進(jìn)行時(shí)空方面的抽象表征。我們能夠觀察一個(gè)場(chǎng)景，并記住有關(guān)它的一個(gè)抽象描述（Cheang和Tsao于2017年、Quiroga等人于2005年提出）。還有證據(jù)表明，我們?cè)谌魏翁囟〞r(shí)刻所感知的事物，都是由我們的大腦基于內(nèi)部模型對(duì)未來(lái)做出的預(yù)測(cè)所掌控的（Nortmann等人于2015年、Gerrit等人于2013年提出）。

理解我們大腦中的預(yù)測(cè)模型的一種方法是，它可能不是僅僅預(yù)測(cè)未來(lái)的一般情況，而是根據(jù)當(dāng)前的運(yùn)動(dòng)動(dòng)作預(yù)測(cè)未來(lái)的感官數(shù)據(jù)（Keller等人于2012年、Leinweber等人于2017年提出）。當(dāng)我們面臨危險(xiǎn)時(shí)，我們能夠本能地依據(jù)這個(gè)預(yù)測(cè)模型采取相應(yīng)的行動(dòng)，并執(zhí)行快速的反射行為（Mobbs等人于2015年提出），而無(wú)需有意識(shí)地規(guī)劃出行動(dòng)計(jì)劃。

我們所看到的事物是基于我們大腦對(duì)未來(lái)進(jìn)行的預(yù)測(cè)（Kitaoka于2002年、Watanabe等人于2018年提出）

以棒球?yàn)槔Ｒ粋€(gè)擊球手只有幾毫秒的時(shí)間來(lái)決定該如何揮棒擊球，讓這要比視覺(jué)信號(hào)到達(dá)我們的大腦所需的時(shí)間短得多。他們之所以能夠打出每小時(shí)115英里的快速球，是因?yàn)槲覀冇心芰Ρ灸艿仡A(yù)測(cè)出球?qū)⒑螘r(shí)何地走向何方。對(duì)于職業(yè)球員來(lái)說(shuō)，這一切都是在潛意識(shí)中發(fā)生的。他們的肌肉在適當(dāng)?shù)臅r(shí)間和地點(diǎn)按照他們的內(nèi)部模型的預(yù)測(cè)反射性地?fù)]棒擊球（Gerrit 等人于2013年提出）。他們可以迅速根據(jù)自身對(duì)未來(lái)的預(yù)測(cè)采取行動(dòng)，而無(wú)需有意識(shí)地將可能的未來(lái)場(chǎng)景鋪展開(kāi)以進(jìn)行規(guī)劃（Hirshon于2013年提出）。

在許多強(qiáng)化學(xué)習(xí)（RL）（Kaelbling等人于1996年、Sutton和Barto于1998年、Wiering和van Otterlo于2012年提出）問(wèn)題中，人工智能體也受益于具有良好的對(duì)過(guò)去和現(xiàn)在狀態(tài)的表征，以及良好的對(duì)未來(lái)的預(yù)測(cè)模型（Werbos等人于1987年、Silver于2017年提出），最好是在通用計(jì)算機(jī)上實(shí)現(xiàn)的強(qiáng)大的預(yù)測(cè)模型，如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）（Schmidhuber于1990、 1991年提出）。

大型RNN是具有高度表達(dá)性的模型，可以學(xué)習(xí)數(shù)據(jù)的豐富的時(shí)空表征。然而，在以往的研究中，許多無(wú)模型強(qiáng)化學(xué)習(xí)方法通常只使用參數(shù)很少的小型神經(jīng)網(wǎng)絡(luò)。強(qiáng)化學(xué)習(xí)算法常常具有信用分配問(wèn)題（credit assignment problem）的局限性，這使得傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法難以學(xué)習(xí)大型模型的數(shù)百萬(wàn)個(gè)權(quán)重，因此，在實(shí)踐中往往使用較小的網(wǎng)絡(luò)，因?yàn)樗鼈冊(cè)谟?xùn)練期間能夠更快地迭代形成一個(gè)良好的策略。

在這項(xiàng)研究中，我們構(gòu)建了OpenAI Gym環(huán)境的概率生成模型。使用從實(shí)際游戲環(huán)境中收集的記錄觀測(cè)值對(duì)基于RNN的世界模型進(jìn)行訓(xùn)練。對(duì)世界模型進(jìn)行訓(xùn)練之后，我們可以使用它們來(lái)模擬完整的環(huán)境并訓(xùn)練對(duì)智能體進(jìn)行訓(xùn)練

理想情況下，我們希望能夠有效地對(duì)基于RNN的大型智能體進(jìn)行訓(xùn)練。反向傳播算法（Linnainmaa于1970年、Kelley于1960年、Werbos于1982年提出）可以用來(lái)對(duì)大型神經(jīng)網(wǎng)絡(luò)進(jìn)行有效的訓(xùn)練。在這項(xiàng)研究中，我們通過(guò)將智能體分為一個(gè)大的世界模型和一個(gè)小的控制器模型，從而對(duì)大型神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以解決強(qiáng)化學(xué)習(xí)任務(wù)。首先，我們對(duì)大型神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以無(wú)監(jiān)督的方式學(xué)習(xí)智能體的世界模型，然后訓(xùn)練較小的控制器模型，學(xué)習(xí)使用這個(gè)世界模型執(zhí)行任務(wù)。一個(gè)小型控制器讓訓(xùn)練算法專注于小型搜索空間上的信用分配問(wèn)題，同時(shí)不會(huì)以大的世界模型的容量和表現(xiàn)力為代價(jià)。通過(guò)智能體世界模型的視角對(duì)智能體進(jìn)行訓(xùn)練，我們表明，它可以學(xué)習(xí)一個(gè)高度緊湊的策略以執(zhí)行其任務(wù)。

雖然有大量關(guān)于基于模型的強(qiáng)化學(xué)習(xí)的研究，但本文并不是對(duì)該領(lǐng)域當(dāng)前狀態(tài)的評(píng)述（Arulkumaran等人于2017年、Schmidhuber于2015年提出）。相反，本文的目標(biāo)是從1990—2015年關(guān)于基于RNN的世界模型和控制器組合的一系列論文中提煉若干個(gè)關(guān)鍵概念（Schmidhuber于1990年、1991年、1990年、2015年提出）。

我們證明了在模擬潛在空間夢(mèng)境中訓(xùn)練智能體執(zhí)行任務(wù)的可能性。這一方法擁有許多切實(shí)優(yōu)點(diǎn)。例如，在運(yùn)行計(jì)算密集型游戲引擎時(shí)，需要使用大量的計(jì)算資源來(lái)將游戲狀態(tài)渲染到圖像幀中，或計(jì)算與游戲不直接相關(guān)的物理量。相信我們都不情愿在現(xiàn)實(shí)環(huán)境中浪費(fèi)訓(xùn)練智能體的周期，而是更樂(lè)意在模擬環(huán)境中盡可能多地訓(xùn)練智能體。此外，在現(xiàn)實(shí)世界中訓(xùn)練智能體的代價(jià)甚至更大，因此，漸進(jìn)式地進(jìn)行訓(xùn)練以模擬現(xiàn)實(shí)的世界模型可以更容易地嘗試使用不同方法來(lái)訓(xùn)練我們的智能體。

此外，我們可以利用深度學(xué)習(xí)框架，在分布式環(huán)境中使用GPU，從而加速世界模型的模擬。將世界模型作為一個(gè)完全可微的循環(huán)計(jì)算圖的好處在于，我們可以直接在夢(mèng)境中使用反向傳播算法對(duì)其策略進(jìn)行微調(diào)，從而實(shí)現(xiàn)目標(biāo)函數(shù)最大化（Schmidhuber于上世紀(jì)90年代提出）。

對(duì)視覺(jué)模型V使用VAE并將其作為獨(dú)立模型進(jìn)行訓(xùn)練也存在局限性，因?yàn)樗赡軙?huì)對(duì)與任務(wù)無(wú)關(guān)的部分觀測(cè)進(jìn)行編碼。畢竟，根據(jù)定義來(lái)看，無(wú)監(jiān)督學(xué)習(xí)不知道哪些是對(duì)當(dāng)前任務(wù)有用的。例如，在Doom環(huán)境中，它在側(cè)墻上復(fù)制了不重要的詳細(xì)磚瓦圖案，但在賽車環(huán)境中，它沒(méi)有在道路上復(fù)制與任務(wù)相關(guān)的磚瓦圖案。通過(guò)與預(yù)測(cè)獎(jiǎng)勵(lì)的M模型一起訓(xùn)練，VAE可以學(xué)習(xí)專注于圖像中與任務(wù)相關(guān)的領(lǐng)域，但這里需要權(quán)衡的一點(diǎn)是，如果不進(jìn)行重復(fù)訓(xùn)練，那么我們或許就不能有效地利用VAE再次執(zhí)行新任務(wù)。

學(xué)習(xí)任務(wù)的相關(guān)特性也與神經(jīng)科學(xué)有所關(guān)聯(lián)。當(dāng)受到獎(jiǎng)勵(lì)時(shí)，基本感覺(jué)神經(jīng)元便會(huì)從抑制中釋放出來(lái)，這意味著它們通常僅學(xué)習(xí)與任務(wù)相關(guān)的特征，而非任何特征，至少自在成年期是這樣的（Pi等人于2013年提出）。

今后的工作可能會(huì)探討如何使用無(wú)監(jiān)督分割層（Byravan等人于2017年提出）來(lái)提取更好的特征表征，這與所學(xué)習(xí)的VAE表征相比具有更好的實(shí)用性和可解釋性。

另一個(gè)令人關(guān)切的問(wèn)題是，我們世界模型的容量有限。盡管現(xiàn)代存儲(chǔ)設(shè)備可以存儲(chǔ)使用迭代訓(xùn)練過(guò)程生成的大量歷史數(shù)據(jù)，但我們基于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）（Hochreiter和Schmidhuber于1997年提出；Gers等人于2000年提出）的世界模型可能無(wú)法在其權(quán)重連接中存儲(chǔ)所有記錄的信息。雖然人類的大腦可以保存幾十年甚至幾個(gè)世紀(jì)的記憶（Bartol等人于2015年提出），但我們通過(guò)反向傳播訓(xùn)練的神經(jīng)網(wǎng)絡(luò)容量有限，并受災(zāi)難性遺忘等問(wèn)題的影響（Ratcliver 于1990年，F(xiàn)rench于1994年，Kirkpatrick等人于2016年提出）。如果我們希望智能體學(xué)會(huì)探索更復(fù)雜的世界，那么今后可以探索用更高容量的模型取代小型MDNRNN網(wǎng)絡(luò)（Shazeer等人于2017年，Ha等人于2016年，Suarez等人于2017年，van den Oord等人于2016年，Vaswani等人于2017年提出），或加入外部記憶模塊（Gemici等人于2017年提出）。

基于RNN的控制器與環(huán)境交互的古代繪圖（Schmidhuber于1990年提出）

就像早期基于RNN的C-M系統(tǒng)一樣（Schmidhuber等人于上世紀(jì)90年代提出），我們模擬了可能的未來(lái)時(shí)間步長(zhǎng)，而沒(méi)有從人類的層次化規(guī)劃或抽象推理中獲益，這往往忽略了不相關(guān)的時(shí)空細(xì)節(jié)。然而，更常見(jiàn)的“學(xué)會(huì)思考”（Schidhuber于2015年提出）方法并不局限于這種相當(dāng)幼稚的方法。相反，它允許循環(huán)C學(xué)習(xí)循環(huán)M的子例程，并重用它們以任意的計(jì)算方式解決問(wèn)題，例如，通過(guò)層次化規(guī)劃或利用類似M的程序權(quán)重矩陣的其他部分。近期，One Big Net（Schmidhuber，2018年）擴(kuò)展了C-M方法，它將C和M合并成一個(gè)網(wǎng)絡(luò)，并使用類似Power Play的行為回放（Schmidhuber于2013，Srivastava等人于2012年提出）（其中教師網(wǎng)絡(luò)（teacher net）的行為被壓縮成學(xué)生網(wǎng)絡(luò)（student net）（Schmidhuber于1992年提出）），以避免在學(xué)習(xí)新網(wǎng)絡(luò)時(shí)忘記舊的預(yù)測(cè)和控制技能。這些具有更通用方法的實(shí)驗(yàn)在未來(lái)有待進(jìn)一步研究。