使用視頻游戲作為訓(xùn)練人工智能的媒介已經(jīng)成為人工智能研究界的一種流行方法。這些自主代理在 Atari 游戲、星際爭(zhēng)霸、 Dota 和 Go 中取得了巨大成功。但是,雖然這些進(jìn)步在人工智能研究中很受歡迎,但與不斷從開放式任務(wù)中學(xué)習(xí)的人類不同,智能體并沒有泛化到一組非常特定的任務(wù)之外。
構(gòu)建能夠在廣泛任務(wù)中實(shí)現(xiàn)高水平性能的嵌入式代理一直是人工智能研究界面臨的最大挑戰(zhàn)之一。為了構(gòu)建一個(gè)成功的多面手代理,用戶需要一個(gè)支持多種任務(wù)和目標(biāo)的環(huán)境、一個(gè)多模式知識(shí)的大規(guī)模數(shù)據(jù)庫和一個(gè)靈活且可擴(kuò)展的代理體系結(jié)構(gòu)。
進(jìn)入 Minecraft ,世界上玩得最多的游戲。憑借其靈活的游戲性,玩家可以做各種各樣的動(dòng)作。從建造中世紀(jì)城堡到探索危險(xiǎn)環(huán)境,再到收集資源建造幽冥之門與幽冥之龍作戰(zhàn)。這種創(chuàng)造性的氛圍是培養(yǎng)具體化代理的完美環(huán)境。
為了利用這樣一個(gè)最佳的訓(xùn)練場(chǎng)地, NVIDIA 的研究人員創(chuàng)造了 MineDojo 。 MineDojo 構(gòu)建了一個(gè)龐大的框架,其特點(diǎn)是一個(gè)模擬套件,包含數(shù)千個(gè)不同的開放式任務(wù)和一個(gè)互聯(lián)網(wǎng)規(guī)模的知識(shí)庫。如果沒有一個(gè)擴(kuò)展的數(shù)據(jù)庫,構(gòu)建一個(gè)強(qiáng)大到足以完成這些任務(wù)的人工智能是不可能的。
MineDojo 的使命是促進(jìn)研究,以實(shí)現(xiàn)具有普遍能力的嵌入式代理的目標(biāo)。為了使嵌入式代理成功,環(huán)境需要提供幾乎無限多的開放式任務(wù)和操作。這是通過讓代理訪問大型信息數(shù)據(jù)庫來獲取知識(shí),然后應(yīng)用所學(xué)知識(shí)來實(shí)現(xiàn)的。從嵌入式代理獲得的訓(xùn)練需要具有可擴(kuò)展性,以便稍后將大規(guī)模知識(shí)轉(zhuǎn)換為可操作的見解。
在 MineDojo 中,嵌入式代理可以訪問三個(gè)互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)集。隨著 750000 個(gè) Minecraft YouTube 視頻(總計(jì) 33 年多的 Minecraft 視頻)被納入數(shù)據(jù)庫, 200 多萬個(gè)單詞被轉(zhuǎn)錄。
MineDojo 還從 Minecraft Wiki 上抓取了 6000 多個(gè)網(wǎng)頁,為這些網(wǎng)頁的視覺元素創(chuàng)建了 220 多萬個(gè)邊界框)。此外,還捕獲了數(shù)百萬條與 Minecraft 相關(guān)的 Reddit 線程以及在游戲中可以進(jìn)行的各種活動(dòng)。問題包括如何解決某些任務(wù),以圖像和視頻格式展示成就和創(chuàng)作,以及一般提示和技巧。
MineDojo 提供了一組模擬器 API ,用戶可以使用這些 API 來訓(xùn)練他們的人工智能代理。它提供了統(tǒng)一的觀察和操作空間,以幫助代理適應(yīng)新的場(chǎng)景和多任務(wù)。此外,使用 API ,用戶可以利用 Minecraft 宇宙中的所有三個(gè)世界來擴(kuò)展代理可以執(zhí)行的任務(wù)和操作的數(shù)量。
在模擬器中, MIneDojo 將基準(zhǔn)測(cè)試任務(wù)分為兩類:編程任務(wù)和創(chuàng)造性任務(wù)。
編程任務(wù)定義明確,易于評(píng)估,例如“存活 3 天”或“在森林中獲得一單位南瓜”
創(chuàng)造性的任務(wù)更具開放性,例如“建造一座美麗的海灘小屋”很難通過一套明確的規(guī)則來定義什么是海灘別墅。這些任務(wù)是為了鼓勵(lì)研究界開發(fā)更人性化和富有想象力的人工智能代理。
自然語言是 MineDojo 框架的基石。它有助于開放式詞匯理解,為圖像和視頻模式提供基礎(chǔ),并作為指定指令的直觀界面。結(jié)合 最新的語音識(shí)別技術(shù) ,在不久的將來,你可以像在多人合作模式下與朋友一樣與人工智能代理交談。
例如:“在我們的房子前面種一排藍(lán)色的花。在門框上加一些金色的裝飾。讓我們?nèi)ヌ剿骱舆叺亩囱ā!边@一切都是可能的。
使用 MineCLIP 進(jìn)行概念驗(yàn)證
為了幫助推動(dòng)該項(xiàng)目并提供概念證明, MineDojo 研究人員已經(jīng)實(shí)現(xiàn)了一個(gè)單語言提示代理,以完成 Minecraft 中的幾個(gè)復(fù)雜任務(wù),稱為 MineCLIP 。這種新穎的代理學(xué)習(xí)算法利用了 33 年的 Minecraft YouTube 視頻。然而,值得一提的是,任何代理都可以根據(jù)用戶的判斷使用互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)庫的任何或全部三個(gè)部分。
MineCLIP 作為一個(gè)具體的代理,從 YouTube 視頻中學(xué)習(xí) Minecraft 的概念和動(dòng)作,而不需要人工標(biāo)記。 YouTubers 通常會(huì)在播放游戲視頻時(shí)講述他們?cè)谧鍪裁础?MineCLIP 是一個(gè)大型 transformer 模型,它學(xué)習(xí)將視頻剪輯與其對(duì)應(yīng)的英語成績(jī)單相關(guān)聯(lián)。
該關(guān)聯(lián)分?jǐn)?shù)可以作為獎(jiǎng)勵(lì)信號(hào)提供,以指導(dǎo)強(qiáng)化學(xué)習(xí)代理完成任務(wù)。對(duì)于示例任務(wù)“剪一只羊以獲得羊毛”,如果代理接近羊, MineCLIP 會(huì)給代理較高的獎(jiǎng)勵(lì),但如果代理漫無目的地漫游,則會(huì)給較低的獎(jiǎng)勵(lì)。它甚至可以在游戲中進(jìn)行多任務(wù)處理,以完成廣泛的簡(jiǎn)單任務(wù)。
構(gòu)建具有普遍能力的具體化代理是人工智能研究的圣杯目標(biāo)。 MineDojo 提供了 1000 個(gè)任務(wù)的基準(zhǔn)、互聯(lián)網(wǎng)規(guī)模的豐富知識(shí)庫和創(chuàng)新算法,作為解決這一重大挑戰(zhàn)的第一步。
關(guān)于作者
Nathan Horrocks 是 NVIDIA Research 的內(nèi)容營銷經(jīng)理。他重點(diǎn)強(qiáng)調(diào)了 NVIDIA 實(shí)驗(yàn)室在世界各地進(jìn)行的驚人研究。
審核編輯:郭婷
-
嵌入式
+關(guān)注
關(guān)注
5090文章
19176瀏覽量
306915 -
API
+關(guān)注
關(guān)注
2文章
1510瀏覽量
62293 -
模擬器
+關(guān)注
關(guān)注
2文章
881瀏覽量
43347
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論