讓兒童（和成年人）整理東西已經(jīng)是件難事了，但是想讓AI像人一樣整理東西是個不小的挑戰(zhàn)。一些視覺運動的核心技能是取得成功的關(guān)鍵：接近一個物體，抓住并且提起它，然后打開一個盒子，將其放入盒中。要完成更復(fù)雜的動作，必須按照正確順序應(yīng)用這些技能。

控制任務(wù)，比如整理桌子或堆疊物體，都需要智能體決定如何、何時并且在哪里協(xié)調(diào)機械臂和手指的六個關(guān)節(jié)以移動并實現(xiàn)目標。在某一特定時刻，可能的動作會有多種組合，并且要想把它們按順序組合好，就產(chǎn)生了嚴重的問題——這也使得強化學習成為一個有趣的領(lǐng)域。

類似獎勵塑造（reward shaping）、學徒式學習（apprenticeship learning）或從展示中學習有助于解決上述問題。但是，這些方法需要對任務(wù)有足夠的了解——利用很少的先驗知識學習復(fù)雜的控制任務(wù)仍然是未解決的挑戰(zhàn)。

昨天，DeepMind提出了一種新的學習模式，名為“計劃輔助控制（SAC-X）”以解決上述問題。SAC-X的工作原理是，為了從零開始掌握復(fù)雜任務(wù)，智能體必須先學習探索一系列基礎(chǔ)技能，并掌握他們。正如嬰兒在學會爬行和走路前必須學會保持平衡一樣，讓智能體學習簡單技能以增強內(nèi)部協(xié)調(diào)性，有助于它們理解并執(zhí)行復(fù)雜任務(wù)。

研究人員在一些模擬環(huán)境和真實機器人上試驗了SAC-X方法，其中包括堆疊不同目標物體和整理桌子（其中需要移動對象）。他們所指的輔助任務(wù)的通用原則是：鼓勵智能體探索它的感應(yīng)空間。例如，激活手指的觸覺感應(yīng)器、在腕部的感應(yīng)器感受力度的大小、將本體感應(yīng)器的關(guān)節(jié)角度最大化或強制物體在其視覺相機傳感器中移動。如果達到目標，每個任務(wù)都會得到一個簡單的獎勵，否則沒有獎勵。

模擬智能體最終掌握了“堆疊”這一復(fù)雜任務(wù)

智能體最后能自己決定它現(xiàn)在的“目的”，即下一步要完成什么目標，這有可能是一項輔助任務(wù)，或是外部決定的目標任務(wù)。重要的是，通過廣泛使用off-policy學習，智能體可以檢測到獎勵信號并從中學習。比如，在撿起或移動目標物體時，智能體可能會不經(jīng)意間完成堆疊動作，這樣會使獎勵觀察到這一動作。由于一系列簡單任務(wù)能導(dǎo)致稀有的外部獎勵，所以對目標進行規(guī)劃是十分重要的。它可以根據(jù)收集的相關(guān)知識創(chuàng)建個性化的學習課程。事實證明這是在如此寬廣的領(lǐng)域開發(fā)知識的有效方式，并且當只有少量外部獎勵信號可用時，這種方法更加有用。我們的智能體通過調(diào)度模塊決定下一個目標。調(diào)度器在訓練過程中通過元學習算法得到改進，該算法試圖讓主任務(wù)的進度實現(xiàn)最大化，顯著提高數(shù)據(jù)效率。

探索了一些內(nèi)部輔助任務(wù)后，智能體學會了如何堆疊及清理物品

對SAC-X的評估表示，使用相同的底層輔助任務(wù)，SAC-X能從零開始解決問題。令人興奮的是，在實驗室里，SAC-X能在真實的機械臂上從零學習拾取和放置任務(wù)。這在過去是很有難度的，因為在真實的機械臂上學習需要數(shù)據(jù)效率。所以人們通常會訓練一個模擬智能體，然后再轉(zhuǎn)移到真正的機械臂上。

DeepMind的研究人員認為SAC-X的誕生是從零學習控制任務(wù)的重要一步（只需要確定任務(wù)的最終目標）。SAC-X允許你設(shè)定任意的輔助任務(wù)：它可以是一般的任務(wù)（如激活傳感器），也可以是研究人員需要的任何任務(wù)。也就是說在這方面，SAC-X是一種通用的強化學習方法，除了用于控制任務(wù)和機器人任務(wù)之外，能廣泛適用于一般的稀疏強化學習環(huán)境。