RL算法由于獎勵不明確，智能體可能會收到“利用環(huán)境中的虛假模式”的正反饋，這就有可能導(dǎo)致獎勵黑客攻擊。谷歌提出了使用開發(fā)元獎勵學(xué)習(xí)（MeRL）來解決未指定獎勵的問題，通過優(yōu)化輔助獎勵函數(shù)向智能體提供更精確的反饋。

強(qiáng)化學(xué)習(xí)（RL）為優(yōu)化面向目標(biāo)的行為,提供了統(tǒng)一且靈活的框架。

并且在解決諸如：玩視頻游戲、連續(xù)控制和機(jī)器人學(xué)習(xí)等具有挑戰(zhàn)性的任務(wù)方面，取得了顯著成功。

RL算法在這些應(yīng)用領(lǐng)域的成功，往往取決于高質(zhì)量和密集獎勵反饋的可用性。

然而，將RL算法的適用性，擴(kuò)展到具有稀疏和未指定獎勵的環(huán)境，是一個(gè)持續(xù)的挑戰(zhàn)。

需要學(xué)習(xí)智能體從有限的反饋中，概括例如如何學(xué)習(xí)正確行為的問題。

在這種問題設(shè)置中研究RL算法性能的一種自然方法，是通過自然語言理解任務(wù)。

為智能體提供自然語言輸入，并且需要生成復(fù)雜的響應(yīng)，以實(shí)現(xiàn)輸入過程中指定的目標(biāo)，同時(shí)僅接收“成功-失敗”的反饋。

例如一個(gè)“盲”智能體，任務(wù)是通過遵循一系列自然語言命令（例如，“右，上，上，右”）到達(dá)迷宮中的目標(biāo)位置。

給定輸入文本，智能體（綠色圓圈）需要解釋命令，并基于這種解釋采取動作以生成動作序列（a）。

如果智能體人達(dá)到目標(biāo)（紅色星級），則獲得1的獎勵，否則返回0。

由于智能體無法訪問任何可視信息，因此智能體解決此任務(wù)，并概括為新指令的唯一方法，是正確解釋指令。

在這些任務(wù)中，RL智能體需要學(xué)習(xí)從稀疏（只有少數(shù)軌跡導(dǎo)致非零獎勵）和未指定（無目的和意外成功之間的區(qū)別）獎勵。

重要的是，由于獎勵不明確，智能體可能會收到“利用環(huán)境中的虛假模式”的正反饋，這就有可能導(dǎo)致獎勵黑客攻擊，在實(shí)際系統(tǒng)中部署時(shí)會導(dǎo)致意外和有害的行為。

在“學(xué)習(xí)從稀疏和未指定的獎勵中進(jìn)行概括”中，使用開發(fā)元獎勵學(xué)習(xí)（MeRL）來解決未指定獎勵的問題，通過優(yōu)化輔助獎勵函數(shù)向智能體提供更精確的反饋。

《Learning to Generalize from Sparse and Underspecified Rewards》論文地址：

https://arxiv.org/abs/1902.07198

MeRL與使用“新探索策略收集到成功軌跡”的記憶緩沖區(qū)相結(jié)合，從而通過稀疏獎勵學(xué)習(xí)。

這個(gè)方法的有效性在語義分析中得到證明，其目標(biāo)是學(xué)習(xí)從自然語言到邏輯形式的映射（例如，將問題映射到SQL程序）。

本文研究了弱監(jiān)督問題設(shè)置，其目標(biāo)是從問答配對中自動發(fā)現(xiàn)邏輯程序，而不需要任何形式的程序監(jiān)督。

例如下圖中找出“哪個(gè)國家贏得最多銀牌？”，智能體需要生成類似SQL的程序，以產(chǎn)生正確的答案（即“尼日利亞”）。

所提出的方法在WikiTableQuestions和WikiSQL基準(zhǔn)測試中實(shí)現(xiàn)了最先進(jìn)的結(jié)果，分別將先前的工作提升了1.2％和2.4％。

MeRL自動學(xué)習(xí)輔助獎勵函數(shù)，而無需使用任何專家演示（例如，ground-truth計(jì)劃），使其更廣泛適用并且與先前的獎勵學(xué)習(xí)方法不同。

高級概述：

元獎勵學(xué)習(xí)（MeRL）

MeRL在處理不明確獎勵方面發(fā)現(xiàn)，虛假軌跡和實(shí)現(xiàn)意外成功的程序，對智能體的泛化性能不利。

例如，智能體可能解決上述迷宮問題的特定實(shí)例。但是，如果它在訓(xùn)練期間學(xué)會執(zhí)行虛假動作，提供看不見的指令則可能導(dǎo)致其失敗。

為了緩解這個(gè)問題，MeRL優(yōu)化了更精確的輔助獎勵函數(shù)，可以根據(jù)行動軌跡的特征區(qū)分意外、或非意外的成功。

通過元學(xué)習(xí)最大化訓(xùn)練的智能體在保持驗(yàn)證集上的表現(xiàn)，來優(yōu)化輔助獎勵。

從稀疏獎勵中學(xué)習(xí)

要從稀疏的獎勵中學(xué)習(xí)，有效的探索如何找到一組成功軌跡，至關(guān)重要。

論文通過利用Kullback-Leibler（KL）發(fā)散的兩個(gè)方向來解決這一挑戰(zhàn)，這是一種衡量兩種不容概率分布的方法。

在下面的示例中，使用KL散度來最小化固定雙峰（陰影紫色）和學(xué)習(xí)高斯（陰影綠色）分布之間的差異，這可以分別代表智能體的最優(yōu)策略分布，和學(xué)習(xí)的策略的分布。

KL對象的一個(gè)學(xué)習(xí)方向，試圖覆蓋兩種模式的分布，而其他目標(biāo)學(xué)習(xí)的分布，則在尋求特定模式（即，它更喜歡A模式而不是B模式）。

我們的方法利用模式覆蓋了KL關(guān)注多個(gè)峰值以收集多樣化的成功軌跡和模式的傾向，尋求KL在軌跡之間的隱含偏好，以學(xué)習(xí)強(qiáng)有力的策略。

結(jié)論

設(shè)計(jì)區(qū)分最佳和次優(yōu)行為的獎勵函數(shù)對于將RL應(yīng)用于實(shí)際應(yīng)用程序至關(guān)重要。

這項(xiàng)研究在沒有任何人為監(jiān)督的情況下向獎勵函數(shù)建模方向邁出了一小步。

在未來的工作中，我們希望從自動學(xué)習(xí)密集獎勵函數(shù)的角度解決RL中的信用分配問題。

致謝

這項(xiàng)研究是與Chen Liang和Dale Schuurmans合作完成的。 我們感謝Chelsea Finn和Kelvin Guu對該論文的評論。