編者按：很多現實中的任務都有著復雜的目標或者很難詳細表述出的目標，這就很難衡量機器在此任務上的表現結果。其中一種解決辦法是，人類通過演示或判斷提供訓練信號，但是這種方法在復雜情況下很容易失效。現在，OpenAI提出了一種方法，能夠為復雜任務生成訓練信號。以下是論智對原文的編譯。

我們提出的技術稱作迭代擴增（iterated amplification），它能讓我們清楚的了解超越了人類能力的復雜行為和目標。與提供標簽數據或獎勵函數不同，我們的方法是將一個任務分解成多個更簡單的小任務。盡管這一想法還處在初級階段，而且一直在簡單的游戲算法中進行了實驗，不過我們還是決定分享出它的初期狀態，因為我們認為它將是保證AI安全非常有用的方法。

論文地址：arxiv.org/abs/1810.08575

如果我們想訓練一個機器學習系統執行任務，就需要一個訓練信號，這是一種衡量系統表現的方法，從而能幫助它更好地學習。例如，監督學習中的標簽或強化學習中的獎勵都可以看作訓練信號。機器學習的組織規則通常假設一種訓練信號已經有現成的了，我們應該關注從中學習，但是事實上，訓練信號必須從別處得到。如果沒有訓練信號，就無法學習任務。如果得到了錯誤的訓練信號，就會得到錯誤、甚至危險的行為。所以，提高生成訓練信號的能力對學習新任務和AI安全性都是有利的。

目前我們是如何生成訓練信號的呢？有時，我們想實現的目標可以用算法進行評估，例如在圍棋比賽中計算得分或者是否成功得到了一定的分數。大多數現實任務都不適合算法訓練信號，但是通常我們可以通過人類執行任務或判斷AI的性能獲得訓練信號。但是大多數任務都很復雜，人類無法進行判斷或很好地執行，它們可能具有復雜的轉接系統或者有多種安全問題。

迭代擴增就是為第二種類型的任務設計的生成訓練信號的方法。換句話說，雖然人類不能直接進行全部任務，但是我們假設他可以清楚地辨別某種任務中的各種組成部分。例如，在計算機的網絡案例中，人類可以將“保護服務器和路由器”的任務分解成“了解服務器受到的攻擊”、“了解路由器受到的攻擊”以及“這兩種攻擊如何交互”。另外，我們假設人類可以完成任務的一些很小實例，例如“辨別日志文件中可疑的特定代碼”。如果這些可以實現，那么我們就能通過人類在小任務上的訓練信號搭建大型任務的訓練信號。

在我們實施迭代擴增的過程中，我們首先對小的子任務進行采樣，訓練AI系統模擬人類示范完成任務。之后，我們開始收集稍大型的任務，解決的方法是先讓人們將其分為小部分，經過訓練的AI就能解決這些小問題。這種方法常用于稍困難的任務中，其中加入了人類的幫助，作為訓練信號來訓練AI系統解決多層任務。之后在解決更復雜的任務時，重復搭建這樣的訓練模型即可。如果這一過程可行，最終就能生成一個完全自動的解決復雜任務的系統，不論初期是否有直接的訓練信號。這一過程有點像AlphaGo Zero中使用的expert iteration，只不過expert iteration是對現有的訓練信號進行強化，而我們的iterated amplification是從零創造訓練信號。它還類似于最近的幾種學習算法，例如在測試時利用問題分解解決某個任務，但是不同的是它是在沒有先驗訓練信號的情況下操作的。

實驗

基于此前研究AI辯論的經驗，我們認為直接處理超越人類尺度的任務對一個原型項目來說太難了。同時，利用人類的實際行為作為訓練信號也比較復雜，所以我們還沒有解決這一點。在我們的第一個實驗中，我們嘗試擴大一個算法訓練信號，來證明iterated amplification可以在這一簡單的設置上工作。我們同樣將注意力限制在監督學習上。

我們在五個不同的玩具算法任務中測試了這種方法，這些任務都有直接的算法解決方案，但我們假裝不知道（例如，尋找圖中兩點之間的最短路線），不過，若想把每個片段手動組合起來就需要大量精力。我們使用迭代擴增來學習只使用片段作為訓練信號的直接算法，從而模擬人類知道如何組合解決方法片段、但沒有直接的訓練信號的情況。

在這五個任務中（排列供電、順序分配、通配符搜索、最短路徑查詢以及聯合查找），結果與直接通過監督學習解決的任務表現相當。

擴增方法和此前對AI安全的辯論研究有很多相似特征。和辯論相似的是，它也是訓練模型在人類無法完成的任務上直接執行或判斷，通過迭代過程讓人類提供間接的監督，不過具體方法并不相同。未來，我們會加入人類的反饋機制。