近幾年，深度生成網絡取得了令人印象深刻的成果，盡管如此，這些模型通常會在數據集的細節上浪費很多資源，這也許是由于解碼器中弱感應偏差造成的。于是這時，圖形引擎就派上了用場，因為它們能將低水平的細節變得抽象，然后用高水平的程序表示圖像。目前將深度學習和渲染器結合的方法受限于似然性或距離函數，需要大量的監督，或難于將其推理算法擴展到更豐富的數據集中。于是，DeepMind的研究人員推出了SPIRAL，該智能體經過訓練后能生成一個程序，它能通過圖像引擎解釋并采樣圖像。以下是對原文的編譯。

人類的眼睛所看到的，并不僅僅是角膜反射的圖像。例如當我們看到一幢建筑，沉迷于它精妙的設計時，我們會感嘆工匠的高超技藝。這種通過思考創造它們的工具來欣賞物體的能力，使我們對世界有了更加豐富的理解，這也是人類智慧的一個重要方面。

我們希望系統可以創造出相似的對世界豐富的知覺。例如，在觀察一幅油畫作品時，我們想讓它們了解繪畫的筆觸，而不僅僅是屏幕上單純的像素。

在這項研究中，我們給智能體配備了與人類繪畫相同的工具，可以讓它們明白數位、字符和人像是如何繪制出來的。重要的是，它們完成的這一切都靠自我學習，無需人類標記過的數據集。這與最近一個需要人類數據集的研究不同，這一過程可能非常耗時。

我們設計了一款深度強化學習智能體SPIRAL，它可以和計算機的繪畫程序交互，可以在電子畫布上繪畫，也可以改變筆刷的大小、按壓強度和顏色。未經訓練的智能體最初會漫無目的地在畫布上涂鴉，于是我們必須創造出一種獎勵智能體的方法，促使它畫出有意義的作品。

為了這一目的，我們訓練了另一個神經網絡，稱為判別器（discriminator），它的作用是判斷該作品是否是智能體生成的，或者僅僅是從真實照片中采樣的一張圖片。繪畫智能體是通過欺騙判別器認為繪畫是真實與否的程度來獲得獎勵的。換句話說，智能體的獎勵信號本身就是學習來的。雖然這很像生成對抗網絡（GAN），但是二者的不同之處在于GAN中的生成器通常是直接輸出像素的神經網絡，而我們的智能體通過編寫圖形程序生成圖像，從而在繪圖環境中進行交互。

在實驗的第一個裝置中，智能體用于訓練生成類似MNIST數字一樣的圖像：最后發現這些數字看上去很像MNIST，但畫的方式不一樣。為了生成能夠欺騙過判別器的圖像，智能體學著控制筆刷，然后讓其適應不同數字的風格，這種技術成為視覺程序合成。

我們同樣訓練它重現具體的圖像。在這里，判別器的目的是判斷重新生成的圖像是否是目標圖像的復制品，還是真的由智能體生成的。判別器判斷得越困難，智能體得到的獎勵就越多。

重要的是，該框架也是可解釋的，因為它能生成一串動作用來控制模擬筆刷。這意味著模型可以將其所學應用到模擬繪畫軟件上，在其他相似的環境中重新創造作品，例如在機械臂上。

該框架也可以擴展到真實數據集上。當我們訓練智能體畫出名人的臉時，它能夠捕捉到臉部主要的特征，比如臉型、膚色和發型，有點街頭藝人用僅有的畫筆為人畫肖像的感覺：

從原始感知中復原結構表示是人類能夠輕易獲得并經常使用的能力。在這項工作中，我們證明可以通過給智能體配備與人類相同的感知工具生成相似的表示。在這一過程中，它們學會制作可視化程序，這些程序能簡潔地表達產生這種觀察的因果關系。

盡管我們的工作僅是邁向靈活程序合成的一小步，但我們希望未來能有更多的技術，讓人工智能體具備人類的感知、概括和交流能力。