訓練最先進的人工智能系統所需的巨大計算資源意味著，經驗豐富的科技公司將學術團隊置于塵埃中。但是一種新方法可以幫助平衡規模，使科學家可以在一臺計算機上解決最先進的AI問題。

OpenAI的2018年報告發現，用于訓練最強大的AI的處理能力以令人難以置信的快速速度增長，每3.4個月翻一番。最需要數據的方法之一是深度強化學習，其中AI通過遍歷數百萬次仿真來通過反復試驗來學習。最近在諸如Starcraft和Dota2之類的視頻游戲上取得的令人印象深刻的進步依賴于裝有數百個CPU和GPU的服務器。

諸如Cerebras System的Wafer Scale Engine之類的專用硬件有望用完美優化用于訓練AI的單個大型芯片來取代這些機架式處理器。但是，由于價格高達數百萬美元，對于資金不足的研究人員來說，這并不是什么安慰。

現在，南加州大學和英特爾實驗室的團隊創建了一種方法，可以在學術實驗室常用的硬件上訓練深度強化學習（RL）算法。在本周于2020年國際機器學習大會（ICML）上發表的一篇論文中，他們描述了他們如何能夠使用單個高端工作站在第一人稱射擊游戲中訓練具有最先進性能的AI電子游戲Doom。他們還使用一小部分正常計算能力來解決DeepMind提出的30種多樣化3D挑戰套件。

“發明對商品硬件進行深度RL的方法是一個了不起的研究目標，”德克薩斯大學奧斯汀分校的教授Peter Stone說，他專門研究深度RL。他補充說，除了將較小的研究小組拋在身后之外，進行此類研究通常所需的計算資源也會產生大量的碳足跡。他說：“在使RL民主化和減少進行研究所需的能源方面取得的任何進展都是朝著正確方向邁出的一步。”

USC研究生的主要作者Aleksei Petrenko說，該項目的靈感來自于必須成為發明之母的經典案例。隨著在英特爾的暑期實習期結束，Petrenko失去了進入該公司的超級計算集群的權限，這使尚未完成的深度RL項目陷入危險之中。因此，他和同事決定找到一種方法來繼續進行簡單系統的工作。