學習的軟件正在改變世界，但需要監督。人類以兩種方式監督它們，第一種是向機器學習算法展示描述當下任務的大數據，例如有標記的貓和狗的圖片，讓算法區分兩者。另一種監督是在高度結構化的環境中設定一個特定目標，例如在某款電子游戲中獲得高分，再讓算法嘗試眾多可能性，直到找到能實現目標的那一個。

這兩種“監督學習（Supervised Learning）”的方法已經在人工智能領域帶來了突破。2012年，加拿大多倫多大學的一組研究人員有第一種方法構建了AlexNet，這個軟件在一項競賽中識別出的圖片比其最接近的競爭對手多了十分之一。2015年，美國Alphabet旗下的英國人工智能公司DeepMind，研究人員使用了第二種方法教一個算法玩電子游戲雅達利（Atari），水平超過人類，后來更在圍棋上取得的了長期的勝利。

這些突破為今天AI很多令人興奮的發展奠定了基礎。但監督學習也存在缺陷，人工指導涉及標記數據或設計虛擬環境等人工作業，不僅成本高昂，指導完成后還不能用于其他學習。監督學習不大現實，在現實的世界里，我們通常不會標記事物或為學習進展提供明確的信號。AlexNet和DeepMind的游戲智能軟件都需要幾百萬至幾十億個示例或模擬，以及消耗大量電力的強大計算機。位于巴黎的法國國家信息與自動化研究所（Inria）的研究員Pierre-Yves Oudeyer說，“如果你打算在每次新的訓練任務中都這樣做，那么就需要幾十個核電站專門為你服務“。

因此，AI若要真正騰飛，還需要些別的東西。Oudeyer表示，這推動研究人員開始探索人類了解世界的基本機制之一“好奇心（Curiosity）”。Oudeyer和其他人不再使用由人類創建的函數來訓練算法，而是在過去20年里開發人工智能體，用它們自己內在的獎勵系統來檢視周圍的世界并收集數據，這樣的工作正開始獲得成功。

第一代好奇心AI使用了“預測錯誤（Prediction Error）”來激勵智能體。該軟件會探索它需要研究的實體或虛擬環境，尋找與它的預期差異很大的東西，換句話說，它是在搜索新奇數據。這種方法行的通，但有一個很大的缺陷，例如觀察過往車輛的智能體可能會沉迷于過往車輛的顏色順序，因為它對下一部車的顏色做出的預測幾乎總是錯誤的。因此一個好奇的機器人如果不去學習怎么走下樓梯，而是為了尋求信息的刺激反覆從樓梯上滾下去并沒有任何意義。

解決這個問題的方法是把注意力放在智能體的預測錯誤變化率而不是錯誤本身。使用這種方法讓機器人在剛開始觀察日出日落時預測錯誤會很多，但隨著它對一個物理系統實際屬性的認識加深，錯誤將逐漸減少。將預測錯誤系統的變化率用作智能體進入下一個任務的信號等于給它設了一個無聊閾值。如果一個要搞清過往車輛顏色規律的機器人使用這樣一個系統，它會保持穩定的錯誤率，進而感到無聊。

今年6月，Oderyer在實際研究中嘗試了他的好奇心算法。他的研究小組在法國Aquitaine小鎮的一些公立和私立學校對600名小學生展開了測試。他的構想是為每個孩子的數學學習過程建模，提供因人而異的優化練習。該系統名為KidLearn，它把每個孩子都視為自己的好奇智能體，調整學習內容以適應該孩子的理解水平和學習進度。與其他不同的是，KidLearn不依賴從其他兒童那里收集到的數據作為引導，而主要是根據孩子的好奇行來調整。Oderyer的研究人員很快將會公布這次試驗系統的表現。

硅谷的研究人員也一直在研究好奇心。在最近的一篇論文中，來自美國加州大學伯克利分校和非營利性研究公司OpenAI的Deepak Pathak表明，盡管他們的智能體在玩電子游戲時沒有得到任何輸入，也沒有在被打敗或過關時得到任何信號，好奇心驅動的學習仍然在一系列虛擬環境中運作非常良好。

同時還有其他方式可以賦予機器人探索的沖動。美國舊金山優步AI實驗室的研究員Kenneth Stanley模仿了進化過程。他的系統從一組隨機算法開始運作，從中選出一個看起來適合手頭任務的算法，由此生出一組算法，最終演變出一個最適合這項工作的算法。Stanley指出，進化可以產生目標驅動的優化所無法產生的偶然結果。生物進化對飛行沒有明顯好奇，但仍然演化出了鳥類。

所有這些實驗都表明了，一套更完整的學習算法正在出現。由好奇心或進化驅動的人工智能體可應用于學習的早期階段，也更適合缺乏大量數據的零散環境。一旦找到有趣的東西，就可以接著進行監督學習，以確保能準確學習到特定的功能。