在過去十年左右的時間里,研究人員已經開發了多種基于人工神經網絡(ANN)的計算模型。盡管已發現許多這些模型在特定任務上表現良好,但它們并不總是能夠識別可應用于新問題的迭代,順序或算法策略。
過去的研究發現,添加外部存儲器組件可以提高神經網絡獲取這些策略的能力。但是,即使使用外部存儲器,它們也容易出錯,對提供給他們的數據變化敏感,并且需要大量的訓練數據才能很好地發揮作用。
達姆施塔特技術大學的研究人員最近推出了一種新的基于記憶增強的基于ANN的體系結構,該體系結構可以學習解決問題的抽象策略。這種結構在將算法計算與依賴于數據的操作分開,將算法處理的信息流劃分為兩個不同的“流”。
研究人員在論文中寫道:“擴展具有外部記憶的神經網絡已經提高了他們學習這種策略的能力,但是它們仍然容易出現數據變化,難以學習可擴展和可轉移的解決方案,并且需要大量的訓練數據。” “我們提出了神經哈佛計算機,這是一種基于內存的基于網絡的體系結構,該體系結構通過將算法操作與數據操作解耦而采用抽象,通過拆分信息流和分離的模塊來實現。”
神經哈佛計算機或NHC將輸入算法的信息流分為兩個不同的流,即數據流(包含特定于數據的操作)和控制流(包含算法操作)。最終,它可以區分與數據相關的模塊和算法模塊,從而創建兩個獨立但又耦合的存儲器。
NHC具有三個主要的算法模塊,分別稱為控制器,存儲器和總線。這三個組件具有不同的功能,但彼此交互以獲取可應用于將來任務的抽象。研究人員在論文中解釋說:“這種抽象機制和進化訓練使學習健壯和可擴展的算法解決方案成為可能。”
研究人員通過使用NHC訓練和運行11種不同的算法來評估NHC。然后,他們測試了這些算法的性能,以及它們的泛化和抽象能力。研究人員發現,NHC可以可靠地運行所有11種算法,同時還可以使它們在比最初訓練要完成的任務復雜的任務上表現出色。“在11種復雜程度各異的算法中,我們證明NHC可靠地學習了具有強大概括性和抽象性的算法解決方案,可以完美地概括和擴展到任意任務配置和復雜性,而這些復雜性和復雜性遠遠超出了訓練期間所看到的,并且與數據無關表示法和任務領域”,
該研究人員小組最近進行的研究證實了使用外部存儲組件來增強復雜程度不同的任務中基于神經網絡的體系結構的性能和可推廣性的潛力。將來,NHC體系結構可用于合并和改進不同ANN的功能,從而幫助開發可識別有用策略的模型,從而基于新數據做出準確的預測。
責任編輯:YYX
-
神經網絡
+關注
關注
42文章
4772瀏覽量
100792 -
內存
+關注
關注
8文章
3026瀏覽量
74066 -
人工智能
+關注
關注
1791文章
47294瀏覽量
238578
發布評論請先 登錄
相關推薦
評論