深度學習目前仍有很大的局限性，其中之一就是無法結合先驗知識，如數學或物理學的基本定律。通常，必須從訓練集中理解DL，這很難真正涵蓋足夠的先驗知識。而DL的一個賣點是，它不需要用算法編程; 而是通過一種優化形式從這些訓練集中抽離出智能。當訓練集足夠大，可以覆蓋目標的核心時，這種方法是很有效的，但如果無法很好的引入其他變量(如旋轉或移動)，這種方法就不是很有效。 這是一個急需解決的局限性。

解決這個問題最簡單的方法是擴大訓練范圍以涵蓋更多變量。對于旋轉，可能需要108 * N個訓練樣本來覆蓋3個旋轉軸和每個軸上的36個方向（0,10,20，......度），而N個樣本遠遠不夠。也就是說收集和標記訓練樣本的數量必須大幅增加。對于移動這個變量，如何訓練ML來確定擊打母球時斯諾克臺球桌上其他球會怎么移動？ 利用訓練重新發現牛頓300多年前編纂的東西似乎是對創造力的巨大浪費。

處理這些變量最好的方法是結合ML使用數學和物理學的先驗知識。 在計算機圖形學中，我們使用基于數學公式的算法推斷旋轉對視圖的影響。在斯諾克的例子中，我們使用了牛頓運動定律，再次在算法中編碼。這些算法捕獲了一些簡單的方程式，否則在追求無算法識別時就需要大量的訓練集，這就是算法被淘汰的原因。

斯坦福大學的一篇論文中利用對彈丸力學的理解來識別和跟蹤被扔出去的枕頭在房間內經過的路徑。據悉，他們首先對一小段路徑進行模型識別，然后利用約束來排除不遵循預期的二階運動方程的完整路徑。其實他們使用了一個經典公式作為神經網絡結構中的約束條件。 這項研究顯示了在缺乏監督的情況下進行機器學習的希望。

奧地利科學與技術研究所的另一篇有趣的論文采用了一種完全不同的方法（通過ML）來建立機器人安全操作條件的模型（例如移動手臂或腿的范圍），這些模型基于從已知安全范圍的操作中學習簡單的公式。這些公式允許出現超出訓練范圍的結果。 他們將此描述為“一種機器學習方法，這種方法可以準確地推斷出無法準確辨別的情況”。其實這種方法是通過在有界的空間中進行實驗，以簡單線性方程的形式建立自己的先驗知識。

第三個例子來自索邦大學，他們提供了預測海面溫度（SST）的圖示。 海面溫度數據已經通過衛星圖像生成，可以提供大量的信息。預測這些數據將如何發展需要基于偏微分方程（PDE）及時更新數據，這是使用數值求解方法進行預測的標準方法的基礎。該研究團隊使用具有離散化版PDE方程的CDNN來指導網絡中時間傳播的加權。與數值方法和其他一些NN方法相比，他們的研究顯示更有希望看到結果。

因此，有兩種方法可以通過加權將先驗物理知識減少或離散化為適合現有深度學習架構的機制，一種方法是推導出簡單方程以形成其自己的“先驗”知識基礎。不過在作者看來，Sorbonne方法似乎是最具擴展性的，因為物理學中的幾乎所有問題都可以簡化為PDE。