Hinton創建的向量學院的研究者提出了一類新的神經網絡模型，神經常微分方程（Neural ODE），將神經網絡與常微分方程結合在一起，用ODE來做預測。不是逐層更新隱藏層，而是用神經網絡來指定它們的衍生深度，用ODE求解器自適應地計算輸出。

我們知道神經網絡是一種大的分層模型，能夠從復雜的數據中學習模式。這也是為什么神經網絡在處理圖像、聲音、視頻和序列行動時有很多成功的應用。但我們常常忘記一點，那就是神經網絡也是一種通用函數逼近器，因此，神經網絡可以作為數值分析工具，用來解決更多的“經典”數學問題，比如常微分方程（Ordinary Differential Equation，ODE）。

2015年橫空出世的殘差網絡ResNet，已經成為深度學習業界的一個經典模型，ResNet對每層的輸入做一個reference，學習形成殘差函數，這種殘差函數更容易優化，使網絡層數大大加深。不少研究者都將 ResNet 作為近似ODE求解器，展開了對 ResNet的可逆性（reversibility）和近似計算的研究。

在一篇最新的論文里，來自多倫多大學和“深度學習教父”Geoffrey Hinton創建的向量學院的幾位研究者，將深度學習與ODE求解器相結合，提出了“神經ODE”（Neural ODE），用更通用的方式展示了這些屬性。

他們將神經ODE作為模型組件，為時間序列建模、監督學習和密度估計開發了新的模型。這些新的模型能夠根據每個輸入來調整其評估策略，并且能顯式地控制計算速度和精度之間的權衡。

將深度學習和常微分方程結合在一起，提供四大優勢

殘差網絡、遞歸神經網絡解碼器和標準化流（normalizing flows）之類模型，通過將一系列變化組合成一個隱藏狀態（hidden state）來構建復雜的變換:

其中，。這些迭代更新可以看作是連續變換的歐拉離散化。

當我們向網絡中添加更多的層，并采取更少的步驟時會發生什么呢？在極限情況下，我們使用神經網絡指定的常微分方程（ODE）來參數化隱藏單元的連續動態：

從輸入層開始，我們可以將輸出層定義為在某個時間時這個ODE的初始值問題的解。這個值可以通過黑盒微分方程求解器來計算，該求解器在必要的時候評估隱藏單元動態，以確定所需精度的解。圖1對比了這兩種方法。

圖1：左：殘差網絡定義一個離散的有限變換序列。右：ODE網絡定義了一個向量場，它不斷地變換狀態。圓圈代表評估位置。

使用ODE求解器定義和評估模型有以下幾個好處：

內存效率。在論文第2章，我們解釋了如何計算任何ODE求解器的所有輸入的標量值損失的梯度，而不通過求解器的操作進行反向傳播。不存儲任何中間量的前向通道允許我們以幾乎不變的內存成本來訓練模型，這是訓練深度模型的一個主要瓶頸。

自適應計算。歐拉方法（Euler’s method）可能是求解ODE最簡單的方法。現代的ODE求解器提供了有關近似誤差增長的保證，檢測誤差的大小并實時調整其評估策略，以達到所要求的精度水平。這使得評估模型的成本隨著問題復雜度而增加。訓練結束后，可以降低實時應用或低功耗應用的精度。

參數效率。當隱藏單元動態（hidden unit dynamics）被參數化為時間的連續函數時，附近“layers”的參數自動連接在一起。在第3節中，我們表明這減少了監督學習任務所需的參數數量。

可擴展的和可逆的normalizing flows。連續變換的一個意想不到的好處是變量公式的變化更容易計算了。在第4節中，我們推導出這個結果，并用它構造了一類新的可逆密度模型，該模型避免了normalizing flows的單個單元瓶頸，并且可以通過最大似然法直接進行訓練。

連續時間序列模型。與需要離散觀測和發射間隔的遞歸神經網絡不同，連續定義的動態可以自然地并入任意時間到達的數據。在第5節中，我們構建并演示了這樣一個模型。

ODE求解器提供了一個通用的反向傳播算法

論文作者、多倫多大學助理教授David Duvenaud表示，他們通過ODE求解器，提供了一個通用的backprop，但他們的方法是從可逆性上入手，而不是在ODE求解器的運算里進行反向傳播（因為這樣做對內存消耗很大）。這個方法已經添加到 autograd。

另一位作者、多倫多大學的博士生Tian Qi Chen也表示，他們這項工作創新的地方就在于提出并且開源了一種新方法，在自動微分的框架下，將ODE和深度學習結合在一起。

此外，這項研究還得到了很多意外的收獲。例如，構建了連續標準化流（continuous normalizing flows），可逆性強，可以使用寬度，就像 Real NVP一樣，但不需要對數據維度分區或排序。

標準化流與連續標準化流量的比較。標準化流的模型容量由網絡的深度（K）決定，而連續標準化流的模型容量可以通過增加寬度（M）來增加，使它們更容易訓練。來源：研究論文

還有時間連續RNN（continuous-time RNNs），能夠處理不規則的觀察時間，同時用狀態依賴的泊松過程近似建模。下圖展示了普通的RNN和神經ODE對比：

Tian Qi Chen說，他尤其喜歡變量的即時改變，這打開了一種新的方法，用連續標準流進行生成建模。

目前，作者正在講ODE求解器拓展到GPU上，做更大規模的擴展。