文章 "神经网络变得简单(第 82 部分):常微分方程模型(NeuralODE)"

 

新文章 神经网络变得简单(第 82 部分):常微分方程模型(NeuralODE)已发布:

在本文中,我们将讨论另一种模型类型,它们旨在研究环境状态的动态。

我们来领略一个新的模型家族:常微分方程。它们把隐藏状态的导数利用神经网络参数化,替代了指定隐藏层的离散序列。模型的结果是利用“黑匣子”计算的,即微分方程求解器。这些连续深度模型使用恒定的内存量,并针对每个输入信号适配其估测策略。这种模型最早是在论文《神经常微分方程》中引入的。在该篇论文中,方法的作者演示了使用任意常微分方程(ODE)求解器伸缩反向传播的能力,而无需访问其内部操作。这就能在较大的模型内对 ODE 进行端到端训练。

作者:Dmitriy Gizlyk