文章 "神经网络变得简单(第 84 部分):可逆归一化(RevIN)"

 

新文章 神经网络变得简单(第 84 部分):可逆归一化(RevIN)已发布:

我们已经知晓,输入数据的预处理对于模型训练的稳定性扮演重要角色。为了在线处理 “原始” 输入数据,我们往往会用到批量归一化层。但有时我们需要一个逆过程。在本文中,我们将讨论解决该问题的可能方式之一。

当训练各种自动编码器模型时,我们就遇到了类似的问题。在这些情况下,我们找到了一种解决方案,即采用归一化后的原始数据作为目标。不过,在这种情况下,我们需要不同于输入数据的,描述环境后续状态的数据。论文《可逆实例归一化抵消精确时间序列预测中的分布移位》中提出了解决此问题的方法之一。

论文作者提议一种简单而有效的归一化和逆归一化方法:可逆实例归一化(RevIN)。该算法首先归一化输入序列,然后在模型的输出序列进行逆归一化,以便解决时间序列预测当中的分布移位相关问题。RevIN 是对称结构,按归一化层中输入数据的伸缩和移位相等量值,在逆归一化层中缩放和移位输出,从而将原始分布信息返回到模型输出。

RevIN 是一个灵活的、可训练的层,能够应用于所有任意选择的层,有效地抑制一层中的非稳态信息(实例的平均值和方差),并在近乎对称位置另一层将其恢复,例如输入和输出层。 

"Neural Networks Made Easy (Part 84): Reversible Normalization (RevIN)"

作者:Dmitriy Gizlyk