文章 "神经网络变得简单(第 84 部分):可逆归一化(RevIN)"

 

新文章 神经网络变得简单(第 84 部分):可逆归一化(RevIN)已发布:

我们已经知晓,输入数据的预处理对于模型训练的稳定性扮演重要角色。为了在线处理 “原始” 输入数据,我们往往会用到批量归一化层。但有时我们需要一个逆过程。在本文中,我们将讨论解决该问题的可能方式之一。

当训练各种自动编码器模型时,我们就遇到了类似的问题。在这些情况下,我们找到了一种解决方案,即采用归一化后的原始数据作为目标。不过,在这种情况下,我们需要不同于输入数据的,描述环境后续状态的数据。论文《可逆实例归一化抵消精确时间序列预测中的分布移位》中提出了解决此问题的方法之一。

论文作者提议一种简单而有效的归一化和逆归一化方法:可逆实例归一化(RevIN)。该算法首先归一化输入序列,然后在模型的输出序列进行逆归一化,以便解决时间序列预测当中的分布移位相关问题。RevIN 是对称结构,按归一化层中输入数据的伸缩和移位相等量值,在逆归一化层中缩放和移位输出,从而将原始分布信息返回到模型输出。

RevIN 是一个灵活的、可训练的层,能够应用于所有任意选择的层,有效地抑制一层中的非稳态信息(实例的平均值和方差),并在近乎对称位置另一层将其恢复,例如输入和输出层。 

"Neural Networks Made Easy (Part 84): Reversible Normalization (RevIN)"

作者:Dmitriy Gizlyk

 
ORL 优化中发生错误。
 
LJ1616#
ORL 优化中发生错误。

您也可以简单地将图像拖放到文本中或使用Ctrl+V 粘贴
2024.04.23 17:36:01.235 核心 01 通过 0 测试,在 0:00:00.098 中出现错误 "OnInit 返回非零代码 1"

 
大家好

正在运行Neural networks made easy(第 67 部分)中的代码:使用过去的经验解决新任务

在以下方面遇到了同样的问题。

2024.04.21 18:00:01.131 Core 4 pass 0 测试时在 0:00:00.152出现错误 "OnInit returned non-zero code 1"

看起来与 "FileIsExist "命令有关。

但是,我无法解决这个问题。

您知道如何解决这个问题吗?