文章 "神经网络变得轻松（第十三部分）：批次常规化" 新评论 MetaQuotes 2021.06.04 10:50 新文章 神经网络变得轻松（第十三部分）：批次常规化已发布： 在上一篇文章中，我们开始研究旨在提高神经网络训练品质的方法。 在本文中，我们将继续这个主题，并会研讨另一种方法 — 批次数据常规化。 在神经网络应用实践中运用了多种数据常规化方法。 然而，它们的作用均是为了令训练样本数据和神经网络隐藏层的输出保持在一定范围内，并具有某些样本统计特征，如方差和中位数。 这一点很重要，因为网络神经元在训练过程中利用线性变换将样本朝逆梯度偏移。 参考一个含有两个隐藏层的全连接感知器。 在前馈验算过程中，每一层都会生成一个特定的数据集，作为下一层的训练样本。 输出层的结果与参考数据进行比较。 然后，在反馈验算过程中，误差梯度自输出层穿过隐藏层朝向初始数据传播。 每个神经元接收到误差梯度后，我们更新权重系数，为最后一次前馈验算的训练样本调整神经网络。 此处会产生一个冲突：第二个隐藏层（下图中的 H2）会基于第一个隐藏层（图中的 H1）输出的数据样本进行调整，而通过改变第一个隐藏层的参数，我们已更改了数据数组。 换言之，我们调整第二个隐藏层，其数据样本不再存在。 类似的状况也发生在输出层，因第二个隐藏层输出业已变化，故它也会被调整。 如果我们参考第一和第二隐藏层之间的失真，误差尺度会更大。 神经网络越深，影响越强。 这种现象被称为内部协变量偏移。 经典神经网络通过降低学习率部分解决了这个问题。 权重的微小变化不会导致神经层输出的样本分布发生显著变化。 但这种方式并未解决随着神经网络层数增加而出现的问题放大，且还降低了学习速度。 减小学习率的另一个问题是该过程可能会卡在局部最小值上，我们曾在第六篇文章里讨论过。 作者：Dmitriy Gizlyk 新评论 您错过了交易机会： 免费交易应用程序 8,000+信号可供复制 探索金融市场的经济新闻 注册 登录 拉丁字符（不带空格） 密码将被发送至该邮箱 发生错误 使用 Google 登录 您同意网站政策和使用条款 如果您没有帐号，请注册 可以使用cookies登录MQL5.com网站。 请在您的浏览器中启用必要的设置，否则您将无法登录。 忘记您的登录名/密码？ 使用 Google 登录
新文章 神经网络变得轻松（第十三部分）：批次常规化已发布：
在上一篇文章中，我们开始研究旨在提高神经网络训练品质的方法。 在本文中，我们将继续这个主题，并会研讨另一种方法 — 批次数据常规化。
在神经网络应用实践中运用了多种数据常规化方法。 然而，它们的作用均是为了令训练样本数据和神经网络隐藏层的输出保持在一定范围内，并具有某些样本统计特征，如方差和中位数。 这一点很重要，因为网络神经元在训练过程中利用线性变换将样本朝逆梯度偏移。
参考一个含有两个隐藏层的全连接感知器。 在前馈验算过程中，每一层都会生成一个特定的数据集，作为下一层的训练样本。 输出层的结果与参考数据进行比较。 然后，在反馈验算过程中，误差梯度自输出层穿过隐藏层朝向初始数据传播。 每个神经元接收到误差梯度后，我们更新权重系数，为最后一次前馈验算的训练样本调整神经网络。 此处会产生一个冲突：第二个隐藏层（下图中的 H2）会基于第一个隐藏层（图中的 H1）输出的数据样本进行调整，而通过改变第一个隐藏层的参数，我们已更改了数据数组。 换言之，我们调整第二个隐藏层，其数据样本不再存在。 类似的状况也发生在输出层，因第二个隐藏层输出业已变化，故它也会被调整。 如果我们参考第一和第二隐藏层之间的失真，误差尺度会更大。 神经网络越深，影响越强。 这种现象被称为内部协变量偏移。
经典神经网络通过降低学习率部分解决了这个问题。 权重的微小变化不会导致神经层输出的样本分布发生显著变化。 但这种方式并未解决随着神经网络层数增加而出现的问题放大，且还降低了学习速度。 减小学习率的另一个问题是该过程可能会卡在局部最小值上，我们曾在第六篇文章里讨论过。
作者：Dmitriy Gizlyk