文章 "神经网络变得轻松（第七部分）：自适应优化方法"

新评论
 

新文章 神经网络变得轻松（第七部分）：自适应优化方法已发布：

在之前的文章中，我们利用随机梯度下降法针对网络中的所有神经元按照相同的学习率训练神经网络。 在本文中，我提议着眼于自适应学习方法，该方法能够改变每个神经元的学习率。 我们还将研究这种方法的利弊。

经由 Adam 方法进行的优化测试，其所依据条件与早期测试中使用的相同：品种 EURUSD，时间帧 H1，20 根连续烛条的数据馈入网络，并根据最近两年的历史进行训练。 已为测试创建了 Fractal_OCL_Adam 智能交易系统。 该智能交易系统的创建，则是基于 Fractal_OCL EA，在主程序的 OnInit 函数中描述神经网络时，指定 Adam 优化方法。

      desc.count=(int)HistoryBars*12;
      desc.type=defNeuron;
      desc.optimization=ADAM;

层和神经元的数量没有变化。

智能交易系统初始化时的随机权重为 -1 到 1，不包括零值。 在测试期间，在第二个训练迭代之后，神经网络误差稳定在 30％ 左右。 您可能还记得，采用随机梯度下降法学习时，在第 5 个训练迭代之后，误差稳定在 42％ 左右。


缺失的分形图形展示出数值递增贯穿于整个训练过程。 不过，经过 12 个训练迭代之后，数值递增率逐渐降低。 第 14 个迭代后，该值等于 72.5％。 当训练相似的神经网络时采用随机梯度下降方法，则在不同学习率的情况下，经过 10 个迭代后分形缺失率为 97-100％。


作者：Dmitriy Gizlyk

新评论