文章 "神经网络变得轻松(第三十二部分):分布式 Q-学习"

 

新文章 神经网络变得轻松(第三十二部分):分布式 Q-学习已发布:

我们在本系列的早期文章中领略了 Q-学习方法。 此方法均化每次操作的奖励。 2017 年出现了两篇论文,在研究奖励分配函数时展现出了极大的成功。 我们来研究运用这种技术解决我们问题的可能性。

当测试 EA 在 MetaTrader 5 策略测试器中取两周区间数据运行时,基于模型信号进行交易,它产生了约 20 美元的利润。 所有操作都是最低手数。 下图展示出余额值有明显上升趋势。

策略测试器中的模型测试

分布式 Q-学习模型的测试

交易操作统计数据显示,近 56% 的操作是盈利的。 然而,请注意,EA 仅在策略测试器中测试了模型,尚不适合金融市场的真实交易。

作者:Dmitriy Gizlyk

 
  • 3-х сверточных слоёв предварительной обработки данных,

它们的激活、优化、窗口、步长和窗外参数是什么?

  • 3 个完全连接的隐藏层,每个层有 1000 个神经元、

它们的激活、优化参数是多少?

  • 1 个由 45 个神经元组成的全连接决策层(3 种行动概率分布各有 15 个神经元)、

它们的激活、优化参数是什么?

  • 第 1 个 SoftMax 层,对概率分布进行归一化处理。

在 NetCreator 中指定了 SiftMax。最终结果是 45 吗?

 

В NetCreator указан SiftMax. У него в итоге выйдет outputs 45? 

使用本文中的 NetCreator。已添加 SoftMax 的 Heads 参数。您应在其中指定可能的动作数量。然后,SoftMax 图层大小参数将发生变化。

 
Ivan Butko #:

它们的激活和优化参数是什么?

我用 Adam 优化了所有神经层。在 SoftMax 之前,没有使用激活函数。它可以使大量神经元在结果域的边界层具有相同的结果。而 SoftMax 会为它们给出相同的概率。这会使结果出现偏差。这里的 SoftMax 就是激活函数。

 
你训练了多少个 Era?
 
尝试编译从第 28 章到第 35 章的所有 EA,但仍然出现同样的错误。
附加的文件:
 
我想使用第 22 章中的 VAE 文件,编译时没有出错,但当我附加火车 EA 时却什么也没发生。
附加的文件:
 

这不总是零吗?


我想应该是 (Vmax-Vmin)/N 吧?

 
Carl Schreiber # :

这不总是零吗:


我想应该是 (Vmax-Vmin)/N 吧?

您好,您是对的。

 

那 #include "..\Unsupervised\AE\VAE.mqh" 呢?
有简单的手册说明如何使用这些东西,如果 VAE.mqh 会出现吗?

*edit*这里是 VAE.mqh https://www.mql5.com/zh/articles/11245,在第 22 部分。

Neural networks made easy (Part 22): Unsupervised learning of recurrent models
Neural networks made easy (Part 22): Unsupervised learning of recurrent models
  • www.mql5.com
We continue to study unsupervised learning algorithms. This time I suggest that we discuss the features of autoencoders when applied to recurrent model training.
 
IcHiAT #:

包含"...\Unsupervised\AE\VAE.mqh" 的内容是什么?
有没有关于如何使用 VAE.mqh 的简单手册?

*editar*Aqui está o VAE.mqh https://www.mql5.com/zh/articles/11245 está na Parte 22

是的,但我仍然遇到如下错误。你发现这个问题了吗?


MathRandomNormal' - 未声明标识符 VAE.mqh 92 8

',' - 意外标记 VAE.mqh 92 26

'0'--预期的某个运算符 VAE.mqh 92 25

'(' - 左括号不平衡 VAE.mqh 92 6

','-意想不到的符号 VAE.mqh 92 29

表达式没有影响 VAE.mqh 92 28

',' - 意外标记 VAE.mqh 92 48

')' - 意外标记 VAE.mqh 92 56

表达式无影响 VAE.mqh 92 50

')' - 意外标记 VAE.mqh 92 57