文章 "神经网络变得轻松(第十三部分):批次常规化" - 页 2

 
Dmitry Nazarov 的网络 时,回溯测试给出了相同的结果。

输入是每秒统一的。

从文件中读取网络时,随机权重生成函数不应有任何值。权重是从文件中读取的。但在你的函数中,权重生成不是随机的,每次重启都会生成相同的权重,这就是结果收敛的原因。检查一下你的代码。似乎在读取后,你用随机权重覆盖了训练好的网络。

 

你好,德米特里

请您提供一个使用第 13 条 neuronet.mqh 文件版本的 LSTM 代码示例。

我试图使用第 4 篇的 fractal_lstm.mq5 文件,但没有成功......在训练中出现了错误......


谢谢

 
您好,这个关于神经网络的系列非常好。祝贺您!

对于我这个神经网络初学者来说,这非常有启发性。我想用您的建议来编写一个 EA。

因此,我修改了您的最后一个示例(MLMH + 卷积)。
我添加了许多不同的激活函数(32 个函数 - 高斯、SeLU、SILU、Softsign、对称西格莫等)及其派生函数,
,我改变了错误/成功计算(买入、卖出、DontBuySell),因为我认为 "不交易 "并非未定义。因此,如果 NN 能识别不买入和不卖出,而且这在实际中是正确的,那么它就应该在反馈循环中得到奖励。

也许有人已经有了解决方案,或者可以帮助解决以下问题:

我无法创建需要完整层权重的函数:Softmax、Maxout、PRelu 以及学习到的α。
此外,我也无法进行不同的优化(AdaBound、AMSBound、Momentum)。
我在考虑使用 DNN-Builder-EA 进行测试,以找到最佳网络结构。

1. 如何找到每层神经元和权重的进出数?

2. 您建议采用哪种拓扑结构?我尝试了多种拓扑结构:
A) 数个神经元层,计数=19000,然后在接下来的层中递减计数*0.3
B) 1 个卷积层 + 12 层 MLMH,每层 300 个神经元
C) 29 层,每层 300 个神经元
D) 29 层,每层 300 个神经元,每层之间进行归一化。
我得到的预测值最大为 57%,但我认为它可以/必须更好。
是否应该有神经元数上升然后再下降的层?

3. 如何进行回溯测试?
有很多非常详细的解释,但我不明白其中的一些概述。

4.哪个层在哪个层之后?

5.当 layer=x、step=y、window_out=z 时,卷积神经元或像 MLMH 这样的多头神经元有多少输出?我必须计算下一个神经元层的数量。

6. LSTM_OCL 如何?

7. 我想为每一层实现 eta,但没有成功(缺乏对类的了解--我是一个很好的第三代编码员)。

8. 要使错误率小于 0.1,应该做些什么修改?我的常数是 0.6+。

9.现有层布局中的偏置神经元如何处理?

我已经在许多网站上研究了几个星期,但没有找到这些问题的答案。


也许第 14 部分会提供所有这些问题的解决方案?

预祝
,非常感谢。
 

你好。我遇到了这个错误

candidate function not viable: no know conversion from 'double __attribute__((ext_vector_type92000' to 'half4' for 1st argument.

2022.11.30 08:52:28.185 Fractal_OCL_AttentionMLMH_b (EURJPY,D1) OpenCL 程序创建失败。错误代码=5105

2022.11.30 08:52:28.194 Fractal_OCL_AttentionMLMH_b (EURJPY,D1) feedForward 函数出错:4401
2022.11.30 08:52:28.199 Fractal_OCL_AttentionMLMH_b (EURJPY,D1) 'NeuroNet.mqh' 中无效指针 访问 (2271,16)

自文章第 10 部分示例开始使用 EA 时

请猜猜看?

谢谢

 
MrRogerioNeri 无效指针 访问 (2271,16)

自文章第 10 部分示例开始使用 EA 时

请猜猜看?

谢谢

你好,你能发送完整的日志吗?

 

你好,感谢您的帮助

罗杰里奥

附加的文件:
20221201.log  7978 kb
 
MrRogerioNeri #:

嗨,感谢您的帮助

罗杰里奥

你好,罗杰里奥。

1.您没有创建模型。

CS      0       08:28:40.162    Fractal_OCL_AttentionMLMH_d (EURUSD,H1) EURUSD_PERIOD_H1_ 20 Fractal_OCL_AttentionMLMH_d.nnw
CS      0       08:28:40.163    Fractal_OCL_AttentionMLMH_d (EURUSD,H1) OnInit - 130 -> Error of read EURUSD_PERIOD_H1_ 20 Fractal_OCL_AttentionMLMH_d.nnw prev Net 5004

2.您的 GPU 不支持 double。请从文章https://www.mql5.com/ru/articles/11804 中下载最新版本

CS      0       08:28:40.192    Fractal_OCL_AttentionMLMH_d (EURUSD,H1) OpenCL: GPU device 'Intel HD Graphics 4400' selected
CS      0       08:28:43.149    Fractal_OCL_AttentionMLMH_d (EURUSD,H1) 1:9:26: error: OpenCL extension 'cl_khr_fp64' is unsupported
CS      0       08:28:43.149    Fractal_OCL_AttentionMLMH_d (EURUSD,H1) 1:55:16: error: no matching function for call to 'dot'
CS      0       08:28:43.149    Fractal_OCL_AttentionMLMH_d (EURUSD,H1) c:/j/workspace/llvm/llvm/tools/clang/lib/cclang\<stdin>:2199:61: note: candidate function not viable: no known conversion from 'double4' to 'float' for 1 st argument
Нейросети — это просто (Часть 34): Полностью параметризированная квантильная функция
Нейросети — это просто (Часть 34): Полностью параметризированная квантильная функция
  • www.mql5.com
Продолжаем изучение алгоритмов распределенного Q-обучения. В предыдущих статьях мы рассмотрели алгоритмы распределенного и квантильного Q-обучения. В первом мы учили вероятности заданных диапазонов значений. Во втором учили диапазоны с заданной вероятностью. И в первом, и во втором алгоритме мы использовали априорные знания одного распределения и учили другое. В данной статье мы рассмотрим алгоритм, позволяющей модели учить оба распределения.
 

你好,德米特里

你写道你没有创建模型。

但我如何创建模型呢?我编译了所有程序字体并运行了 EA。

EA 在 "files "文件夹下创建了一个扩展名为 nnw 的文件。

谢谢。

 

你好,德米特里老师

现在没有一个 .mqh 可以编译

例如,当我尝试编译 vae.mqh 时,出现以下错误

MathRandomNormal' - 未声明标识符 VAE.mqh 92 8

我将尝试从头开始。

还有一个问题:当您推出 NeuroNet.mqh 的新版本时,该版本是否与其他旧版 EA 完全兼容?

谢谢

罗杰里奥

PS: 即使删除了所有文件和目录,并从第 1 和第 2 部分的新副本开始,我也无法编译任何代码。

例如,当尝试编译 fractal.mq5 中的代码时,会出现以下错误:

cannot convert type'CArrayObj*' to reference of type 'const CArrayObj *' NeuroNet.mqh 437 29

对不起,我真的很想理解您的文章和代码。

PS2: 我去掉了 "feedForward"、"calcHiddenGradients "和 "sumDOW "中的 "const",现在我可以编译 Fractal.mqh 和 Fractal2.mqh 了。