文章 "深度神经网络 (第七部分)。 神经网络的融合: 堆叠"

 

新文章 深度神经网络 (第七部分)。 神经网络的融合: 堆叠已发布:

我们继续构建融合。 这次,之前创建的融合袋将辅以可训练的合并器 — 深度神经网络。 一个神经网络在修剪后合并了 7 个最佳融合输出。 第二个将融合的所有 500 个输出作为输入,修剪并合并它们。 神经网络将使用 Python 的 keras/TensorFlow 软件包构建。 该软件包的功能也会简要介绍。 还会进行测试并比较装型融合和堆叠融合的分类品质。

我们来绘制训练历史:

history_stop_500

图例 11. DNN500 神经网络训练的历史

为了提高分类品质,可以修改许多超参数: 神经元初始化方法,神经元激活的正则化及其权重等。 使用几乎凭直觉选择的参数所获的结果具有良好的品种,但其上限也令人失望。 如果没有优化,就不可能将准确度提高到 0.82 以上。 结论: 有必要优化神经网络的超参数。 在之前的文章中,我们尝试了贝叶斯优化。 在这里也可以采用它,但这是另一个难题。

作者:Vladimir Perervenko

 

在您的下一篇文章中,是否有可能完全改用 Python? 因为预装软件包和环境的数量很快就会呈指数级 增长。

关于堆叠很有意思,谢谢 :)

 
Maxim Dmitrievsky:

因为预装软件包和环境的数量很快就会呈指数级 增长。

关于堆叠很有意思,谢谢:)

现在和将来,所有计算都使用 R,但使用 Python 软件包(模块)。有很多这样的包。

 
Vladimir Perervenko:

现在和将来,所有计算都使用 R,但使用 Python 软件包(模块)。有很多这样的包。

好吧,我试着伪造一下:)

 
弗拉基米尔教授,您好
由于 KIRS 是为人类而非机器设计的,这意味着我们无法将其集成到 EA 中。
您能否为 KIRAS 深度网格模型建立一个输入多样性模型示例,例如Twitter 情感分析或经济新闻文本分析?
问候与和平 ز ،
 
azzeddine remmal:
弗拉基米尔教授,您好
由于 KIRS 是为人类而非机器设计的,这意味着我们无法将其集成到 EA 中。
您能否为 KIRAS 深度网格模型建立一个输入多样性模型示例,例如 Twitter 情感分析或经济新闻文本分析?
问候与和平 ز ،

你好,阿泽丁、

Keras 是专为人类设计的,只需少量代码即可构建结构复杂的模型。当然,我们可以也应该在 EA 中使用这些模型。这只是一个已经解决的问题。否则,我们为什么需要这些练习呢?

当然,我们可以建立模型来跟踪和分析 Twitter 文本信息或 Blomberg新闻源中 的情绪。这是一个独立的领域,我还没有进行过测试,坦率地说,我不太相信它。但互联网上有很多这方面的例子。

您应该从一个简单的例子开始。

祝您好运

 

你好,弗拉基米尔,感谢你的文章。我本身是一名程序员,主要是 .NET、c#。我根据您的文章写了一个 Expert Advisor,只用于 mt5 终端。我使用的是支持 GPU 的 Keras,它可以节省训练模型的时间和精力,R 和 mt5 通过 R.Net 链接(我写了一个库 dll,可以发布在 github 上)。我也试过 H2O,运行缓慢,只有 linux 才支持 GPU,不适合我,我是在 vindows 下工作的。很高兴你也在文章中改用了 Keras。Expert Advisor 在欧元兑美元 1500 万点上显示了良好的结果,数据样本取自 2003 年至 2017 年(训练、测试),我只用了三个预测器 v.fatl、v.rbci、v.ftlm,预测器越多,结果越差,神经网络有两个隐藏层,每个隐藏层有 1000 个密集的神经元(不需要很多神经元,我在每个隐藏层用了 10 个,结果也不错)。我的智能交易系统和你的几乎一样,只是做了一些小修改,止损 500,止盈 100,我开仓不超过 10 个仓位,好吧,并关闭所有仓位,如果有新仓位,则买入,反之亦然,一切都很简单,其余代码和你的一样。好吧,所有这些代码只适用于欧元兑美元,对于其他报价,也许一切都应该以不同的方式进行。

以下是 Expert Advisor 从 2017 年到现在的工作成果:

测试

我将 Expert Advisor 放在美分账户上,测试了 2 周,到目前为止,它运行良好。我花了大量时间寻找神经网络模型并进行测试,尝试了 Dense、LSTM、CONV 网络的不同变体,最后我停在了简单的 Dense 上。另外,在选择不同的预测器时,您的 DigFiltr + 各种指标,您的预测器显示出了最好的结果,没有任何额外的指标。我认为这还不是极限,您可以做出更好的 EA,我现在将尝试应用您前两篇文章中的组合。我期待着您的下一篇文章,如果您愿意,我也会把我的成功经验告诉您。

 
Евгений Чистюхин:

......,我通过 R.Net 链接了 R 和 mt5(我写了一个 dll 库,可以放到 github 上)。....。

这非常有趣。

在哪里可以看到?

这个 库相比,你的库有什么优势吗?

 

弗拉基米尔-佩列文科

我们将使用 Python 的 keras/TensorFlow 软件包构建神经网络。

R 有什么问题?

keras:"Keras"的 R 接口

kerasR:Keras 深度学习库的 R 语言接口

CRAN - Package keras
  • cran.r-project.org
About Keras Layers About Keras Models Using Pre-Trained Models Keras Backend Writing Custom Keras Layers Frequently Asked Questions Guide to the Functional API Getting Started with...
 
Евгений Чистюхин:

你好,弗拉基米尔,感谢你的文章。我本身是一名程序员,主要是 .NET、c#。我根据您的文章写了一个 Expert Advisor,只用于 mt5 终端。我使用的是支持 GPU 的 Keras,它可以节省训练模型的时间和精力,R 和 mt5 通过 R.Net 链接(我写了一个库 dll,可以发布在 github 上)。我也试过 H2O,运行缓慢,只有 linux 才支持 GPU,不适合我,我是在 vindows 下工作的。很高兴你也在文章中改用了 Keras。Expert Advisor 在欧元兑美元 1500 万点上显示了良好的结果,数据样本取自 2003 年至 2017 年(训练、测试),我只用了三个预测器 v.fatl、v.rbci、v.ftlm,预测器越多,结果越差,神经网络有两个隐藏层,每个隐藏层有 1000 个密集的神经元(不需要很多神经元,我在每个隐藏层用了 10 个,结果也不错)。我的智能交易系统和你的几乎一样,只是做了一些小修改,止损 500,止盈 100,我开仓不超过 10 个仓位,好吧,并关闭所有仓位,如果有新仓位,则买入,反之亦然,一切都很简单,其余代码和你的一样。所有这些代码只适用于欧元兑美元,对于其他报价,可能需要用不同的方法来操作。

以下是 Expert Advisor 从 2017 年至今的工作成果:

我将 Expert Advisor 放在美分账户上,测试了 2 周,到目前为止,它在 plus 中运行良好。我花了大量时间寻找神经网络模型并对其进行测试,尝试了 Dense、LSTM、CONV 网络的不同变体,最后停在了简单的 Dense 上。另外,在选择不同的预测器时,您的 DigFiltr + 各种指标,您的预测器显示出了最好的结果,没有任何额外的指标。我认为这还不是极限,您可以做出更好的 EA,我现在将尝试应用您前两篇文章中的组合。我期待着您的下一篇文章,如果您愿意,我也会把我的成功经验告诉您。

再见,尤金。

很高兴我的文章资料对您有所帮助。有几个问题

1.据我所知,您在 R 语言中使用 keras? 您是用 R 语言还是 Python 语言编写脚本?

2.我们使用 网关库对您不起作用吗?

3.请发布您的库版本和脚本示例。看看、试试、比较一下会很有趣。

4.当然,我和许多爱好者都会对您的实验非常感兴趣。

5.我很早就想开一个单独的 RUSERGroop 主题,在这个主题上可以讨论关于语言、模型的具体问题,而无需灌水。梦想...

Python API(reticulate)的出现为构建任何复杂程度的系统提供了几乎无限的可能性。我计划在不久的将来将强化学习与神经网络结合起来进行训练。

写下你的成功经验,提出问题。

祝好运

 
СанСаныч Фоменко:

弗拉基米尔-佩列文科

我们将使用 Python 的 keras/TensorFlow 软件包构建神经网络

R 有什么问题

keras:"Keras"的 R 接口

kerasR:Keras 深度学习库的 R 接口。

你好,CC。

我就是这么用的。keras for R。我试过 KerasR,但由于 tensorflow 后端开发速度非常快(版本已达 1.8),使用 Rstudio 团队开发和维护的软件包更为可靠。

祝您好运