文章 "强化学习中的随机决策森林" - 页 6

新评论
 
mov:

下午好、

我在此发布一些实验结果（这些结果是在没有模糊逻辑的纯树木上获得的，我本想把它们附在一篇新文章中，但由于关于奖励函数的讨论仍在继续，所以我把它们作为供思考和讨论的信息发布出来）。

1.在我看来，假设在销售时在整个区间 0...1 上设置一个随机值是不太正确的，因为我们已经知道销售是无利可图的。

通过将范围限制在相反和不确定的值上，学习速度会提高很多倍。通过 2-3 次运行（我相信是通过随机数据），训练质量与以前的 4-6 次相同（散布很广，因为有很多附加因素，但效率甚至没有提高百分之几十）。

2.2. 在最初的实施过程中，我发现一个奇怪的现象，即随机获得的 值是一个强化因子。这很容易造成趋势强劲而回报较低的情况。

首次尝试摆脱这种情况

想法：在 100 点及以上时，获利为 1，如果更少，则平均递增（在这种情况下，从 0.61 开始）。Priper pdl 用于卖出，买入与其他水平类似。理论上，趋势越强，回报越高。结果有所改善，但略大于统计误差。与此同时，相同条件下的树状图文件大小明显缩小。显然，这种特殊的结果排序方式可以更简单地描述规则。

为了测试树的集合，我决定加载一棵树的估计结果

并习惯性地进行了训练。令我惊讶的是，在使用粗化奖励函数的类似训练中，结果显示出了显著的改进--在训练图上，在其他条件相同的情况下，4 个月的利润超过了旧变体 6 个月的利润（我进行的是比较，因为具体数字会因训练条件、配对、编码员手柄曲率的不同而有很大差异），而且最有趣的是，控制区间的结果也有所改善。加载评估功能改善了预测结果！也许对于一个亲统计学家来说，这没有什么新奇的，他可以用公式证明应该如此，但对于我来说，这是一个冲击，正如人们所说，有必要习惯它。这就提出了进一步选择和评估预测函数的问题。

我希望我花在测试上的时间至少能帮助别人缩短搜索时间（或者让他们有机会犯新的错误，并与我们分享）。

有趣的结果，谢谢。第一点确实做到了，是的，学习速度提高了。事实上，我现在正在研究的班级已经在一次迭代中有效地学习了。也就是说，就学习速度而言，这是一个超级高效的算法，但内部预处理仍然值得组织，这样模型就不会训练过度。

我不明白突出显示的部分，加载单棵树的估计是什么意思？您的意思是只给出 0 和 1 作为类标签吗？在这种情况下，我们可以认为模型内的数值方差减小了，因此质量提高了。因为该算法最初是为大量迭代而设计的，但在实践中却发现没有必要，这样的加载可能是正确的。

 
Igor Makanu:

这篇文章的作者好心地提供了这些代码，要把它们教给最简单的 3-5 小节模式，这现实吗？

SZY：嗯，即使是在酒精的作用下，我也会像在 Aliexpress 上写给中国卖家一样 ))))

一切都是真实的，你输入的是 3-5 小节的模式。

 
Maxim Dmitrievsky:

一切都是真实的，您可以将 3-5 个小节的模式输入到输入端

我将简要介绍.....怎么做

 
Igor Makanu:

我的简介.....怎么做？

用手 )

 
Maxim Dmitrievsky:

我不明白加载单棵树的评估是什么意思？你的意思是只给 0 和 1 作为类标签吗？

是的，测试是在一棵树和标签 0 和 1 的情况下进行的（在相似树的集合上，结果会更高）。
 
mov:
是的，测试是在一棵树上进行的，标签是 0 和 1（在一棵类似的树上，结果会更高）。
对不起，自然是用一棵树的森林（我指的永远是森林，在日常生活中我说的是树，我会改掉这个习惯的）。
 
mov:
对不起，自然是一片树林（我指的永远是一片树林，在国内说是树，我会改掉这个习惯的）。

是的，明白了。但森林也可以设置为 1 棵树，或者取消其建造功能。我不知道为什么要这样做。

 

最初，我尝试将树木数量增加到 500 棵和 1000 棵。但我注意到，越来越多的树并没有改善结果。但我看到的内部情况是，超过 500 棵树后，优化程序会不断崩溃，并且无法创建 Mtrees 文本文件。

此外，我还测试了从 50 棵树增加到 100 棵树的情况，结果发现迭代次数在 20 到 25 次之间时效果最好，超过这个次数就没有意义了。

但我不得不同意，不同的组合会产生不同的 RSI 周期结果。

hnd1 = iRSI (_Symbol, 0,8, PRICE_CLOSE)；

hnd2 = iRSI (_Symbol, 0,16, PRICE_CLOSE)；

hnd3 = iRSI (_Symbol, 0,24, PRICE_CLOSE)；


因此，我想在 MTrees 中再添加一个，以备将来使用。但后来发现 EA 会存储上一次迭代的值。如果是这样的话，如果我们可以改变周期。我的意思是，如果出现亏损，EA 应该能够立即切换到另一个 RSI 周期。

另外，我对模糊逻辑 不是很精通。因此，我想知道是否有人可以发布不含模糊逻辑的完整源代码，如果你找不到不含模糊逻辑的 RDF 正确代码和一个示例指标，我将不胜感激。

我只是很想知道，如果我们输入 20 到 30 个指标值作为代理的输入，并让代理自动训练，结果会怎样。

 
FxTrader562:

最初，我尝试将树木数量增加到 500 棵和 1000 棵。但我注意到，越来越多的树并没有改善结果。但我看到的内部情况是，超过 500 棵树后，优化程序会不断崩溃，并且无法创建 Mtrees 文本文件。

此外，我还测试了将树的数量从 50 棵增加到 100 棵，结果发现迭代次数在 20 到 25 次之间时效果最好，超过这个数量就没有意义了。


我只是想看看，如果我们将 20 到 30 个指标值作为输入输入到代理，让代理自动训练，结果会怎样。

网上有一些实验结果，100 棵树的识别效果最好，如果需要预测，20-50 棵树的识别效果最好，我试过 100 棵树，预测效果越来越差。

我在输入上尝试了 15-19 个指标，希望当情况发生变化时，森林会在训练过程中选择最好的指标。当指标达到 10 个及以上时，结果就不再增长了。需要注意的是，在为每棵树构建森林时，只使用了一半的输入（在这个森林的实现中）。理论上，输入数的根数（而不是一半）似乎更适合分类任务（正如人们所说），但我自己还没有尝试过。

 
mov :

该网络有实验结果，100 棵树--识别效果最好，20-50 棵树--如果需要预测，我试过 100 棵树，可预测性越来越差。

我在入口处尝试了 15-19 个指标，计算的结果是，如果情况发生变化，森林将在训练时选择最佳指标。当指标数达到 10 或以上时，结果就不再增长了。请注意，在构建森林时，每棵树只使用一半的输入。从理论上讲，对于分类问题（正如他们所说），输入数的根数（而不是一半）似乎更好，但他没有尝试过。

感谢您的回复。

不过，我想知道，如果我们能同时知道所有指标（15 到 20 个指标），并且不只使用这几个指标来训练代理，而是使用所有指标，会发生什么情况。然后，对代理进行过去 1 年的培训，使代理能够利用所有指标制定最佳政策。我的意思是，我们应该在每根蜡烛收盘时，用更多的指标值来确定代理的当前状态。

到目前为止，我所注意到的是，由于缺乏适当的退出条件，一次亏损就抹去了一系列的小利润。因此，需要对进入和退出条件进行微调。

能否请您提供一个不带模糊逻辑的 指标示例代码，以及在当前代码实现中将指标放在哪里？

我曾尝试在 OnTick () 函数中添加指标，但效果不佳。我正在寻找不带模糊逻辑的当前版本 EA 的完整示例代码。

12345678910
新评论