文章 "蒙特卡罗方法在强化学习中的应用" - 页 5

[Mark Flint]

谢谢 Maxim。

我一直在使用代码，并为特征输入向量引入了不同类型的数据。 我尝试了收盘价、开盘价、最高价、最低价、典型价格、单价成交量 以及这些数据的衍生物。

优化器曾抱怨 "传递完成后出现一些错误"，但我最终找到了原因：如果输入向量数据有任何零值，优化器就会出错。

我在建立导数时，例如 Close[1]-Close[2], 有时 close 值相同，导数为零。对于这些类型的输入矢量值，我发现最简单的解决方法是在所有矢量值中添加一个常数，例如 1000，这样就能消除优化器的错误，并使 RDF 正常工作。

我还注意到反复运行相同测试的意外后果，在测试期间曲线拟合量会增加。 有时最好删除记录的 RDF 文件，然后重新运行优化。

我仍在不断尝试，并有更多关于其他类型特征的想法。

[Maxim Dmitrievsky]

Mark Flint:

感谢马克西姆。

我一直在使用代码，并为特征输入向量引入了不同类型的数据。 我尝试了收盘价、开盘价、最高价、最低价、典型价格、单价成交量 以及这些数据的衍生物。

优化器曾抱怨 "传递完成后出现一些错误"，但我最终找到了原因：如果输入向量数据有任何零值，优化器就会出错。

我在建立导数时，例如 Close[1]-Close[2], 有时 close 值相同，导数为零。对于这些类型的输入矢量值，我发现最简单的解决方法是在所有矢量值上添加一个常数，例如 1000，这样就能消除优化器错误，同时 RDF 也能正常工作。

我还注意到反复运行相同测试的意外后果，在测试期间曲线拟合量会增加。 有时最好删除记录的 RDF 文件，然后重新运行优化。

我还在不断尝试，并有更多关于其他类型特征的想法。

你好，马克。这取决于特征选择算法（本文的情况是 "递归消除函数 "中的 1 个特征/另一个特征（使用价格回报）），因此，如果您使用 cl[1]-cl[2] 时，分隔符中的 "0 "可能会导致 "一些错误"。

是的，不同的优化器运行可能会有所不同，因为它使用的是随机抽样，也是 RDF 随机算法。要解决这个问题，可以在专家 OnInint() 函数中使用 MathSrand(number_of_passes) 或其他固定数字。

[[删除]]

Maxim Dmitrievsky:

是的，如果你在开放内核上重写所有逻辑（包括射频）的话：）另外，随机森林的 Gpu 可行性和并行性也是最差的。

我注意到，尽管在优化过程中保存了包含最佳模型、特征和参数值 的文件（"脱机"），但更新代理策略和更新代理奖励也是 "脱机 "的。如果您决定运行 EA，更新代理策略和更新代理奖励也是 "脱机 "的，那么当 EA 实时运行时，奖励和策略是如何更新的，因为脱机模式下 MQLInfoInteger(MQL_OPTIMIZATION) == true，而在模拟或真实账户上运行 EA 时 MQLInfoInteger(MQL_OPTIMIZATION) == false。是否遗漏了什么 ????

//+------------------------------------------------------------------+
//| 更新代理策略|
//+------------------------------------------------------------------+
CRLAgent::updatePolicy(double action,double &featuresValues[]) {
   if(MQLInfoInteger(MQL_OPTIMIZATION)) {
      numberOfsamples++;
      RDFpolicyMatrix.Resize(numberOfsamples,features+2);
      //输入变量
      for(int i=0;i<features;i++)
         RDFpolicyMatrix[numberOfsamples-1].Set(i,featuresValues[i]);
      //输出变量
      RDFpolicyMatrix[numberOfsamples-1].Set(features,action);
      RDFpolicyMatrix[numberOfsamples-1].Set(features+1,1-action);
     }
  }
//+------------------------------------------------------------------+
//| 更新代理奖励|
//+------------------------------------------------------------------+
CRLAgent::updateReward(void) {
   if(MQLInfoInteger(MQL_OPTIMIZATION)) {
      if(getLastProfit()>0) return;
      double randomReward = (getLastOrderType()==0) ? 1 : 0;
      RDFpolicyMatrix[numberOfsamples-1].Set(features,randomReward);
      RDFpolicyMatrix[numberOfsamples-1].Set(features+1,1-randomReward);
     }
  }

[Maxim Dmitrievsky]

developeralgo:

我注意到，即使在优化过程中保存了包含最佳模型、特征和参数值的文件（"脱机"），如果您决定运行 EA，更新代理策略和更新代理奖励也是 "脱机 "的。如果您决定运行 EA，更新代理策略和更新代理奖励也是 "脱机 "的，那么当 EA 实时运行时，奖励和策略是如何更新的，因为脱机模式下 MQLInfoInteger(MQL_OPTIMIZATION) == true，而在模拟或真实账户上运行 EA 时，MQLInfoInteger(MQL_OPTIMIZATION) == false。是否遗漏了什么 ????

您好，策略和奖励在实际交易中不会更新，只有在优化器中学习随机森林 时才需要更新。

[ffoorr]

MetaQuotes Software Corp.:

新文章《在强化学习中应用蒙特卡罗方法》已发表：

作者： Maxim Dmitrievsky马克西姆-德米特里耶夫斯基

有一个文件缺失了，" #include <MT4Orders.mqh> "，而且字体看起来像 MT4 字体。

那么，这是 MT4 专家还是 MT5 专家？

[Maxim Dmitrievsky]

ffoorr:

有一个文件丢失了，" #include <MT4Orders.mqh> "，字体看起来像 MT4 字体。

那么，这是 MT4 专家还是 MT5 专家？

该库允许您在 MT5 中使用 MT4 订单样式

https://www.mql5.com/ru/code/16006

[ffoorr]

Maxim Dmitrievsky:

好的，谢谢

[Otto Pauser]

错误或已被弃用：
CRLAgent::getRDFstructure(void) {......

正确：
void CRLAgent::getRDFstructure(void) {......

编译器的另一个版本？

[Andrey Khatimlianskii]

Otto Pauser:

不正确或已被弃用：
CRLAgent::getRDFstructure(void) { ......

正确：
void CRLAgent::getRDFstructure(void) {......

另一个版本的编译器？

是的，他们在最新版本中增加了更严格的检查。

[mastil55]

你好，马克西姆，感谢你的工作，我正试图测试你的代码，但是 mq4 文件中显示了一些错误，文本如下

getRDFstructure' -函数 已定义且类型不同 RL_Monte_Carlo.mqh 76 11

'RecursiveElimination'--函数已定义且类型不同 RL_Monte_Carlo.mqh 133 11

updatePolicy' - 函数已定义且类型不同 RL_Monte_Carlo.mqh 221 11

updateReward' - 函数已定义且类型不同 RL_Monte_Carlo.mqh 236 11

'setAgentSettings'--函数已定义且类型不同 RL_Monte_Carlo.mqh 361 12

updatePolicies' - 函数已定义且类型不同 RL_Monte_Carlo.mqh 373 12

updateRewards' - 函数已定义且类型不同 RL_Monte_Carlo.mqh 380 12

您知道如何解决这个问题吗？