文章 "神经网络变得简单（第 67 部分）：按照过去的经验解决新任务"
这是天才的杰作，德米特里！我喜欢这个！🥰🥰🥰
如果您了解相关主题，请撰写一篇关于使用 Google Colab + Tensor Flow 的文章。我可以给出一个真实的交易任务并计算输入数据。
首先，向您为人工智能和 ML 这一精彩系列所做的努力致敬。
我在一天之内连续阅读了从 1 到 30 的所有文章。您提供的大多数文件都能顺利运行。
但是，我跳转到第 67 篇，并尝试运行 "ResearchRealORL"。我出现了以下错误。
2024.04.21 17:59:59.935 Tester "NNME\Part67\RealORL\ResearchRealORL.ex5" 64 bit 2024.04.21 18:00:00.133 Experts optimization frame expert ResearchRealORL (EURUSD,H1) processing started 2024.04.21 18:00:00.156 Tester Experts\NNME\Part67\RealORL\ResearchRealORL.ex5 on EURUSD,H1 from 2023.01.01 00:00 to 2023.07.31 00:00 2024.04.21 18:00:00.157 Tester EURUSD: history data begins from 2002.09.03 00:00 2024.04.21 18:00:00.157 Tester EURUSD: history data begins from 2002.09.03 00:00 2024.04.21 18:00:00.157 Tester complete optimization started 2024.04.21 18:00:00.168 Core 1 agent process started on 127.0.0.1:3000 2024.04.21 18:00:00.178 Core 2 agent process started on 127.0.0.1:3001 2024.04.21 18:00:00.188 Core 3 agent process started on 127.0.0.1:3002 2024.04.21 18:00:00.200 Core 4 agent process started on 127.0.0.1:3003 2024.04.21 18:00:00.213 Core 5 agent process started on 127.0.0.1:3004 2024.04.21 18:00:00.225 Core 6 agent process started on 127.0.0.1:3005 2024.04.21 18:00:00.237 Core 7 agent process started on 127.0.0.1:3006 2024.04.21 18:00:00.271 Core 8 agent process started on 127.0.0.1:3007 2024.04.21 18:00:00.886 Core 4 connecting to 127.0.0.1:3003 2024.04.21 18:00:00.897 Core 4 connected 2024.04.21 18:00:00.911 Core 4 authorized (agent build 4260) 2024.04.21 18:00:00.928 Core 4 common synchronization completed 2024.04.21 18:00:01.062 Core 2 connecting to 127.0.0.1:3001 2024.04.21 18:00:01.070 Core 2 connected 2024.04.21 18:00:01.081 Core 2 authorized (agent build 4260) 2024.04.21 18:00:01.096 Core 2 common synchronization completed 2024.04.21 18:00:01.110 Core 1 connecting to 127.0.0.1:3000 2024.04.21 18:00:01.118 Core 1 connected 2024.04.21 18:00:01.131 Core 1 authorized (agent build 4260) 2024.04.21 18:00:01.131 Core 4 pass 0 tested with error "OnInit returned non-zero code 1" in 0:00:00.152 2024.04.21 18:00:01.131 Core 4 pass 1 tested with error "OnInit returned non-zero code 1" in 0:00:00.006 2024.04.21 18:00:01.146 Core 1 common synchronization completed 2024.04.21 18:00:01.146 Core 4 pass 6 tested with error "OnInit returned non-zero code 1" in 0:00:00.004 2024.04.21 18:00:01.146 Core 4 pass 7 tested with error "OnInit returned non-zero code 1" in 0:00:00.003 2024.04.21 18:00:01.162 Core 4 pass 8 tested with error "OnInit returned non-zero code 1" in 0:00:00.004 ... 2024.04.21 18:00:01.454 Statistics optimization done in 0 minutes 01 seconds 2024.04.21 18:00:01.454 Statistics shortest pass 0:00:00.000, longest pass 0:00:00.000, average pass 0:00:00.000 2024.04.21 18:00:01.454 Statistics local 20 tasks (100%), remote 0 tasks (0%), cloud 0 tasks (0%) 2024.04.21 18:00:01.454 Core 1 connection closed 2024.04.21 18:00:01.455 Core 2 connection closed
请问我哪里出错了？
非常感谢您在 MQL5 中教授我们 ML 的所有努力。
新文章 神经网络变得简单（第 67 部分）：按照过去的经验解决新任务已发布：
在本文中，我们将继续讨论收集数据至训练集之中的方法。显然，学习过程需要与环境不断互动。不过，状况可能会有所不同。
强化学习建立在与环境互动过程时从环境中获得的最大奖励之上。显然，学习过程需要与环境不断互动。不过，状况有所不同。在解决某些任务时，我们与环境交互时可能会遇到各种限制。对于这种状况，一个可能的解决方案是使用离线强化学习算法。它们允许您依据与环境初步交互期间收集的有限轨迹存档（当它可用时）上训练模型。
当然，离线强化学习也有一些瑕疵。特别是，当我们与有限的训练样本打交道时，研究环境的问题变得更加尖锐，它无法适应环境的所有多变性。在复杂的随机环境中尤其如此。在上一篇文章中，我们讨论过解决该任务的选项之一（ExORL 方法）。
不过，有时与环境的交互限制可能至关重要。环境探索的过程可以伴随着积极和消极的回报。负面奖励可能是高度不受待见，且可能伴随着经济损失、或其它一些您无法接受的不必要损失。但任务很少是“凭空诞生的”。大多数情况下，我们会优化现有流程。在我们这个信息技术时代，我们几乎总能从以往解决类似上述任务的过程中，找到正在探索环境的互动经验。可以使用来自实际的与环境交互的数据，这些数据可在某种程度上覆盖所需的动作和状态空间。在《依据真实数据源的真实世界离线强化学习》一文中讲述了使用此类经验解决真实机器人应对新任务的实验。该论文的作者提出了一个训练模型的新框架：真实-ORL。
作者：Dmitriy Gizlyk