Dmitriy Gizlyk / 个人资料

在本文中，我们将继续讨论收集数据至训练集之中的方法。显然，学习过程需要与环境不断互动。不过，状况可能会有所不同。

使用准备好的训练数据集中的数据对模型进行离线训练，这种方法虽然有一定的优势，但其不利的一面是，环境信息被大大压缩到训练数据集的大小。这反过来又限制了探索的可能性。在本文中，我们将探讨一种方法，这种方法可以用尽可能多样化的数据来填充训练数据集。

在本文中，我们将领略一个有趣的算法，它是在监督和强化学习方法的交叉点上构建的。

据前几篇文章中所执行测试的结果，我们得出的结论是，训练策略的最优性很大程度上取决于所采用的训练集。在本文中，我们将熟悉一种相当简单，但有效的方法来选择轨迹，并据其训练模型。

我们将继续讨论决策转换器方法系列。从上一篇文章中，我们已经注意到，训练这些方法架构下的转换器是一项相当复杂的任务，需要一个大型标记数据集进行训练。在本文中，我们将观看到一种使用未标记轨迹进行初步模型训练的算法。

在最近的文章中，我们已看到了运用决策转换器方法的若干选项。该方法不仅可以分析当前状态，还可以分析先前状态的轨迹，以及在其中执行的动作。在本文中，我们将专注于在层次化模型中运用该方法。

在离线学习期间，我们基于训练样本数据优化了智能体的政策。成品政策令智能体对其动作充满信心。然而，这种乐观情绪并不总是正当的，并且可能会在模型操作期间导致风险增加。今天，我们要寻找降低这些风险的方法之一。

最近两篇文章专门介绍了决策转换器方法，其在期望奖励的自回归模型境况下针对动作序列进行建模。在本文中，我们将研究该方法的另一种优化算法。

在上一篇文章中，我们领略了决策变换器。但是，外汇市场复杂的随机环境不允许我们充分发挥所提议方法的潜能。在本文中，我将讲述一种算法，旨在提高在随机环境中的性能。

我们继续探索强化学习方法。在本文中，我将专注于一种略有不同的算法，其参考智能体政策构造一连串动作的范式。

在此，我将研究相当新颖的随机边际扮演者-评论者（SMAC）算法，该算法允许在熵值最大化的框架内构建潜在变量政策。

强化学习中的环境研究是一个紧迫的问题。我们之前已视察过一些方式。在本文中，我们将讲述另一种基于最大化核范数的方法。它允许智能体识别拥有高度新颖性和多样性的环境状态。

对比训练是一种无监督训练方法表象。它的目标是训练一个模型，突显数据集中的相似性和差异性。在本文中，我们将谈论使用对比训练方式来探索不同的扮演者技能。

无论何时我们研究强化学习方法时，我们都会面对有效探索环境的问题。解决这个问题通常会导致算法更复杂性，以及训练额外模型。在本文中，我们将看看解决此问题的替代方法。

我们已经不止一次地讨论过正确选择奖励函数的重要性，我们通过为单独动作添加奖励或惩罚来刺激代理者的预期行为。但是关于由代理者解密我们的信号的问题仍旧悬而未决。在本文中，我们将探讨将单独信号传输至已训练代理者时的奖励分解。

由于模型是基于经验复现缓冲区进行训练，故当前的扮演者政策会越来越远离存储的样本，这会降低整个模型的训练效率。在本文中，我们将查看一些能在强化学习算法中提升样本使用效率的算法。

最后两篇文章研究了软性扮演者-评论者算法，该算法将熵正则化整合到奖励函数当中。这种方式在环境探索和模型开发之间取得平衡，但它仅适用于随机模型。本文提出了一种替代方式，能适用于随机模型和确定性模型两者。

在上一篇文章中，我们实现了软性扮演者-评论者算法，但未能训练出一个可盈利的模型。在此，我们将优化先前创建的模型，以期获得所需的结果。

我们继续讨论解决连续动作空间问题的强化学习算法。在本文中，我将讲演软性扮演者-评论者（SAC）算法。SAC 的主要优点是拥有查找最佳策略的能力，不仅令预期回报最大化，而且拥有最大化的动作熵（多样性）。

在上一篇文章中，我们概述了 DDPG 方法，它允许在连续动作空间中训练模型。然而，与其它 Q-学习方法一样，DDPG 容易高估 Q-函数的数值。这个问题往往会造成训练代理者时选择次优策略。在本文中，我们将研究一些克服上述问题的方式。