|
12+ 年
经验
|
0
产品
|
0
演示版
|
|
134
工作
|
0
信号
|
0
订阅者
|
据前几篇文章中所执行测试的结果，我们得出的结论是，训练策略的最优性很大程度上取决于所采用的训练集。在本文中，我们将熟悉一种相当简单，但有效的方法来选择轨迹，并据其训练模型。
我们将继续讨论决策转换器方法系列。从上一篇文章中，我们已经注意到，训练这些方法架构下的转换器是一项相当复杂的任务，需要一个大型标记数据集进行训练。在本文中，我们将观看到一种使用未标记轨迹进行初步模型训练的算法。
在最近的文章中，我们已看到了运用决策转换器方法的若干选项。该方法不仅可以分析当前状态，还可以分析先前状态的轨迹，以及在其中执行的动作。在本文中，我们将专注于在层次化模型中运用该方法。
在离线学习期间，我们基于训练样本数据优化了智能体的政策。成品政策令智能体对其动作充满信心。然而，这种乐观情绪并不总是正当的，并且可能会在模型操作期间导致风险增加。今天，我们要寻找降低这些风险的方法之一。
最近两篇文章专门介绍了决策转换器方法，其在期望奖励的自回归模型境况下针对动作序列进行建模。在本文中，我们将研究该方法的另一种优化算法。
在上一篇文章中，我们领略了决策变换器。但是，外汇市场复杂的随机环境不允许我们充分发挥所提议方法的潜能。在本文中，我将讲述一种算法，旨在提高在随机环境中的性能。
我们继续探索强化学习方法。在本文中，我将专注于一种略有不同的算法，其参考智能体政策构造一连串动作的范式。
在此，我将研究相当新颖的随机边际扮演者-评论者（SMAC）算法，该算法允许在熵值最大化的框架内构建潜在变量政策。
强化学习中的环境研究是一个紧迫的问题。我们之前已视察过一些方式。在本文中，我们将讲述另一种基于最大化核范数的方法。它允许智能体识别拥有高度新颖性和多样性的环境状态。
对比训练是一种无监督训练方法表象。它的目标是训练一个模型，突显数据集中的相似性和差异性。在本文中，我们将谈论使用对比训练方式来探索不同的扮演者技能。
无论何时我们研究强化学习方法时，我们都会面对有效探索环境的问题。解决这个问题通常会导致算法更复杂性，以及训练额外模型。在本文中，我们将看看解决此问题的替代方法。
我们已经不止一次地讨论过正确选择奖励函数的重要性，我们通过为单独动作添加奖励或惩罚来刺激代理者的预期行为。但是关于由代理者解密我们的信号的问题仍旧悬而未决。在本文中，我们将探讨将单独信号传输至已训练代理者时的奖励分解。
由于模型是基于经验复现缓冲区进行训练，故当前的扮演者政策会越来越远离存储的样本，这会降低整个模型的训练效率。在本文中，我们将查看一些能在强化学习算法中提升样本使用效率的算法。
最后两篇文章研究了软性扮演者-评论者算法，该算法将熵正则化整合到奖励函数当中。这种方式在环境探索和模型开发之间取得平衡，但它仅适用于随机模型。本文提出了一种替代方式，能适用于随机模型和确定性模型两者。
在上一篇文章中，我们实现了软性扮演者-评论者算法，但未能训练出一个可盈利的模型。在此，我们将优化先前创建的模型，以期获得所需的结果。
我们继续讨论解决连续动作空间问题的强化学习算法。在本文中，我将讲演软性扮演者-评论者（SAC）算法。SAC 的主要优点是拥有查找最佳策略的能力，不仅令预期回报最大化，而且拥有最大化的动作熵（多样性）。
在上一篇文章中，我们概述了 DDPG 方法，它允许在连续动作空间中训练模型。然而，与其它 Q-学习方法一样，DDPG 容易高估 Q-函数的数值。这个问题往往会造成训练代理者时选择次优策略。在本文中，我们将研究一些克服上述问题的方式。
在本文中，我们扩展了代理者的任务范围。训练过程将包括一些资金和风险管理等方面，这是任何交易策略不可或缺的部分。
在本文中，我们要看看另一种强化学习方式。 它被称为条件导向目标强化学习（GCRL）。 按这种方式，代理者经过训练，可以在特定场景中达成不同的目标。
在没有明确奖励函数的情况下，实用的训练技能就是分层强化学习的主要挑战之一。 以前，我们已领略了解决此问题的两种算法。 但环境研究的完整性问题仍然悬而未决。 本文演示了一种不同的技能训练方式，其可取决于系统的当前状态直接使用。