|
13+ 年
经验
|
0
产品
|
0
演示版
|
|
134
工作
|
0
信号
|
0
订阅者
|
我们已经不止一次地讨论过正确选择奖励函数的重要性，我们通过为单独动作添加奖励或惩罚来刺激代理者的预期行为。但是关于由代理者解密我们的信号的问题仍旧悬而未决。在本文中，我们将探讨将单独信号传输至已训练代理者时的奖励分解。
由于模型是基于经验复现缓冲区进行训练，故当前的扮演者政策会越来越远离存储的样本，这会降低整个模型的训练效率。在本文中，我们将查看一些能在强化学习算法中提升样本使用效率的算法。
最后两篇文章研究了软性扮演者-评论者算法，该算法将熵正则化整合到奖励函数当中。这种方式在环境探索和模型开发之间取得平衡，但它仅适用于随机模型。本文提出了一种替代方式，能适用于随机模型和确定性模型两者。
在上一篇文章中，我们实现了软性扮演者-评论者算法，但未能训练出一个可盈利的模型。在此，我们将优化先前创建的模型，以期获得所需的结果。
我们继续讨论解决连续动作空间问题的强化学习算法。在本文中，我将讲演软性扮演者-评论者（SAC）算法。SAC 的主要优点是拥有查找最佳策略的能力，不仅令预期回报最大化，而且拥有最大化的动作熵（多样性）。
在上一篇文章中，我们概述了 DDPG 方法，它允许在连续动作空间中训练模型。然而，与其它 Q-学习方法一样，DDPG 容易高估 Q-函数的数值。这个问题往往会造成训练代理者时选择次优策略。在本文中，我们将研究一些克服上述问题的方式。
在本文中，我们扩展了代理者的任务范围。训练过程将包括一些资金和风险管理等方面，这是任何交易策略不可或缺的部分。
在本文中，我们要看看另一种强化学习方式。 它被称为条件导向目标强化学习（GCRL）。 按这种方式，代理者经过训练，可以在特定场景中达成不同的目标。
在没有明确奖励函数的情况下，实用的训练技能就是分层强化学习的主要挑战之一。 以前，我们已领略了解决此问题的两种算法。 但环境研究的完整性问题仍然悬而未决。 本文演示了一种不同的技能训练方式，其可取决于系统的当前状态直接使用。
在上一篇文章中，我们讲解了 DIAYN 方法，它提供了学习各种技能的算法。 获得的技能可用在各种任务。 但这些技能可能非常难以预测，而这可能令它们难以运用。 在本文中，我们要研究一种针对学习可预测技能的算法。
强化学习的问题在于需要定义奖励函数。 它可能很复杂，或难以形式化。 为了定解这个问题，我们正在探索一些基于行动和基于环境的方式，无需明确的奖励函数即可学习技能。
在强化学习的背景下，模型拖延症可能由多种原因引起。 本文研究了模型拖延症的一些可能原因，以及克服它们的方法。
The article describes hierarchical training models that offer an effective approach to solving complex machine learning problems. Hierarchical models consist of several levels, each of which is responsible for different aspects of the task.
本文讨论 Go-Explore 算法覆盖长周期训练的运用，因为随着训练时间的增加，随机动作选择策略也许不会导致可盈利验算。
我们继续在强化学习模型中研究环境。 在本文中，我们将见识到另一种算法 — Go-Explore，它允许您在模型训练阶段有效地探索环境。
强化学习中的一个关键问题是环境探索。 之前，我们已经见识到基于内在好奇心的研究方法。 今天我提议看看另一种算法：凭借分歧进行探索。
在上一篇文章中，我们讨论了在其架构中使用关注度机制的关系模型。 这些模型的具体特征之一是计算资源的密集功用。 在本文中，我们将研究于自我关注度模块内减少计算操作数量的机制之一。 这将提高模型的常规性能。
在上一篇文章中讨论的强化学习模型中，我们用到了卷积网络的各种变体，这些变体能够识别原始数据中的各种对象。 卷积网络的主要优点是能够识别对象，无关它们的位置。 与此同时，当物体存在各种变形和噪声时，卷积网络并不能始终表现良好。 这些是关系模型可以解决的问题。
我们继续研究强化学习算法。 到目前为止，我们所研究的所有算法都需要创建一个奖励政策，从而令代理者能够每次从一个系统状态过渡到另一个系统状态的转换中估算其每个动作。 然而，这种方式人为因素相当大。 在实践中，动作和奖励之间存在一些时间滞后。 在本文中，我们将领略一种模型训练算法，该算法可以操控从动作到奖励的各种时间延迟。
我们继续研究分布式 Q-学习算法。 在之前的文章中，我们研究了分布式和分位数 Q-学习算法。 在第一种算法当中，我们训练了给定数值范围的概率。 在第二种算法中，我们用给定的概率训练了范围。 在这两个发行版中，我们采用了一个先验分布知识，并训练了另一个。 在本文中，我们将研究一种算法，其允许模型针对两种分布进行训练。