Dmitriy Gizlyk / 个人资料

本文讨论 Go-Explore 算法覆盖长周期训练的运用，因为随着训练时间的增加，随机动作选择策略也许不会导致可盈利验算。

我们继续在强化学习模型中研究环境。 在本文中，我们将见识到另一种算法 — Go-Explore，它允许您在模型训练阶段有效地探索环境。

强化学习中的一个关键问题是环境探索。 之前，我们已经见识到基于内在好奇心的研究方法。 今天我提议看看另一种算法：凭借分歧进行探索。

在上一篇文章中，我们讨论了在其架构中使用关注度机制的关系模型。 这些模型的具体特征之一是计算资源的密集功用。 在本文中，我们将研究于自我关注度模块内减少计算操作数量的机制之一。 这将提高模型的常规性能。

在上一篇文章中讨论的强化学习模型中，我们用到了卷积网络的各种变体，这些变体能够识别原始数据中的各种对象。 卷积网络的主要优点是能够识别对象，无关它们的位置。 与此同时，当物体存在各种变形和噪声时，卷积网络并不能始终表现良好。 这些是关系模型可以解决的问题。

我们继续研究强化学习算法。 到目前为止，我们所研究的所有算法都需要创建一个奖励政策，从而令代理者能够每次从一个系统状态过渡到另一个系统状态的转换中估算其每个动作。 然而，这种方式人为因素相当大。 在实践中，动作和奖励之间存在一些时间滞后。 在本文中，我们将领略一种模型训练算法，该算法可以操控从动作到奖励的各种时间延迟。

我们继续研究分布式 Q-学习算法。 在之前的文章中，我们研究了分布式和分位数 Q-学习算法。 在第一种算法当中，我们训练了给定数值范围的概率。 在第二种算法中，我们用给定的概率训练了范围。 在这两个发行版中，我们采用了一个先验分布知识，并训练了另一个。 在本文中，我们将研究一种算法，其允许模型针对两种分布进行训练。

我们继续研究分布式 Q-学习。 今天我们将从另一个角度来看待这种方式。 我们将研究使用分位数回归来解决价格预测任务的可能性。

我们在本系列的早期文章中领略了 Q-学习方法。 此方法均化每次操作的奖励。 2017 年出现了两篇论文，在研究奖励分配函数时展现出了极大的成功。 我们来研究运用这种技术解决我们问题的可能性。

在上一篇文章中，我们开始探索非梯度优化方法。 我们领略了遗传算法。 今天，我们将继续这个话题，并将研究另一类进化算法。

今天我想给大家介绍一种略有不同的学习方法。 我们可以说它是从达尔文的进化论中借鉴而来的。 它可能比前面所讨论方法的可控性更低，但它允许训练不可微分的模型。

在本系列的前几篇文章中，我们见识到两种增强的学习算法。 它们中的每一个都有自己的优点和缺点。 正如在这种情况下经常发生的那样，接下来的思路是将这两种方法合并到一个算法，使用两者间的最佳者。 这将弥补它们每种的短处。 本文将讨论其中一种方法。

我们继续研究强化学习方法。 在上一篇文章中，我们领略了深度 Q-学习方法。 按这种方法，已训练模型依据在特定情况下采取的行动来预测即将到来的奖励。 然后，根据政策和预期奖励执行动作。 但并不总是能够近似 Q-函数。 有时它的近似不会产生预期的结果。 在这种情况下，近似方法不应用于功用函数，而是应用于动作的直接政策（策略）。 其中一种方法是政策梯度。

我们继续研究强化学习。 在本文中，我们将与深度 Q-学习方法打交道。 DeepMind 团队曾运用这种方法创建了一个模型，在玩 Atari 电脑游戏时其表现优于人类。 我认为评估该技术来解决交易问题的可能性将会很有益处。

我们继续研究机器学习方法。 自本文，我们开始另一个大话题，强化学习。 这种方式允许为模型设置某些策略来解决问题。 我们可以预期，强化学习的这种特性将为构建交易策略开辟新的视野。

在最晚的两篇文章中，我们开发了一个创建和编辑神经网络模型的工具。 现在是时候通过实践示例来评估迁移学习技术的潜在用途了。

在上一篇文章中，我们创建了一款用于创建和编辑神经网络架构的工具。 今天我们将继续打造这款工具。 我们将努力令其对用户更加友好。 也许可以看到，我们的主题往上更进一步。 但是，您不认为规划良好的工作空间在实现结果方面起着重要作用吗？

在本系列文章中，我们已经不止一次提到了迁移学习。 然而，都只是提及而已。 在本文中，我建议填补这一空白，并仔细研究迁移学习。

我们继续研究无监督学习算法。 这次我建议我们讨论自动编码器应用于递归模型训练时的特性。

在上一篇文章中，我们已熟悉了自动编码器算法。 像其它任何算法一样，它也有其优点和缺点。 在其原始实现中，自动编码器会尽可能多地将对象与训练样本分开。 这次我们将讨论如何应对它的一些缺点。