文章 "交易中的神经网络：具有相对编码的变换器"

新评论
 

新文章 交易中的神经网络：具有相对编码的变换器已发布：

自我监督学习是分析大量无标签数据的有效方法。通过令模型适应金融市场的特定特征来提供效率，这有助于提升传统方法的有效性。本文讲述了一种替代的注意力机制，它参考输入之间的相对依赖关系。

自从头开始训练模型过渡到依据大量无标签数据进行预训练，然后针对特定任务进行微调，令我们能够达成高精度预测，且无需收集大量新数据。例如，基于变换器架构的模型适用于财务数据，可以利用资产相关性、时态依赖关系、和其它因素的信息来生成更准确的预测。替代注意力机制的实现有助于梳理关键的市场依赖性，从而显著提高模型性能。这为开发交易策略打开新机会，同时最小化手工调整、以及基于复杂规则模型的依赖。

论文《相对分子注意力变换器》中简述了这样的一个替代注意力算法。作者提出了一种新的针对分子图形的自注意力公式，精心处理各种输入特征，以便能在许多化学领域达到更高的准确性和可靠性。相对分子注意力变换器（R-MAT）是基于变换器架构的预训练模型。它代表了相对自我注意力的一种新颖变体，有效地整合了距离和邻里信息。R-MAT 可在各种任务中提供最先进的、有竞争力的性能。


作者：Dmitriy Gizlyk

新评论