文章 "交易中的神经网络：优化时间序列预测变换器（LSEAttention）"

新评论
 

新文章 交易中的神经网络：优化时间序列预测变换器（LSEAttention）已发布：

LSEAttention 框架改进变换器架构。它是专为长期多变量时间序列预测而设计。该方法作者提议的方法能应用于解决雏形变换器经常遇到的熵坍缩、及学习不稳定问题。

在计算机视觉和自然语言处理等领域，注意力矩阵可能会遭受熵坍缩、或秩坍缩。由于基于时间的数据所固有的频繁波动，这个问题在时间序列预测中会进一步加剧，往往会导致模型性能大幅下降。熵坍缩的底层原因仍然知之甚少，这凸显了进一步研究其机制、及对模型普适性影响的必要性。这些挑战是题为《LSEAttention 是时间序列预测所需的一切》这篇论文的专注点。

为了确保比较的公平性，我们完整地复刻了 HypDiff 模型训练算法。采用相同的训练数据集。不过，这次我们没有迭代更新训练集。虽然这或许会稍微降低训练性能，但它能准确比较算法优化前后的模型。

这些模型采用 2024 年第一季度的真实历史数据进行了评估。测试结果呈现如下。

应当注意的是，修改前后的模型性能十分相似。在测试期间，更新后的模型执行了 24 笔交易。它与基准模型相比仅有一笔交易偏离，这落在误差范围之内。两种模型都完成了 13 笔盈利交易。唯一明显的改善是 2 月份没有疏缺。

作者：Dmitriy Gizlyk

新评论