文章 "交易中的神经网络：使用语言模型进行时间序列预测"

新评论
 

新文章 交易中的神经网络：使用语言模型进行时间序列预测已发布：

我们继续研究时间序列预测模型。在本文中，我们领略一种建立在预训练语言模型基础上的复杂算法。

论文《TEMPO：基于提示的生成式预训练变换器进行时间序列预测》的作者解决了大型预训练模型适配时间序列预测的关键挑战。他们提出了 TEMPO，这是一个基于 GPT 的综合模型，设计用于有效的时间序列表示学习。TEMPO 由两个关键的分析分量组成：一个专注于针对特定时间序列形态（如趋势和季节性）建模，另一个旨在经由基于提示的方式从内部数据属性中提取更普适的见解。具体说，TEMPO 首先将原始多模态时间序列数据分解为三个分量：趋势、季节性、和残差。然后将每个分量映射到相应的潜在空间，从而构造 GPT 的初始时间序列嵌入。

作者将时间序列域与频域联系起来进行了正式分析，强调在时间序列分析时分解这些分量的必要性。他们还从理论上证明了注意力机制难以执行这种自动分解。 

TEMPO 使用提示来解码有关趋势和季节性的时态知识，高效优调 GPT 执行预测任务。此外，趋势、季节性、和残差也被用来提供可解释的结构，帮助理解原始分量之间的交互。

作者：Dmitriy Gizlyk

新评论