文章 "神经网络变得简单（第 89 部分）：频率增强分解变换器（FEDformer）"

MetaQuotes 2025.01.31 09:24

到目前为止，我们研究过的所有模型在分析环境状态时都将其当作时间序列。不过，时间序列也能以频率特征的形式表示。在本文中，我将向您介绍一种算法，即利用时间序列的频率分量来预测未来状态。

时间序列的长期预测是一个解决各种应用问题时长期存在的问题。基于变换器的模型展现出有前景的结果。不过，高计算复杂度和内存需求，令其难以运用变换器为长序列建模。这引发了众多研究，致力于降低变换器算法的计算成本。

尽管基于变换器的时间序列预测方法取得了进展，但在某些情况下，它们在捕捉时间序列分布的共同特征时失效。论文《FEDformer：频率增强分解变压器进行长期序列预测》的作者为解决这个问题做了一次尝试。它们取时间序列的实际数据，与得自原义变换器的预测值进行比较。以下是该论文的截屏。

您可看到，预测时间序列的分布与实情非常不同。预期值和预测值之间的差异能用变换器中的点关注来解释。由于每个时间步骤得到的预测都是单独、且无依赖的，这就像模型无法作为一个整体预留时间序列的全局属性和统计值。为了解决这个问题，本文的作者开创了两个思路。

首先是运用季节性趋势分解方式，其已在时间序列分析中被广泛使用。该论文的作者提出了一种特殊的模型架构，其可有效地把预测的分布逼近实情。

第二个思路是在变换器算法中实现傅里叶分析。我们可以分析其频率特征，取代变换器应用到序列的时间测量。这有助于变换器更好地捕获时间序列的全局属性。

所提议思路的组合会在频率增强分解变换器模型 FEDformer 中实现。