文章 "交易中的神经网络：状态空间模型"

[MetaQuotes]

新文章 交易中的神经网络：状态空间模型已发布：

到目前为止，我们审阅的大量模型都是基于变换器架构。不过，在处理长序列时，它们或许效率低下。在本文中，我们将领略一种替代方向，即基于状态空间模型的时间序列预测。

最段时间，大型模型适配新任务的范式变得越来越普遍。这些模型依据广泛的数据集进行预训练，其中包含来自各种领域的任意原生数据，包括文本、图像、音频、时间序列、以及更多。

尽管这个概念与任何特定的架构选择无关，但大多数模型都基于单一架构 — 变换器及其核心层自注意力。自注意力的效率归因于它能够在情境窗口中密集地引导信息，从而能够为复杂数据建模。然而，该属性有本质上的局限性：无法针对超出有限窗口的任何东西建模，以及相对于窗口长度的二次缩放。

对于序列建模任务，另一种替代方案涉及在状态空间中使用结构化序列模型（空间序列建模，SSM）。这些模型可解释为递归神经网络（RNN）与卷积神经网络（CNN）的组合。这类模型可以遵照序列长度的线性或近线性缩放极其有效地计算。甚至，它还具有固有机制，即针对特定数据模态中的长期依赖关系进行建模。

论文《曼巴（Mamba）：配以可选性状态空间进行线性-时间序列建模》中介绍了一种启用状态空间模型进行时间序列预测的算法。该论文提出了一类新的选择性状态空间模型。

 

作者：Dmitriy Gizlyk