文章 "神经网络在交易中的应用:一种端到端多变量时间序列预测模型(关键组件)"

新文章 神经网络在交易中的应用:一种端到端多变量时间序列预测模型(关键组件)已发布:

我们诚邀您探索 GinAR 框架关键组件的新实现 — 一种用于处理图结构时间序列的自适应算法。本文逐步分解了架构以及前向传播和误差反向传播的算法。

插值注意力机制在该架构中起着核心作用——它并非传统的自注意力内核,而是一个功能完备的自适应模块,能够同时考虑变量之间的全局依赖关系和观测值的局部上下文。实际上,这意味着该模型能够利用相邻指标的结构和整体市场情况,即使在缺少最新测量值的情况下,也能预测某个财务指标的值。在现实世界中,数据往往延迟到达、不规律或存在较大间隔,因此这种方法至关重要。

GinAR 的一个关键特性是它能够在训练过程中动态重建图结构。与大多数基于图的模型不同,这些模型的结构是预先固定的,而在这里,结构是在训练过程中形成的。这使得我们能够考虑到市场条件、相关性和隐藏因素的变化。该模型能够独立判断哪些变量应该相互关联,哪些变量应该被削弱,以及哪些变量在当前背景下应被强调为关键变量。这创建了一个灵活的架构,能够适应市场运行状态。

在上一篇文章的实践部分,我们完成了大量工作,为 OpenCL 程序中的计算奠定了基础。所有关键函数都已实现 — 从局部归约和 SoftMax 的计算,到插值注意力模块中的前向传播 / 反向传播。我们特别关注了本地内存的正确处理、流同步和数值稳定性,这些在并行计算环境中处理不完整时间序列时尤为重要。

这一准备工作为下一阶段 — 将模型的核心集成到主程序中 — 铺平了道路。这就是算法将焕发生机的地方:数据将从交易环境中接收,使用 OpenCL 设备进行处理,通过模型传递,并作为预测和交易决策返回。这一桥接机制是整个 GinAR 架构实现中的核心环节。


作者:Dmitriy Gizlyk

这是一篇非常有趣的文章,也是GinAR实现系列的宝贵延续。该架构引起了我们的关注,因为我们目前正在为算法交易 开发一个更广泛的多阶段机器学习研究框架,而我们正在积极探索的领域之一,就是跨资产建模能否提供传统按符号建模无法捕捉的信息。

我们的框架特意被划分为独立的层级:市场数据采集、特征工程、历史数据集构建、模型研究、验证、候选策略生成及执行。 机器学习被视为证据层,而非直接交易授权的来源。因此,模型不能仅仅因为在样本内表现良好就影响下游的交易决策;它必须首先证明其在样本外具有稳定的增量价值。

我们目前处理的多资产范围涵盖外汇、黄金、美国指数、股票和能源品种。历史数据通过“青铜→白银→黄金”管道进行处理,并实施严格的特定时间点控制。决策时刻可用的信息与用于标签和结果分析的未来信息保持分离。

我们当前的黄金训练数据集包含每条观测值142个源特征,其中包括129个数值特征和13个分类特征。特征集涵盖波动率、趋势、动量、市场结构、突破行为、价格走势背景、流动性状况、交易时段状态及其他确定性市场描述符。

在测试 GinAR 之前,我们已经构建了一个基于逻辑回归、XGBoost、LightGBM 和 CatBoost 的第二代模型家族。这些模型通过时间顺序向前验证、阈值筛选、自助法稳定性分析、校准检查、状态分析以及未受干扰的保留集阶段进行了评估。

共有十种交易品种进入我们的深度验证“通过”候选阶段:

GBPUSD、USDCHF、US500、US30、USDCAD、EURUSD、USDJPY、EURGBP、USTEC 和 XAUUSD。

这些成为我们GinAR实验的初始研究样本集。

GinAR之所以特别引起我们的兴趣,在于它引入了与现有模型根本不同的机制。我们当前的GEN2模型主要基于单个交易品种的分类器,而GinAR则能够同时学习多个交易品种之间的动态跨资产关系 及潜在表征。

这一点在金融市场中尤为重要,因为各类金融工具并非相互独立。货币、黄金、股指及其他资产之间的关系会随着市场环境、波动率和交易时段结构的变化而变化。此外,多资产交易体系中自然会存在这样的时期:并非所有金融工具在同一时间都有有效的报价或处于活跃交易时段。

出于这一原因,我们创建了一个完全独立的GinAR 研究分支,该分支不具备交易权限,也不会对现有的执行系统产生影响。

我们的目的并非逐行复现本文中的实现代码,也并非立即替换现有模型。相反,我们希望解答一个更具体的研究问题:

GinAR 风格的跨资产图模型能否提供超越我们现有基于单个符号的 GEN2 模型的额外样本外信息?

因此,我们的实现是一个基于主要架构理念的、受GinAR启发的“洁净室”研究模型:

  • 插值注意力、
  • 自适应图关系,
  • 图卷积变换,
  • 递归图状态,
  • 节点级分类。

在首次实验中,我们采用了Gold特征集合同中通用的数值部分,为模型提供了每个节点129个数值特征。

本实验使用的目标数据集是一个时长240分钟的WHIPSAW分类问题。

标签完整性被证明是一个重要的方法论问题。我们的历史标签包含:

WHIPSAW

NO_WHIPSAW

AMBIGUOUS_FIRST_MOVE

以及在某些情况下,INCOMPLETE。

当同一M1小节内同时触发了两个首动障碍时,会出现“AMBIGUOUS_FIRST_MOVE”情况,这意味着无法根据现有源数据确定该小节内的实际顺序。

因此,我们使用了明确的:

AMBIGUOUS_DO_NOT_GUESS

策略。

二进制目标合约变为:

WHIPSAW = 1

NO_WHIPSAW = 0

而 AMBIGUOUS_FIRST_MOVE 和 INCOMPLETE 则被排除在二元损失和评估指标之外,而非被强行归入其中任一类别。

这一点对我们至关重要,因为将模棱两可的结果强行归入其中一类,会引入人为的标签噪声。

我们还实施了严格的反预判控制措施。

验证协议如下:

180天训练

30天验证

60天的向前步法

240分钟的清除/间隔

60天的最终未触及保留集

在最初的GinAR实验中,最终保留集始终处于密封状态。

我们刻意避免了随机训练集/测试集划分。

另一个重要问题涉及缺失变量。在多资产交易环境中,由于交易时段不同,某些交易工具可能会暂时不可用,GinAR 的插值注意力机制在此类场景下可能非常有用。

然而,我们并未 使用该模型来生成历史观测值。

原始数据集中的缺失源观测值仍保持缺失状态,并通过掩码明确表示。内部插值仅作为神经表征的一部分使用。没有将任何重建值写回我们的 Gold 数据集。

随后,我们在6 个按时间顺序排列的向前折叠 中对 GinAR 研究模型进行了训练。

有效目标观测值的数量很大,且在各折叠中相对稳定。由此产生的 OOF 评估产生了大约114,558 个折叠外预测值。

六个折叠中的PR-AUC值分别为:

折1:0.6894

第 2 折:0.6910

第 3 个折:0.6833

第 4 折:0.6866

第5组:0.6584

第6折:0.6999

大多数折叠表现都相当稳定,尽管第5折明显较弱。我们认为这一时期对于后续阶段的分析以及图结构分析尤为重要。

接下来的步骤是我们认为最重要的部分:与我们现有的GEN2顶尖模型进行直接对比。

我们将 GinAR 的 OOF 预测与 GEN2 的相应预测在相同的符号/时间戳交点上进行了对齐。

该比较包含90,122 个匹配的折外观测值。

结果如下:

Delta PR-AUC:-0.0161

Delta LogLoss:+0.0059

鉴于更高的 PR-AUC 和更低的 LogLoss 更理想,当前结果显然更倾向于现有的 GEN2 模型。

换言之,在我们的首次实验中,作为独立的 WHIPSAW 分类器,GinAR 的表现并未优于我们现有的逻辑回归 / XGBoost / LightGBM / CatBoost 模型系列。

因此,我们并未将 GinAR 推广为 GEN2 的替代方案。

不过,我认为这一结果并不意味着 GinAR 对金融应用毫无价值。

事实上,该实验可能表明,该架构最有价值的部分未必是最终的独立分类器。

GinAR 构建了一种跨资产的潜在表示,而我们的独立单符号模型天生并不具备这种能力。

出于这个原因,我们将继续将 GinAR 作为研究编码器,并将下一个研究问题从:

“GinAR能否取代GEN2?”

改为:

“GinAR能否为GEN2提供互补的跨资产信息?”

因此,我们计划进行的下一个实验是:

GEN2基线

对比

GEN2 + GinAR 跨资产嵌入

,采用折叠安全堆叠、概率分歧分析、状态分析、图稳定性分析及消融实验。

我们特别关注以下情况:GEN2优胜模型预测错误而GinAR预测正确,反之亦然。如果这些错误集存在显著差异,那么即使GinAR的独立PR-AUC较低,其表示形式仍可作为额外的特征层发挥作用。

我们还计划考察所学习的邻接矩阵是否随时间保持稳定,或者不同波动率和市场状态下金融工具之间的关系是否会发生实质性变化。

我们认为,这正是基于图的模型在交易系统中可能特别有用的地方。

例如,以下关系的相关性:

黄金 ↔ 美元,

外汇 ↔ 美国股指,

美元兑加元 ↔ 能源,

或 USTEC ↔ 大型科技股

,其相关性未必会随着时间推移而保持恒定。

一个能够动态学习这些关系的模型,即使其直接分类模块并非最强的独立预测因子,仍可能提供有价值的背景信息。

我们从实验中获得的一个方法论启示也值得一提:仅凭训练损失或单次回测结果来评判一种新的神经网络架构是非常容易的。当我们将模型与现有基准在相同的折外样本上进行比较后,我们的结果改变了对该模型的解读。

对我们而言,这种比较至关重要。

不应仅仅因为一个新模型产生了合理的指标,就认为它有用。它必须证明:

  • 更优的预测性能,
  • 更优的校准性,
  • 更强的鲁棒性,
  • 互补的误差,
  • 有用的潜在表示,
  • 或与现有系统结合时可衡量的增量价值。

因此,现阶段我们的结论是:

GinAR 目前作为独立分类器虽不如我们的 GEN2 模型,但作为跨资产表示和特征生成层,它仍然是一个极具潜力的候选方案。

为了避免在模型开发决策中反复使用保留集,我们特意将最终未被触及的保留集保密,直至下一阶段的研究目标明确为止。

我非常期待看到作者在真实市场数据上进行的后续实验,特别是:

  • GinAR在向前验证中的表现,
  • 在不同交易时段中如何处理缺失变量,
  • 所学习的图结构在不同市场状态下是否保持稳定,
  • 该架构在预测或分类方面是否更有效,
  • 以及当与更强大的基于树的模型结合时,图嵌入能否提供额外价值。

感谢您发布这一系列文章。这是我们在将多变量图学习应用于金融时间序列时所遇到的较为有趣的研究方向之一。

尽管我们首次独立对比并未显示其相对于 GEN2 具有独立优势,但该实验为我们开辟了一个崭新且可能更具实用价值的研究方向:将 GinAR 作为跨资产智能层,而非仅仅是另一个分类器。

我期待下一篇文章,并非常希望将我们的研究结果与作者基于市场数据的实验结果进行对比。