文章 "交易中的神经网络:智能预测流程(稀疏混合专家)"

 

新文章 交易中的神经网络:智能预测流程(稀疏混合专家)已发布:

我们将带大家探索在OpenCL计算环境下,时序稀疏混合专家模块的实际实现。本文会分步讲解掩码多窗口卷积的工作原理,以及多信息流场景下如何实现基于梯度的训练流程。

本篇我们继续之前的研究工作,聚焦Time-MoE框架的核心组件 —— 稀疏混合专家(Sparse Mixture of Experts)。在前一篇文章中,我们分步搭建模型基础,借助SwiGLU嵌入完成构建token与隐藏表征,现在进入这一架构中最关键、最具代表性的部分,在很大程度上决定了整个系统的计算效率与可扩展性。

在本文中,我们将详细讲解专家组的运行机制与计算分配逻辑。我们不只是阐述理论框架,而是基于MQL5完成稀疏MoE的实际代码实现,聚焦实现要点。


作者:Dmitriy Gizlyk