記事「取引におけるニューラルネットワーク:インテリジェントな予測パイプライン(Time-MoE)」についてのディスカッション

新しい記事「取引におけるニューラルネットワーク:インテリジェントな予測パイプライン(Time-MoE)」はパブリッシュされました:

時系列予測タスク向けに適応された最新のTime-MoEフレームワークを詳しく見ていきましょう。 アーキテクチャの主要な構成要素を段階的に実装しながら、随所で解説と実践的な例を紹介します。 このアプローチにより、モデルの仕組みを理解するだけでなく、その原理を実際の取引シナリオに応用することも可能になります。

Time-MoEは、時系列データ向けに特別に設計された次世代のDecoder-Only型Transformerです。 スパース学習、モジュール性、マルチスケール予測という原則に基づいています。 開発者らは、計算効率を損なうことなく、大規模モデルのスケーラビリティと柔軟性を時系列予測の分野にも拡張できることを示しています。 提示されたモデルアーキテクチャは、解析対象の系列長や予測期間を任意に設定できるよう設計されています。 また、データストリームをリアルタイムで処理することも可能です。

このアーキテクチャの最初の構成要素は、時系列の点単位トークン化(Point-Wise Tokenization)です。 ウィンドウ単位で処理する方式や、データを集約する方式とは異なり、各時点を個別のトークンに変換します。 この特徴は、わずか1ティックの変化でも市場の状況が変わり得る高頻度取引において、有用となる可能性があります。 MQL5環境では、バーやティックに加え、ボラティリティ、出来高、独自の取引戦略から得られるシグナルなどの派生指標を用いてトークンを構成できます。

トークン化されたデータは、次にSwiGLU活性化関数を用いる埋め込み層に入力されます。SwiGLUは、Swishとゲート付き線形ユニットを組み合わせたものです。 これにより、分析対象の情報を、より滑らかで頑健な表現へと変換できます。この特性は、市場ノイズが多い場合や、トレンドが不安定な場合に特に有用です。


作者: Dmitriy Gizlyk