English Русский Español Deutsch Português
preview
取引におけるニューラルネットワーク:異質性を考慮したメタパラメータ学習(Key構成要素)

取引におけるニューラルネットワーク:異質性を考慮したメタパラメータ学習(Key構成要素)

MetaTrader 5 — トレーディングシステム |
19 0
Dmitriy Gizlyk
Dmitriy Gizlyk

はじめに

前回の記事では、データを分析するだけでなく、その文脈も理解できる実用的なツールであるHimNetフレームワークについて紹介しました。 取引において、これはモデルが流動性の高い期間と取引が低調な期間を区別することを意味します。HimNetは、こうした変化に自動的に適応します。

HimNetのアーキテクチャはシンプルかつ論理的です。長さTの時系列セグメントが、Nか所の地点から入力として与えられます。 まず、このモデルは、時間埋め込みと空間埋め込みという2種類の学習可能な埋め込みを生成します。 時間埋め込み(時刻、曜日)は、市場が開く朝の急増、日中の落ち込み、夜間の閑散といった周期や市場レジームを捉えます。 空間埋め込みは、各地点またはティッカーに対応する個別のベクトルであり、時系列のプロファイルを符号化します。 これらのベクトルはすべて辞書に格納されており、学習の過程で精緻化されます。 これらはメタパラメータプールに対するQueryとして機能し、グラフ畳み込みの挙動によって定義されるさまざまな市場状況に応じて、モデルが異なる重みを選択できるようにします。 このオンザフライでの生成により、膨大なメモリや計算リソースを消費することなく、メタ学習の柔軟性を実現しています。

HimNetの中核をなすのは、チェビシェフ基底によって強化されたグラフリカレントブロック(GCRU)です。 このアーキテクチャ上のアプローチにより、モデルは深さと実用性を兼ね備えています。GCRUは、市場のネットワークをグラフとして解釈します。各ノードはティッカーまたは市場を表し、辺は相関、クロススプレッド、あるいは経験的な関係を反映します。 チェビシェフ多項式により、Kホップ集約をコンパクトに実装できます。モデルは、最大K本の辺を隔てた近傍ノードの影響を考慮しますが、計算負荷の高いスペクトル対角化は必要としません。そのため、処理は高速かつ局所的で、数値的にも安定しています。 簡単に言えば、このフレームワークの開発者たちは、グラフの全スペクトルを計算する代わりに、直接隣接するノード、その先の隣接ノードといった各段階の影響を捉える行列群を順に構築し、文脈を考慮しながらこれらの影響を組み合わせています。

エンコーディングは、HimNetでは2つの並行する情報ストリームに沿っておこなわれます。 1つ目の空間Encoderは、板の厚み、通常の出来高、ニュースに対する過去の反応といった市場のプロファイルを調べます。 2つ目の時間Encoderは、市場の開始、ニュースの流れ、夜間の閑散、各種発表の時期といった時間的なレジームを捉えます。 両方のEncoderが隠れ表現を生成し、それらを組み合わせて単一の潜在テンソルに統合します。 これは単なる足し合わせではなく、それぞれの意味を慎重に組み合わせる処理です。時間は感度の程度を決定し、空間は集約の方法を決定します。 その結果、現在の市場状況について一貫した全体像を把握することができます。

Decoderはこの統合された表現を受け取り、時空間埋め込みへと写像します。この埋め込みは、QueryとしてSTメタパラメータプールに渡されます。 プールは、その特定の場所と時間の組み合わせに固有のパラメータ群を返し、これらのパラメータがGCRUブロックの重みを直接構成します。このブロックはDecoder内にあります。 つまり、このフレームワークの開発者たちは、現在の市場レジームに合わせてリカレント処理の構造をその場で再構築します。セッション開始時と夜間とで、それぞれ異なる重みと感度の組み合わせを用いるのです。 その後、Decoderは、指定された予測期間にわたる予測を、反復的に一段階ずつ生成します。

代数的・数値的な観点では、各状態についてK段階のチェビシェフ多項式を計算し、その結果を連結した上で、埋め込みQueryからメタパラメータプールが生成した行列に通します。 勾配は、プールのパラメータと埋め込みの両方に逆伝播されます。 したがって、このモデルは予測を行うだけでなく、有用な時空間的文脈を特定することも学習します。 実際には、これにより、モデルがその瞬間に最も適切な動作モードを選択できる適応メカニズムが提供されます。

実際の取引においては、これが具体的なメリットにつながります。 メインセッションが始まると、HimNetは出来高の急増に迅速に対応できるよう、自動的にパラメータを強化し、スリッページを低減します。 流動性が低い時期には、このモデルはより保守的な予測をおこない、誤エントリーを減らすことで、個々の取引に起因する単発的な価格急変の影響を抑えます。 これは、流動性が失われた際にスプレッドを適切に拡大し、偽のギャップをより厳格に排除することを意味します。 突発的なショックが発生した場合、STモデルは防御モードに切り替わり、予測の堅牢性を高め、市場の罠に陥るリスクを低減します。

技術面でも、このアーキテクチャは実用的で、産業用途に適しています。メタパラメータプールはコンパクトで、メモリ使用量や計算量の爆発的な増加を招きません。また、チェビシェフのべき乗に関する計算は、GPU上で容易にスケールさせられます。

ハイパーパラメータは、本質的に、モデルの柔軟性と応答速度との間の妥当なバランスを表しています。 これらは、代表的な市場シナリオに基づく検証を経て選定されています。 ここでいう解釈可能性は、単なる飾りではありません。個々のプール候補の活性化状況や適応グラフのヒートマップから、モデルが現在どの市場レジームを識別しているか、なぜ特定の予測がなされたのか、そしてどの執行ルールを適用すべきかを、素早く把握できます。

実際には、これは保守的なモードに切り替える自動トリガーから、リスク管理のための透明性の高いレポートまで、具体的な管理ツールとして形になります。これにより、HimNetはトレーダーにとってもエンジニアにとっても、管理しやすく理解しやすいものとなります。

このように、HimNetは、強力な局所集約、適応型メタ学習、そして実用的なエンジニアリング実装を組み合わせたものです。 これは単なる予測モデルの改良版ではありません。市場レジームを把握して、それに応じて動作を適応させながらも、トレーダーやリスク管理者にとって動作を予測しやすく、管理しやすいツールです。

以下に、著者によるHimNetフレームワークの構成図を示します。

第1回の記事の実践編では、このアイデアが実際のエンジニアリング環境でも機能することが確認されました。 計算負荷の高いチェビシェフ多項式の構築と誤差逆伝播の処理をGPUにオフロードするため、OpenCLカーネルのChebStepとChebStepGradを実装しました。

メインプログラム側では、カーネルをラップし、推論と勾配計算のための統一されたインターフェースを提供するCChebPolinomオブジェクトを実装しました。 その結果、高速な学習と信頼性の高い推論を両立させたハイブリッドなパイプラインが実現しました。

この記事では、HimNetフレームワークのアプローチをMQL5で実装する作業を引き続き進めます。



グラフ畳み込みオブジェクト

次の段階では、グラフ畳み込みオブジェクトの作成に進みます。このオブジェクトは、Kホップ集約の計算にチェビシェフ基底を用います。 このモジュールは、処理の実行において重要な役割を果たします。準備された特徴量ウィンドウを受け取り、CChebPolinomに計算済みの行列𝑇𝑘を要求し、現在のメタパラメータに基づいて、モデル内の後続処理に渡せる出力シーケンスを構築します。 柔軟性、高速性、そして予測可能性を同時に備えていることが重要です。すなわち、さまざまなメタパラメータ化モードをサポートすることで柔軟性を確保し、厳格なメモリ管理と数値チェックを通じて高速性と予測可能性を実現するのです。

新しいCNeuronHimNetGrapConvオブジェクトのアーキテクチャは、実用的かつモジュール式のアダプタとして設計されており、時系列の特徴量ウィンドウとグラフ畳み込みを橋渡しします。データの準備、行列演算の呼び出し、OpenCLカーネルとの統合をまとめて担うことで、モデルの高レベルのロジックを実装の詳細で煩雑にすることを避けています。

class CNeuronHimNetGrapConv   :  public CNeuronTransposeRCDOCL
  {
protected:
   CNeuronBaseOCL    cX_G;

public:
                     CNeuronHimNetGrapConv(void) {};
                    ~CNeuronHimNetGrapConv(void) {};
   //---
   virtual bool      Init(uint numOutputs, uint myIndex, COpenCLMy *open_cl,
                          uint count, uint window, uint cheb_k,
                          ENUM_OPTIMIZATION optimization_type, uint batch) override;
   //---
   virtual bool      FeedForward(CNeuronBaseOCL *NeuronOCL, CChebPolinom *Support);
   virtual bool      calcInputGradients(CNeuronBaseOCL *NeuronOCL, CChebPolinom *Support);
   //---
   virtual bool      Load(const int file_handle) override;
   //---
   virtual int       Type(void)        const                      {  return defNeuronHimNetGrapConv; }
   virtual void      SetOpenCL(COpenCLMy *obj);
   virtual uint      GetCount(void) override const { return iWindow; }
   virtual uint      GetWindow(void) override const { return GetDimension(); }
   virtual uint      GetChebK(void) const { return iCount; }
  };

このクラスの中には、コンパクトでありながら不可欠な補助オブジェクト「cX_G」が存在します。 これは作業用バッファとして機能し、計算の各段階間での迅速なデータ交換を保証します。 オブジェクトは静的に宣言されているため、クラスのコンストラクタとデストラクタは空のままにしておくことができます。初期化とメモリのクリーンアップはライフサイクル全体を通じて一度だけ行われ、インスタンスの作成や破棄の際に不要なオーバーヘッドが発生することはありません。

このクラスの新しいインスタンスは、Initメソッド内で初期化されます。 このメソッドでは、まず、ニューロンの一般的なインターフェースを定義している親クラス内の同名のメソッドを呼び出します。

bool CNeuronHimNetGrapConv::Init(uint numOutputs, uint myIndex, COpenCLMy *open_cl,
                                 uint count, uint window, uint cheb_k,
                                 ENUM_OPTIMIZATION optimization_type, uint batch)
  {
   if(!CNeuronTransposeRCDOCL::Init(numOutputs, myIndex, open_cl, cheb_k,
                                    count, window, optimization_type, batch))
      return false;
   if(!cX_G.Init(0, 0, OpenCL, Neurons(), optimization, iBatch))
      return false;
//---
   return true;
  }

次に、補助バッファcX_Gを初期化します。これは、すでに連結されたデータの作業領域として機能し、行列乗算の結果を格納します。 これらの操作のいずれかが失敗した場合、Initはfalseを返し、オブジェクトは安全な状態に保たれます。

順伝播メソッドFeedForwardは、指揮者の役割を果たします。 まず、このメソッドはパラメータとして受け取ったオブジェクトの互換性を厳密にチェックします。渡されたNeuronOCLとSupportが存在している必要があります。 さらに、SupportのDimensionとStepsの値は、モジュールの設定と一致する想定どおりの値でなければなりません。

bool CNeuronHimNetGrapConv::FeedForward(CNeuronBaseOCL *NeuronOCL,
                                        CChebPolinom *Support)
  {
   if(!NeuronOCL || !Support)
      return false;
   if(Support.GetDimension() != iWindow ||
      Support.GetSteps() != iCount)
      return false;
   if(NeuronOCL.Neurons() != (Neurons() / iCount))
      return false;

また、ソースデータオブジェクト内のニューロンの数が、期待される形状と一致しているかどうかも確認します。 これらのチェックは単なる形式的な手続きではなく、以下の行列演算がGPU上で気づかないうちに深刻な問題を引き起こすのを防ぐためのものです。

次に、重要な行列乗算が行われます。この演算では、得られたチェビシェフ多項式に、解析対象の時系列のテンソルを乗算します。 演算の結果は、cX_Gバッファに格納されます。

if(!MatMul(Support.getOutput(), NeuronOCL.getOutput(), cX_G.getOutput(),
           iWindow, iWindow, GetDimension(), iCount, false))
   return false;

要するに、これは、変換された表現T0 X、T1 X、…、Tk Xを連結してX_Gを構成する操作そのものです。 取引に例えると、Supportは個々の時系列間の関係を示す地図(チェビシェフ多項式)、NeuronOCLはマルチモーダル時系列の特徴量ウィンドウに相当します。また、cX_Gは生データを解析済みの形にしたもので、個々の系列について隣接する系列の影響が考慮されています。 次の処理に渡す必要があるのは、まさにこの調整済みの行列です。

ただし、行列乗算の結果は、詳細度の異なる複数の調整済みソースデータセットを並べたもので、その形状は{K-hop, N, C}となる点に注意してください。 そして、これはオブジェクトの出力として期待されるデータ表現ではありません。 したがって、順伝播メソッドの最後のステップとして、cX_Gを親クラスの同名のメソッドに渡します。このメソッドはテンソルを転置し、期待される表現にします。 この手順により、コードがモジュール化され、テストや最適化が容易になります。

いずれかの段階で問題が発生した場合、このメソッドは副作用を残すことなくfalseを返します。

順伝播によって層の応答が計算されると、次に、同じく重要な誤差勾配の伝播がおこなわれます。 まさにこの点において、アーキテクチャ全体が過去のデータから学び、現実の市場シナリオに適応する能力が確立されるのです。

calcInputGradientsメソッドは、受け取ったパラメータ、すなわち前の層へのポインタとチェビシェフ多項式行列へのポインタが有効であるかどうかを確認するブロックから始まります。 このチェックは、モデル構造の同期がずれてしまった場合に、誤った計算を防ぐための、いわばセーフティネットとしての役割を果たします。

bool CNeuronHimNetGrapConv::calcInputGradients(CNeuronBaseOCL *NeuronOCL,
      CChebPolinom *Support)
  {
   if(!NeuronOCL || !Support)
      return false;
   if(Support.GetDimension() != iWindow ||
      Support.GetSteps() != iCount)
      return false;
   if(NeuronOCL.Neurons() != (Neurons() / iCount))
      return false;

次に、このメソッドは次元を確認します。ステップ数(K-hop)とウィンドウサイズが、想定した値と一致している必要があります。 このステップが重要なのは、グラフ畳み込みが次元の不一致に敏感であるためです。ここでエラーが発生すると、誤った勾配の連鎖反応を引き起こし、学習プロセス全体が破綻してしまう可能性があります。

チェックに合格した場合は、そのまま誤差勾配の分配処理に進みます。 まず、モデルの次の層から得られた勾配を転置し、この畳み込みの出力に対応する表現にします。

   if(!CNeuronTransposeRCDOCL::calcInputGradients(cX_G.AsObject()))
      return false;
   if(!MatMulGrad(Support.getOutput(), Support.getGradient(),
                  NeuronOCL.getOutput(), NeuronOCL.getGradient(),
                  cX_G.getGradient(), iWindow, iWindow,
                  GetDimension(), iCount, false))
      return false;
//---
   return true;
  }

最後のステップでは、誤差勾配を入力データとチェビシェフ多項式に分配します。 このステップでは、メソッドは実質的に、順伝播中に情報が伝わったのと同じチャネルを通じて、今度は逆方向に、蓄積された誤差の影響を分配します。 親オブジェクトから継承されたMatMulGradメソッドを使用します。 その結果、2種類の勾配が得られます。 1つ目は、層の入力データ自体に対する勾配であり、これはその後、先行する層の重みを調整するために使用されます。 2つ目は、チェビシェフ展開係数に対する勾配です。これにより、フレームワークは、市場の依存関係が時間とともに変化した場合に、グラフ構造の表現を適応させることができます。

したがって、この段階で最終的な振り返りがおこなわれます。システムは、どの接続が有用であったか、どの接続が冗長であったかを判断し、次の最適化サイクルのための基礎を築きます。

実用的な観点から言えば、CNeuronHimNetGrapConvは、モデルがトレーダーにシグナルを聞こえる形で伝える部分です。 生の相場データのウィンドウを、局所的に調整されたシグナルに変換します。 このクラスのアーキテクチャは、これらの変換が高速で、再現性があり、説明可能であることを保証するように特別に設計されています。 このクラスとすべてのメソッドの完全なコードは、添付ファイルに含まれています。


リカレントブロック

ここまで、チェビシェフ多項式に基づく基本的なグラフ畳み込みブロックの内部構造を検討し、この比較的コンパクトな要素内で入力データと誤差勾配の流れがどのように分配されるかを確認しました。次は一段上のレベルに進み、局所的なグラフ処理と隠れ状態の動的挙動を結びつけるノードを見ていきましょう。 ここでモデルの実際の記憶が形成されます。この構成要素によって、情報は時間ステップ間で失われることなく、グラフ構造にシームレスに織り込まれます。 ここで言及しているのは、CNeuronHimNetGCRUクラスです。これは、モデルの時間的コンポーネントと空間的コンポーネントの間で、一種の信号ディスパッチャとして機能する中核的な構成要素です。 オブジェクトの構造を以下に示します。

class CNeuronHimNetGCRU    :  public CNeuronBaseOCL
  {
protected:
   CNeuronBaseOCL          cInpAndHidden;
   CNeuronHimNetGrapConv   cZ_R;
   CNeuronConvOCL          cZ_R_emb;
   CNeuronBaseOCL          cZe_Re;
   CNeuronBaseOCL          cZ;
   CNeuronBaseOCL          cR;
   CNeuronBaseOCL          cCandidate;
   CNeuronHimNetGrapConv   cHC;
   CNeuronConvOCL          cHC_emb;
   CNeuronBaseOCL          cHCe;

public:
                     CNeuronHimNetGCRU(void) {};
                    ~CNeuronHimNetGCRU(void) {};
   //---
   virtual bool      Init(uint numOutputs, uint myIndex, COpenCLMy *open_cl,
                          uint units, uint window, uint window_out,
                          uint cheb_k, uint embed_dim,
                          ENUM_OPTIMIZATION optimization_type, uint batch);
   //---
   virtual bool      feedForward(CNeuronBaseOCL *NeuronOCL,
                                 CChebPolinom *Support,
                                 CNeuronBaseOCL *Embedding);
   virtual bool      calcInputGradients(CNeuronBaseOCL *NeuronOCL,
                                        CChebPolinom *Support,
                                        CNeuronBaseOCL *Embedding);
   virtual bool      updateInputWeights(CNeuronBaseOCL *NeuronOCL,
                                        CChebPolinom *Support,
                                        CNeuronBaseOCL *Embedding);
   //---
   virtual int       Type(void)   const   {  return defNeuronHimNetGCRU;   }
   //--- methods for working with files
   virtual bool      Save(int const file_handle);
   virtual bool      Load(int const file_handle);
   //---
   virtual bool      WeightsUpdate(CNeuronBaseOCL *source, float tau) override;
   virtual void      SetOpenCL(COpenCLMy *obj) override;
   virtual void      SetActivationFunction(ENUM_ACTIVATION value) override { };
  };

この場合、単にノードの近傍に対して畳み込みを適用したり、データをリカレントセルに通したりするだけでは不十分です。 ご存知の通り、金融市場が線形に振る舞うことはめったにありません。通貨ペアは相互に関連したクラスターを形成し、株式はセクターごとに動き、コモディティは輸出国の通貨と連動して動くことがよくあります。 だからこそ、時間モデルだけでは不十分であり、接続マップが必要です。そして、そのマップを提供するのがグラフ畳み込みです。 しかし、それだけでは静的なものです。 EURUSDのシグナルを、隣接する通貨ペアであるGBPUSDとEURGBPが反対方向に動いているときに増幅するか、それとも抑制するかを、その場で判断するには、 制御ロジックが必要です。 まさにそれが、このクラスが実装している機能です。

このモジュールには、時系列モデルの開発者にはおなじみのGRUの仕組みだけでなく、それをグラフ構造に適応させたバージョンも含まれています。 また、前述のグラフ畳み込みクラスでは、比較的コンパクトな要素の集合を扱っていましたが、ここでははるかに複雑な構成を扱います。 内部コンポーネントの一覧は圧巻ですが、その一つひとつが、全体の動作において厳密に定義された役割を果たしています。 読者に早い段階で詳細を詰め込みすぎて負担をかけないよう、このオブジェクトのメソッドを実装していく過程で、各コンポーネントの役割を徐々に明らかにしていきます。 これらの内部オブジェクトはすべて静的に宣言されている点に留意することが重要です。これにより、クラスの管理が容易になり、煩雑なコンストラクタやデストラクタを作成する必要がなくなります。これらは空のままであり、まるで油を差されたドアのようにきしむこともなく、アルゴリズムを実行するたびに余分な手間を要することはありません。

クラスの一般的な構造から、その具体的な動作の詳細へと話を進めていくと、当然ながらInit初期化メソッドにたどり着きます。 ここでチェスの駒を配置します。つまり、後の計算の動作を決定づけるすべての内部コンポーネントを作成し、準備するのです。 Initメソッドは、舞台裏で振られる指揮者の指揮棒のようなものです。外部のコードは単にこのメソッドを呼び出すだけですが、内部では、各モジュールを準備するための複雑でありながらも整然とした一連の処理が展開されます。

bool CNeuronHimNetGCRU::Init(uint numOutputs, uint myIndex, COpenCLMy *open_cl,
                             uint units, uint window, uint window_out,
                             uint cheb_k, uint embed_dim,
                             ENUM_OPTIMIZATION optimization_type, uint batch)
  {
   if(!CNeuronBaseOCL::Init(numOutputs, myIndex, open_cl, units * window_out,
                                                   optimization_type, batch))
      return false;
   activation = None;

すべては、親クラスの初期化から始まります。 ここでは、ニューラル層が継承するすべての基底インターフェースが作成されます。 なお、ニューロン数は、シーケンスの要素数とオブジェクトの出力側の特徴量ウィンドウのサイズとの積として定義されます。これにより、時間的なコンテキスト全体を処理するための計算領域が事前に確保されます。

その直後、活性化関数はゼロにリセットされます。 これは意図的なものです。この段階では中立性を保ち、後続の層がそれぞれ固有の活性化を適用できるよう、真っ白なキャンバスを用意しておくことが重要だからです。

続いて、内部コンポーネントの初期化シーケンスが開始されます。 最初のcInpAndHiddenは、入力データと隠れ状態をつなぐ一種のゲートウェイとして機能します。 その次元数は、入力と出力の特徴量ウィンドウのサイズの合計に、シーケンス内の要素数を乗じた値で決まります。これにより、後続の処理に必要なすべての情報を蓄積できます。

   int index = 0;
   if(!cInpAndHidden.Init(0, index, OpenCL, (window + window_out)*units, optimization, iBatch))
      return false;
   cInpAndHidden.SetActivationFunction(None);

次に登場するcZ_Rは、ZとRをまとめた行列を形成する役割を担います。これらはGRUの主要なゲートです。 ここで、グラフ構造を扱うメカニズムが活躍します。このメソッドは、分析対象のデータのテンソル形状と、チェビシェフ多項式の項の数を受け取ります。この項の数は、グラフ近似の深さに直接影響を与えます。

   index++;
   if(!cZ_R.Init(0, index, OpenCL, units, window + window_out, cheb_k, optimization, iBatch))
      return false;
   cZ_R.SetActivationFunction(None);

初期化チェーンの次は、cZ_R_embオブジェクトです。これは、埋め込みと畳み込み処理の動作を結びつける一種の架け橋です。 その役割は、畳み込みパラメータの行列を生成することです。ただし、機械的に生成するのではなく、得られた埋め込みに基づいて生成し、その後の計算パイプラインでこれらのパラメータを適用できるようにします。

これは単なる補助変数ではなく、重要な仲介役です。ここで個々の系列間のつながりの巧みな再構成がおこなわれ、ばらばらな観測値の集合が、相互関係を体系的に示すマップへと変わります。 金融市場に例えるならば、このステップは、経験豊富なアナリストが生の取引活動データを取り込み、それをトレンドや相関関係、時間差を伴う依存関係が浮かび上がる形式に変換し、将来の価格変動を予測できるようにする作業に似ています。

   index++;
   if(!cZ_R_emb.Init(0, index, OpenCL, embed_dim, embed_dim,
                     2 * cheb_k * (window + window_out) * window_out,
                     1, units, optimization, iBatch))
      return false;
   cZ_R_emb.SetActivationFunction(None);
   index++;
   if(!cZe_Re.Init(0, index, OpenCL, 2 * window_out * units, optimization, iBatch))
      return false;
   cZe_Re.SetActivationFunction(None);
   index++;
   if(!cZ.Init(0, index, OpenCL, window_out * units, optimization, iBatch))
      return false;
   cZ.SetActivationFunction(None);
   index++;
   if(!cR.Init(0, index, OpenCL, window_out * units, optimization, iBatch))
      return false;
   cR.SetActivationFunction(None);

その後、このメソッドは、cZe_Re、cZ、cRという、より軽量ながらも同じく重要なブロックを初期化します。 これらのモジュールは、最終的なZベクトルとRベクトルを生成し、情報の忘却と更新を柔軟に制御します。 これらの次元数は、特徴量ウィンドウのサイズと結果テンソル内のシーケンス要素数に直接依存します。これは実質的に、モデルが現在の市場の文脈を記憶に保持する能力を反映しています。

次に、新たな候補状態の計算を担う構成要素cCandidateが作成されます。 その次元数は、すでに初期化されたcInpAndHiddenから継承されます。これは、入力信号と、ここで想定する隠れ状態モデルとの密接な関係を示しています。

   index++;
   if(!cCandidate.Init(0, index, OpenCL, cInpAndHidden.Neurons(), optimization, iBatch))
      return false;
   cCandidate.SetActivationFunction(None);

2つ目の主要なブロックであるcHCは、更新された状態のレベルで動作する、もう1つのグラフ畳み込みです。 これには独自の畳み込みパラメータcHC_embがあり、得られた埋め込みに基づいて、異なる係数を用いて構築されます。 最後の要素はcHCeであり、これが最終的に更新された隠れ状態の表現を形成します。

   index++;
   if(!cHC.Init(0, index, OpenCL, units, window + window_out, cheb_k, optimization, iBatch))
      return false;
   cHC.SetActivationFunction(None);
   index++;
   if(!cHC_emb.Init(0, index, OpenCL, embed_dim, embed_dim,
                    (window + window_out) * window_out * cheb_k,
                    1, units, optimization, iBatch))
      return false;
   cHC_emb.SetActivationFunction(None);
   index++;
   if(!cHCe.Init(0, index, OpenCL, window_out * units, optimization, iBatch))
      return false;
   cHCe.SetActivationFunction(None);
//---
   if(!Output.Fill(0))
      return false;
//---
   return true;
  }

すべてのモジュールの初期化が完了すると、最後の準備として、結果バッファがゼロクリアされます。 ここで扱っているのはリカレントブロックであることを忘れてはいけません。 また、結果バッファをクリアすることで、モデルはクリーンな状態、つまり過去のノイズの影響を受けていない状態から開始できるようになります。

これらすべては、一見すると複雑に見えるだけなのです。 実際には、これは各ブロックがそれぞれの役割を担う無駄のないアーキテクチャであり、データの事前整形から、グラフGRU構造における情報の忘却と更新の微調整までをおこないます。 これは金融市場のタスクにおいて極めて重要です。モデルは、(ウィンドウ内の)局所的な価格変動と、(グラフ近似を通じて)その全体的な文脈の両方を考慮に入れつつ、過去の勢いを損なうことなく、新たな事象に柔軟に対応できなければなりません。

初期化プロセスについて詳しく見てきたところで、次はグラフリカレントブロックの仕組みを掘り下げ、順伝播メソッドfeedForwardがこのアーキテクチャをどのように機能させるのかを確認していきましょう。 まず、必要なすべての構成要素(メインのソースデータバッファ、チェビシェフ多項式テンソル、および埋め込み)が最新の状態であることを慎重に確認します。 そのうちの1つでも欠けていると、処理は開始されません。 それは、ポジションを開く前にすべての指標やデータを確認するトレーダーのようなものです。全体像を把握しなければ、予測を立てることはできません。

bool CNeuronHimNetGCRU::feedForward(CNeuronBaseOCL *NeuronOCL,
                                    CChebPolinom *Support,
                                    CNeuronBaseOCL *Embedding)
  {
   if(!NeuronOCL || !Support || !Embedding)
      return false;
   if(!SwapOutputs())
      return false;

次に、今回と前回の結果を格納するデータバッファへのポインタを入れ替えることで、リカレントメモリを実現します。 このステップが重要なのは、過去が未来に影響を与えるからです。つまり、昨日の相場の変動が今日の予想を形作るのと同じです。

次に、初期化処理の際、ブロックの設定パラメータを個別の変数に格納しなかった点に注意してください。 これは意図的です。 これらのパラメータはすべて内部コンポーネントにも保持されています。 そして、取り出すことができます。

   uint cheb_k = cZ_R.GetChebK();
   uint units = cZ_R.GetCount();
   uint window_out = Neurons() / units;
   uint window = cZ_R.GetWindow() - window_out;

準備作業が完了して初めて、処理手順の構成に進みます。 ソースデータと前回の状態をcInpAndHiddenオブジェクト内で連結し、単一の情報ストリームを形成します。 ニュース、指標、シグナルを組み合わせたこのデータストリームは、さらなる処理の準備が整っています。

   if(!Concat(NeuronOCL.getOutput(), PrevOutput, cInpAndHidden.getOutput(), window, window_out, units))
      return false;

次に、cZ_Rが登場します。ここでは、チェビシェフ多項式を用いてグラフ畳み込みが行われます。隣接するノードは互いに影響を及ぼし合いますが、その影響はKホップ近傍に限定されるため、リソースの効率的な活用と計算の安定性が確保されます。

   if(!cZ_R.FeedForward(cInpAndHidden.AsObject(), Support))
      return false;
   if(!cZ_R_emb.FeedForward(Embedding))
      return false;

同時に、cZ_R_embは埋め込みに基づいて畳み込みパラメータ行列を生成します。これは、料理人が料理にスパイスを加えて繊細な風味を引き出すようなもので、時間的・空間的な特徴量が、その後の利用に向けて適切にまとめられます。

畳み込みの結果を乗算し、シグモイド活性化関数を通した後、ZゲートとRゲートに分割します。 これらのゲートは情報の流れを制御し、過去の情報のうち何を保持し、何を更新するかを決定します。

   if(!MatMul(cZ_R.getOutput(), cZ_R_emb.getOutput(), cZe_Re.getOutput(), 1,
                 (window + window_out)*cheb_k, 2 * window_out, units, true))
      return false;
   if(!Activation(cZe_Re.getOutput(), cZe_Re.getOutput(), SIGMOID))
      return false;
   if(!DeConcat(cZ.getOutput(), cR.getOutput(), cZe_Re.getOutput(), window_out,
                                                            window_out, units))
      return false;

次に、現在の入力と修正された前回の状態を組み合わせて、候補状態cCandidateを形成します。 この状態は2番目のグラフ畳み込みブロックcHCに入力されます。そこでcHC_embを介して同様の方法で新しいパラメータが生成され、その結果に双曲線正接関数を適用することで、更新された隠れ状態が形成されます。

   if(!ElementMult(cZ.getOutput(), PrevOutput, cZ.getPrevOutput()))
      return false;
   if(!Concat(NeuronOCL.getOutput(), cZ.getPrevOutput(), cCandidate.getOutput(),
                                                      window, window_out, units))
      return false;
   if(!cHC.FeedForward(cCandidate.AsObject(), Support))
      return false;
   if(!cHC_emb.FeedForward(Embedding))
      return false;
   if(!MatMul(cHC.getOutput(), cHC_emb.getOutput(), cHCe.getOutput(), 1, 
                  (window + window_out)*cheb_k, window_out, units, true))
      return false;
   if(!Activation(cHCe.getOutput(), cHCe.getOutput(), TANH))
      return false;
   if(!GateElementMult(PrevOutput, cHCe.getOutput(), cR.getOutput(), Output))
      return false;
//---
   return true;
  }

最終段階では、前の状態がRゲートを介して候補状態と要素ごとに結合され、その出力は、分析やDecoderによるさらなる処理にすぐ利用できる予測値となります。 これを金融市場の言葉で言い換えると、各ステップは多層的なシグナルフィルタリングに相当します。つまり、過去の値動き、隣接する資産、時間的特徴、および内部の埋め込みを組み合わせて、正確かつ安定した予測を生成します。 ここでのfeedForwardメソッドは、まるで多くの楽器からなるオーケストラを指揮する指揮者のように、混沌とした市場データを調和のとれた予測のシンフォニーへと変容させるのです。

順伝播について詳しく解説したところで、次はこれと同じくらい重要で興味深いステップ、つまり誤差勾配の伝播について見ていきましょう。 順伝播を、現在のデータに基づいて予測を立てるトレーダーに例えるなら、誤差逆伝播は、そのトレーダーが取引終了後に席に着き、取引日誌を開いて、どこでシグナルが機能し、どこで予測が外れたかを分析する場面に当たります。 この分析結果に基づき、モデルが翌日により正確に動作するよう、モデルの内部パラメータが調整されます。

calcInputGradientsメソッドは、まず入力データテンソル、チェビシェフ多項式オブジェクト、および埋め込みといったすべての構成要素を徹底的にチェックすることから始まります。

bool CNeuronHimNetGCRU::calcInputGradients(CNeuronBaseOCL *NeuronOCL,
      CChebPolinom *Support,
      CNeuronBaseOCL *Embedding)
  {
   if(!NeuronOCL || !Support || !Embedding)
      return false;
//---
   uint cheb_k = cZ_R.GetChebK();
   uint units = cZ_R.GetCount();
   uint window_out = Neurons() / units;
   uint window = cZ_R.GetWindow() - window_out;

すべてが整っていることを確認して初めて、主要なパラメータ、すなわちチェビシェフ多項式の次数、系列内の要素数、および入力と出力の特徴量の次元数の計算に進みます。 これらの値は、誤差勾配の伝播の枠組みとなり、誤差信号がアーキテクチャ内をどのように伝播するかを決定します。

最初のステップでは、Rゲートを介して隠れ状態と候補状態を要素ごとに結合する演算の勾配を処理します。 この操作では、使用されるすべての構成要素の影響が考慮されます。 各指標が戦略のパフォーマンスに与える寄与度を評価していると仮定しましょう。予測への影響度に応じて、一部のシグナルはより強く補正され、他のシグナルはより弱く補正されます。

   if(!GateElementMultGrad(PrevOutput, cR.getPrevOutput(),
                           cHCe.getOutput(), cHCe.getGradient(),
                           cR.getOutput(), cR.getGradient(),
                           Gradient, None, TANH, cR.Activation()))
      return false;

次に、行列乗算の演算を通じて誤差勾配を伝播させ、cHCおよびcHC_embブロックを更新します。 これは、市場シグナルをフィルタリングするのと似ています。誤差はすべての層を通過し、ネットワークの各構成要素がそれぞれに応じた分の補正を受けるよう、慎重に分配されます。

   if(!MatMulGrad(cHC.getOutput(), cHC.getGradient(),
                  cHC_emb.getOutput(), cHC_emb.getGradient(),
                  cHCe.getGradient(), 1, (window + window_out)*cheb_k,
                  window_out, units, true))
      return false;

calcInputGradientsをcHCに対して呼び出すことで、候補状態に勾配が正しく伝播することが保証されます。これは、個々の取引の結果だけでなく、取引戦略全体におけるそれらの相互関係も評価するようなものです。

   if(!cHC.calcInputGradients(cCandidate.AsObject(), Support))
      return false;
   if(!DeConcat(NeuronOCL.getGradient(), cZ.getPrevOutput(), cCandidate.getGradient(),
                window, window_out, units))
      return false;

続いて分割をおこない、入力データと隠れ状態に由来する候補状態とに誤差勾配を分配します。

誤差勾配を要素ごとの乗算演算に通し、その後それらを連結することで、ZゲートおよびRゲートに対する正しい勾配が得られます。 得られた値を活性化関数の導関数で調整することで、誤差が適切にスケーリングされ、モデルへの過負荷を防ぎます。

   if(!ElementMultGrad(cZ.getOutput(), cZ.getGradient(),
                       PrevOutput, cCandidate.getPrevOutput(),
                       cZ.getPrevOutput(), None, None))
      return false;
   if(!Concat(cZ.getGradient(), cR.getGradient(), cZe_Re.getGradient(),
              window_out, window_out, units))
      return false;
   if(!DeActivation(cZe_Re.getOutput(), cZe_Re.getGradient(), cZe_Re.getGradient(), SIGMOID))
      return false;

チェビシェフ多項式には特に注意を払います。 まず、cHCオブジェクトから取得した以前の勾配を保存します。 次に、calcInputGradientsをcZ_Rに対して呼び出し、その後、蓄積された勾配を慎重に合計します。 これにより、モデルはグラフ内の隣接ノードからの直接的および間接的な影響を考慮でき、グラフ畳み込みの重みを安定して正確に更新できます。

   if(!MatMulGrad(cZ_R.getOutput(), cZ_R.getGradient(),
                  cZ_R_emb.getOutput(), cZ_R_emb.getGradient(),
                  cZe_Re.getGradient(), 1, (window + window_out)*cheb_k,
                  2 * window_out, units, true))
      return false;
   CBufferFloat* temp = Support.getGradient();
   if(!Support.SetGradient(Support.getPrevOutput(), false) ||
      !cZ_R.calcInputGradients(cInpAndHidden.AsObject(), Support) ||
      !SumAndNormilize(temp, Support.getGradient(), temp, Support.GetDimension(), false, 0, 0, 0, 1) ||
      !Support.SetGradient(temp, false))
      return false;

主要な情報フローの処理は、2つの情報経路からの情報を統合し、勾配を生データのレベルへ伝達することで完了します。 その後、活性化関数の導関数を用いて調整します。

   if(!DeConcat(cInpAndHidden.getPrevOutput(), cCandidate.getPrevOutput(),
                cInpAndHidden.getGradient(), window, window_out, units))
      return false;
   if(!SumAndNormilize(NeuronOCL.getGradient(), cInpAndHidden.getPrevOutput(),
                       NeuronOCL.getGradient(), window, false, 0, 0, 0, 1))
      return false;
   if(NeuronOCL.Activation() != None)
      if(!DeActivation(NeuronOCL.getOutput(), NeuronOCL.getGradient(), 
                       NeuronOCL.getGradient(), NeuronOCL.Activation()))
         return false;

次に、埋め込みにも同様の処理をおこないます。cHC_embおよびcZ_R_embを通じて、それぞれの勾配を調整します。 次に、これらの勾配を合計し、すべてのパラメータが一貫して更新されるようにします。

   if(!Embedding.CalcHiddenGradients(cHC_emb.AsObject()))
      return false;
   temp = Embedding.getGradient();
   if(!Embedding.SetGradient(Embedding.getPrevOutput(), false) ||
      !Embedding.CalcHiddenGradients(cZ_R_emb.AsObject()) ||
      !SumAndNormilize(temp, Embedding.getGradient(), temp, cZ_R_emb.GetWindow(), false, 0, 0, 0, 1) ||
      !Embedding.SetGradient(temp, false))
      return false;
//---
   return true;
  }

その結果、calcInputGradientsは、GCRUアーキテクチャ全体に誤差を再分配する洗練されたシステムとなります。 実際には、これは、単に戦略の欠点を特定するだけでなく、時間的・空間的なパターン、資産間の関係、市場イベントに対する反応など、各要素を詳細に分析し、その情報を活用して将来の予測精度を高めるトレーダーのようなものです。 このアプローチにより、モデルの学習プロセスは生き生きとした動的なものとなり、現実の市場の論理に可能な限り近づきます。

ここで、この仕組みの中で一見最も地味に見える部分、つまり重みの更新について見ていきましょう。 しかし、内部ロジックが綿密に練られたアーキテクチャによく見られるように、このシンプルさの裏には、パラメータ管理のための精巧な階層構造が隠されています。 ゲート、チェビシェフ多項式、行列乗算、活性化処理を含む複雑なシステム全体も、結局は、cZ_R_embとcHC_embという、わずか2つの重要なオブジェクトを正しく設定することに帰着します。 まるで、数十個の歯車からなる複雑な時計仕掛けで、実際にはわずか2つの調整軸だけが機構全体の精度を決めているかのようです。

updateInputWeightsメソッドは、埋め込みオブジェクトが存在するかどうかという、単純ながら基本的な確認から始まります。 このオブジェクトがなければ、更新は意味をなしません。モデルはこのオブジェクトを通じてグラフの空間的・意味的な関係を吸収するからです。 オブジェクトが存在しない場合、メソッドは直ちに終了し、false を返します。

bool CNeuronHimNetGCRU::updateInputWeights(CNeuronBaseOCL *NeuronOCL,
                                           CChebPolinom *Support,
                                           CNeuronBaseOCL *Embedding)
  {
   if(!Embedding)
      return false;
//---
   if(!cZ_R_emb.UpdateInputWeights(Embedding))
      return false;
   if(!cHC_emb.UpdateInputWeights(Embedding))
      return false;
//---
   return true;
  }

その後、制御は2つの主要な学習可能パラメータの格納先に渡されます。まず、Z-Rブロックを担う重み(cZ_R_emb)が更新され、続いてH-C候補ブロックを担う重み(cHC_emb)が更新されます。 2回のUpdateInputWeights呼び出しは順次実行され、2本の精密な調整ネジのように、それぞれが計算ノード内の担当部分に作用します。

この簡潔さは、適切なアーキテクチャ設計の成果であることを強調しておきます。 その他のすべての層、中間バッファ、およびゲートは、誤差逆伝播の過程ですでに勾配を受け取っています。 ここでは、実質的に、モデルの長期的な挙動を実際に決定づけるパラメータに対して、これらの変更を適用するよう指示を出していることになります。 言い換えれば、前述のcalcInputGradientsメソッドを過去の誤りの原因を分析することに例えるなら、updateInputWeightsは取引システムを調整する行為に相当します。単に結論を導き出すだけでなく、その結論を設定に反映させることで、明日の予測をより正確かつ安定したものにするのです。

このアプローチにより、アーキテクチャは効率的であるだけでなく、予測可能にもなります。わずか2か所で変更を加えるだけで、その完全性と一貫性を維持しつつ、膨大な計算チェーンを制御することが可能になるのです。

今日はかなり作業が進んだので、ここで少し休憩を取るのにちょうどよいタイミングです。 次の記事では、この続きを進めていきます。 実装を最後まで仕上げ、始めたことを完結させましょう。その後、実際の過去データでテストし、理論が実践でどのように機能するかを確認しましょう。



結論

本記事では、アーキテクチャ全体の主要な構成要素の一つに焦点を当て、内部接続の形成から誤差勾配の伝播の仕組み、そしてパラメータ更新の手順に至るまで、その動作を段階的に分析しました。 一見すると独立しているような個々のモジュールが、一つのリズムで連携し始め、実際の市場環境下での学習と運用に対応できる、一体的な構造を形成していく様子を確認しました。 特に強調すべきなのは、このように整然と構成されたシステムが、学習可能パラメータを持つわずか2つのオブジェクトに依存している点です。これにより、システムはコンパクトになるだけでなく、制御時の挙動も予測しやすくなります。

現段階では、将来の計算チェーンを構成する要素がほぼ完成しており、実際の取引データの処理に耐えられる状態になっています。 次の記事では、決定的な一歩を踏み出します。すべてのコンポーネントを単一の構造に統合し、過去の時系列データを用いて本格的なテストを実施します。そして、開発したアルゴリズムが、過去のパターンを再現するだけでなく、刻々と変化する市場の流れにどの程度確実に対応できるのかを検証します。


参考文献


本記事で使用したプログラム

# 名前 種類 説明
1 Study.mq5 EA モデルのオフライン学習用EA
2 StudyOnline.mq5 EA モデルのオンライン学習用EA
3 Test.mq5 EA モデルテスト用EA
4 Trajectory.mqh クラスライブラリ システム状態とモデルアーキテクチャを記述するための構造
5 NeuroNet.mqh クラスライブラリ ニューラルネットワークを作成するためのクラスライブラリ
6 NeuroNet.cl ライブラリ OpenCLプログラムコードのライブラリ


MetaQuotes Ltdによってロシア語から翻訳されました。
元の記事: https://www.mql5.com/ru/articles/19250

添付されたファイル |
MQL5.zip (3013.86 KB)
EAのサンプル EAのサンプル
一般的なMACDを使ったEAを例として、MQL4開発の原則を紹介します。
市場シミュレーション:MQL5でのSQL入門(III) 市場シミュレーション:MQL5でのSQL入門(III)
前回の記事では、基本的な機能を提供するクラスをMQL5で実装する例を見てきました。 その目的は、具体的には、SQLコードを別のスクリプトファイルに保存できるようにすることにあります。 こうすれば、MQL5のソースコード内で同じSQL文を文字列リテラルとして記述する必要がなくなります。 この解決策は機能してはいますが、改善できる点、また改善すべき点がいくつかあります。
エラー 146 (「トレードコンテキスト ビジー」) と、その対処方法 エラー 146 (「トレードコンテキスト ビジー」) と、その対処方法
この記事では、MT4において複数のEAの衝突をさける方法を扱います。ターミナルの操作、MQL4の基本的な使い方がわかる人にとって、役に立つでしょう。
市場シミュレーション:MQL5でのSQL入門(II) 市場シミュレーション:MQL5でのSQL入門(II)
多くの人は、SQLコードは他のコードに簡単に埋め込むことができると考えていますが、実際にはそうではないことがほとんどです。 SQLコードが文字列として実行ファイルに埋め込められるためです。 SQLコードを文字列として埋め込んでも、短いコード片であれば問題ありませんが、後々かなりの頭痛の種になる可能性があります。