記事「取引におけるニューラルネットワーク：高精度分類のための効果的な特徴量抽出(Mantis)」についてのディスカッション

[MetaQuotes]

新しい記事「取引におけるニューラルネットワーク：高精度分類のための効果的な特徴量抽出(Mantis)」はパブリッシュされました:

Transformerアーキテクチャを基盤とし、対照学習による事前学習とハイブリッドアテンションを備えた、軽量な時系列分類向け基盤モデル、Mantisを紹介します。最高水準の精度とスケーラビリティを実現します。

Mantisフレームワークは、よく考えられたアーキテクチャと綿密な学習によって、一連のアイデアを信頼性の高いツールへと変えられることを示しています。このフレームワークの著者らが提示した基盤モデルのアプローチは、4つの主要な柱に基づいています。時系列のトークン化、ハイブリッドアテンション、多変量データ向けのアダプタ、そして自己教師あり対照学習による事前学習と、その後のキャリブレーションです。

Mantisの基本的な考え方は、時系列を固定されたウィンドウに分割する従来の方法から離れることです。その代わりに、系列を固定数のパッチに分割します。これにより、入力系列の長さに依存しなくなり、計算コストも安定します。たとえば、長さ1024と2048の系列は、どちらも同じ32個のパッチへ変換されます。この方法は、異種の時系列を大規模に処理するうえで非常に重要です。

埋め込みはいくつかの段階で形成されます。まず、出力チャネル数256の畳み込み層を適用します。この層によって時系列は、よりコンパクトな潜在表現へ変換されます。次に、32個の各パッチに対して平均化(mean pooling)をおこない、次元(32, 256)のテンソルを得ます。各パッチは、ピーク、変動、価格変動のマイクロストラクチャを含む、時系列の局所的特徴を表現します。

これと並行して、2つ目のデータストリームである差分ストリームを作成します。これは時系列の隣接する値の一次差分に基づきます。この変換は長期的なトレンドを取り除き、短期的なダイナミクスに関連するシグナルを強調するのに役立ちます。一定水準からの逸脱や、サポートおよびレジスタンス付近での急激な動きに関心がある状況では、特に有効です。

両方のストリームには、同じ処理が適用されます。畳み込み、平均化、正規化です。その結果、それぞれ256次元の32個のトークンを含む2組のパッチが得られます。これにより、モデルは信号の形状と時間経過に伴う変化の両方に関するバランスの取れた情報を得ることができる。

作者: Dmitriy Gizlyk