記事「取引におけるニューラルネットワーク:Adaptive Graph Diffusionモデル(Attentionモジュール)」についてのディスカッション

新しい記事「取引におけるニューラルネットワーク:Adaptive Graph Diffusionモデル(Attentionモジュール)」はパブリッシュされました:

SAGDFNフレームワークの主要な構成要素の実装について、詳しく見ていきます。 時系列予測のために、Sparse Attentionと重要な近傍の選択をどのように構成するかを示します。 ここで紹介する手法は、予測精度と計算効率のバランスを取っています。

最も重要な接続を選択する仕組みであるSignificant Neighbors Samplingモジュールのアルゴリズムを無事に実装できたので、次の自然なステップは、データの準備から、より深い分析と変換へと進むことです。 今日はまず、すでに選択した近傍から構造的なパターンを抽出するための重要なツールとなる、スパース空間Multi-Head Attentionモジュールのアルゴリズム開発から始めます。

このモジュールは、一種の「スマートなふるい」として機能し、情報を処理するだけでなく、全体的な文脈を見失うことなく、真に重要な空間的接続に集中するようモデルのAttentionを誘導することもできます。 このモジュールはMulti-Head Attention機構を使用しますが、従来のアプローチとは異なり、フレームワークの著者らはこれをスパース形式で実装しています。 これにより、解析の品質を損なうことなく、計算負荷を大幅に軽減することが可能になります。 したがって、各データストリームは、単一の重み行列ではなく、より効率的でありながら選択的に情報を強化するAttentionネットワークを通過し、そこでは各Attention Headが独自のフィルタリングと強調の役割を果たします。

実際の実装に着手する前に、フレームワークの著者らが提案したアルゴリズムをどのように実装していくかというビジョンを概説し、特にAttentionを払うべき重要なポイントを特定しておくことが重要です。 このフレームワークの開発者たちは、かなり直感的でわかりやすいアプローチを提案しています。 グラフを構築するために、著者らは各要素の埋め込みを、Significant Neighbors Samplingモジュールで事前に選択された、その要素に最も近い近傍の埋め込みとペアごとに連結します。 次に、そのような各ペアをコンパクトな全結合モデルで処理し、接続の次の段階の表現を生成します。


作者: Dmitriy Gizlyk