記事「取引におけるニューラルネットワーク:相対エンコーディング対応Transformer」についてのディスカッション

 

新しい記事「取引におけるニューラルネットワーク:相対エンコーディング対応Transformer」はパブリッシュされました:

自己教師あり学習は、ラベル付けされていない大量のデータを分析する効果的な手段となり得ます。この手法の効率性は、モデルが金融市場特有の特徴に適応することで実現され、従来手法の有効性も向上します。本記事では、入力間の相対的な依存関係や関係性を考慮した新しいAttention(注意)機構を紹介します。

モデルをゼロから学習させるのではなく、まずラベルなしの大規模データで事前学習をおこない、その後に特定のタスク向けにファインチューニングするというアプローチに移行することで、新たに大量のデータを収集することなく、高精度な予測が実現可能となります。たとえば、金融データに適応されたTransformerアーキテクチャをベースとしたモデルは、資産間の相関性や時間的依存性などの情報を活用することで、より正確な予測が可能になります。代替的なAttention機構を導入することで、重要な市場の相関関係を考慮でき、モデルの性能が大幅に向上します。これにより、手動調整や複雑なルールベースモデルへの依存を減らしつつ、新たな取引戦略の開発が可能になります。

そのような代替的Attentionアルゴリズムの一つが、論文「Relative Molecule Self-Attention Transformer」で紹介されました。著者らは、分子グラフに対する新しいSelf-Attention(自己注意)式を提案しており、さまざまな入力特徴量を精密に処理することで、多くの化学領域において高精度かつ高信頼性を実現しています。Relative Molecule Attention Transformer (R-MAT)は、Transformerアーキテクチャに基づく事前学習済みモデルであり、距離や近傍情報を効果的に統合するRelative Self-Attentionの新しいバリエーションを表しています。R-MATは、さまざまなタスクにおいて最先端の競争力ある性能を発揮しています。


作者: Dmitriy Gizlyk