記事「取引におけるニューラルネットワーク:対照パターンTransformer」についてのディスカッション

 

新しい記事「取引におけるニューラルネットワーク:対照パターンTransformer」はパブリッシュされました:

Contrastive Transformerは、個々のローソク足のレベルと、全体のパターンに基づいて市場を分析するよう設計されています。これにより、市場トレンドのモデリングの質が向上します。さらに、ローソク足とパターンの表現を整合させるために対照学習を用いることで、自己調整が促され、予測の精度が高まります。

機械学習を用いて市場状況を分析する際、私たちはしばしば個々のローソク足とその属性に注目し、より意味のある情報を提供することが多いローソク足パターンを見落としがちです。パターンは、似たような市場環境下で現れる安定したローソク足構造を表し、重要な行動傾向を明らかにすることができます。

以前、分子特性予測の分野から着想を得たMolformerフレームワークを検討しました。Molformerの著者らは、原子とモチーフの表現をひとつのシーケンスに統合し、分析対象データの構造情報にモデルがアクセスできるようにしました。しかし、このアプローチには、異なる種類のノード間の依存関係を分離するという複雑な課題が伴います。幸いにも、この問題を回避する代替手法が提案されています。

その一例が、論文「Atom-Motif Contrastive Transformer for Molecular Property Prediction」で紹介されているAtom-Motif Contrastive Transformer (AMCT)です。2 つのレベルの相互作用を統合し、分子の表現能力を高めるために、 AMCTの著者らは、原子とモチーフの表現間の対照学習を提案しました。原子とモチーフの表現は、実質的に同一の対象(分子)の異なる視点であるため、学習中に自然に整合します。この整合により、相互に自己教師ありのシグナルを提供できるようになり、学習された分子表現のロバスト性が向上します。


作者: Dmitriy Gizlyk

 
ご苦労様でした。次の記事を首を長くして待っています。
 
コンパイルエラーを解決した後、テスターエラーがあり、頭全体が燃えている、どこで問題を解決するために把握することはできません。