記事「独自のLLMをEAに統合する(第5部):LLMs(II)-LoRA-チューニングによる取引戦略の開発とテスト」についてのディスカッション

 

新しい記事「独自のLLMをEAに統合する(第5部):LLMs(II)-LoRA-チューニングによる取引戦略の開発とテスト」はパブリッシュされました:

今日の人工知能の急速な発展に伴い、言語モデル(LLM)は人工知能の重要な部分となっています。私たちは、強力なLLMをアルゴリズム取引に統合する方法を考える必要があります。ほとんどの人にとって、これらの強力なモデルをニーズに応じてファインチューニング(微調整)し、ローカルに展開して、アルゴリズム取引に適用することは困難です。本連載では、この目標を達成するために段階的なアプローチをとっていきます。

前回の記事では、GPT-2の事前学習済みモデルを、独自の金融データを用いてフルパラメータのファインチューニングをおこなう方法を紹介し、モデルの出力結果を評価しました。今回および次回の記事では、さらに別のファインチューニング手法について、コード例を交えながら解説します。ただし、前回紹介したファインチューニング手法に限定し、すべての方法を網羅するのではなく、よく使われる方法をいくつか選んで実装します)。本記事では、LoRAチューニング手法を例として取り上げます。

さらに、これらの異なるファインチューニング手法で学習したモデルを横断的に比較し、現時点での対象通貨ペアにおいて最もパフォーマンスの良いモデルを見つけることも課題の1つです(もちろん、モデルのパフォーマンスは、上昇トレンド、下降トレンド、横ばいトレンドなど、市場環境によっても変化する可能性があります)。この比較により、実運用において、どのモデル訓練手法を選択すればより良い結果が得られるかを明確にすることができます。さらに厳密を期す場合、これらの異なる手法を比較するだけでなく、異なるデータ処理法やファインチューニング法を組み合わせた場合の、異なる通貨ペアのモデル性能を比較することも重要です。これは一見シンプルですが、非常に手間のかかる作業です。しかし、取引に本当に応用するならば、このステップは非常に重要だと考えます。とはいえ、本記事では誰でも簡単に応用・拡張可能な内容を目指しているため、この部分についての詳細な説明は割愛します。具体的には、学習データを他の通貨ペアに置き換えることで、モデルの性能を横断的に比較するだけです。手間がかかりますが、技術的には容易に実現可能です。

作者: Yuqiang Pan