記事「機械学習の限界を克服する（第1回）：相互運用可能な指標の欠如」についてのディスカッション

新しいコメント
 

新しい記事「機械学習の限界を克服する（第1回）：相互運用可能な指標の欠如」はパブリッシュされました:

私たちのコミュニティがAIをあらゆる形態で活用した信頼性の高い取引戦略を構築しようとする努力を、静かに蝕んでいる強力で広範な力があります。本稿では、私たちが直面している問題の一部は、「ベストプラクティス」に盲目的に従うことに根ざしていることを明らかにします。読者に対して、実際の市場に基づくシンプルな証拠を提供することで、なぜそのような行動を避け、むしろドメイン固有のベストプラクティスを採用すべきかを論理的に示します。これによって、私たちのコミュニティがAIの潜在的な可能性を回復するチャンスを少しでも持てるようになるのです。

想像してみてください。あなたは宝くじスタイルのコンペティションに参加しています。あなたと他の99人の参加者がランダムに選ばれ、1,000,000ドルのジャックポットを競います。ルールはシンプルで、他の99人の身長を予測することです。勝者は、99人の予測の合計誤差が最も小さい人です。

さて、ここでひとつひねりを加えます。この例では、世界の平均身長が1.1メートルだと仮定します。もし単純に全員に対して1.1メートルと予測した場合、技術的にはすべての予測が間違っていても、実際にジャックポットに当たる可能性があります。なぜでしょうか。ノイズや不確実性の高い環境では、平均値を予測することが総合的な誤差を最小化する傾向があるからです。


作者: Gamuchirai Zororo Ndawana

 

「しかし、私たちの戦略は、挽回し、軌道に乗り続ける能力を示している。

私はいつも、人が努力すべきは利益を生み出す戦略だと考えている :)

 
Maxim Dmitrievsky #:

「しかし、我々の戦略は挽回し、軌道に乗る能力を示している。

私は常々、利益をもたらすために戦略を努力すべきだと思っています :)

しかし、残念ながら、利益と損失の違いを考慮した標準化された機械学習の指標はまだありません。
 

記事をありがとう、@Gamuchirai Zororo Ndawana

最終的な目標は収益性であるという@Maxim Dmitrievsky氏の 意見に同意します。回復して軌道に乗る」という考え方は、堅牢性とドローダウンの抑制として理にかなっていますが、利益に取って代わるものではありません。

指標について：PnLを意識した標準的なML指標がないのは事実ですが、実際には、シャープ、ソルティーノ、カルマー、プロフィットファクター、最大DD、さらにPnLとコスト（コストと回転率）を組み込んだ強化学習（RLスタイル）の非対称損失や報酬でモデルが検証されています。

技術的に、私は記事の2つの重要なポイントを見直す。
  • 例には先読みバイアス（i + HORIZONを使った特徴）が含まれており、これは評価を無効にしている；
  • 2つのラベルは構造上非対称であるため、「合計がゼロになる」というDRSテストはトートロジーであり、市場理解を証明するものではない。


実践的な提案：ウォーク・フォワード・テスト、コストとスリッページ、非対称または分位損失または効用ベースの目標、平均抱擁を避けるために回転率にペナルティを課す。(実際的な考え方: 損失を儲け方に合わせる。)
 

そうですね：そうですね。しかし残念ながら、利益と損失の違いを認識できる標準化された機械学習の指標はまだありません。

回答損益欄が存在するのは、バックテストした商品 または平坦な市場が、この注文ラインに続くポートフォリオまたはインデックスのバスケットに対して使用しているフォワード市場と同程度に優れている場合のみです。

このような使用目的のために作られたダウ・ジョーンズ30指数や他の多くの指数のように、このような結果や利益率を生み出す指数や新しく設立されたETFがあります。 ピーター・マティ

 
Miguel Angel Vico Alba # :

記事をありがとう、 @Gamuchirai Zororo Ndawana

最終的な目標は収益性であるという @Maxim Dmitrievsky氏の 意見に同意します。回復して軌道に乗るという考え方は、堅牢性とドローダウンの抑制のためには理にかなっているが、利益には代えられない。

指標について：PnLを考慮した標準化されたMLの指標がないのは事実ですが、実際には、シャープ、ソルティーノ、カルマー、ウィンファクター、マックスDD、さらにPnLとコスト（費用と収益）を含む強化学習（RLスタイル）の非対称損失や報酬を使用してモデルが検証されています。

技術的な観点から、私はこの記事の2つの重要な点をチェックしたい。
  • 例にはルックアヘッド・バイアス（i + HORIZONの特徴）が含まれており、これは評価を無効にする；
  • DRSテストは、「合計がゼロになる」テストであるが、2つの項が設計上非対称であるため、トートロジーである。
とはいえ、リターンのRMSEやMAEに基づいて選択しないというアドバイスは有用である。実践的な提案ウォーク・フォワード・テスト、コストとスリッページ、非対称的または分位的な損失ベースまたは利益ベースの目標、平均抱き合わせを避けるための収益へのペナルティ。(実際的なアプローチ: 損失を儲け方に合わせる)

私たちが頼りにしている翻訳ツールは、元のメッセージを捉え損ねているのではないかと思うことがある。あなたの回答は、私が @Maxim Dmitrievskyの 元のメッセージから理解したものよりも、多くの論点を提供している。

ルック・フォワード・バイアス（i + HORIZONを使った機能）における見落としを指摘してくれてありがとう。

また、実際にモデルを検証するために使用される検証尺度についても貴重なフィードバックをいただきました。シャープレシオは普遍的なゴールドスタンダードに似ているはずです。カルマーとソルティーノについては、もっと勉強して意見をまとめる必要があります。

この2つの用語は設計上非対称であり、テストはモデルが非対称のままであるべきであり、この期待からの逸脱はテストに不合格であるということに同意します。片方または両方のモデルに許容できないバイアスがある場合、予測は私たちが期待するような非対称性を保てなくなる。

しかし、利益という概念は、私が問題を強調するために示した簡単な図解に過ぎない。私たちが今日持っているどの指標も、平均ハギングがいつ起こっているかを教えてはくれない。統計学習に関する文献のどれをとっても、なぜミーン・ハギングが起きているのかを教えてくれるものはない。これは、ベストプラクティスの危険性について、もっと多くの会話を始めたいと私が願っている方法の一つに過ぎない。

。この記事は、私たちが集まって、新しいプロトコルを一から設計するための、助けを求める叫びのようなものだった。新しい基準。オプティマイザーが直接取り組む、我々の関心に合わせた新しい目標。

新しいコメント