記事「不一致問題(Disagreement Problem):AIにおける複雑性の説明可能性を深く掘り下げる」についてのディスカッション

 

新しい記事「不一致問題(Disagreement Problem):AIにおける複雑性の説明可能性を深く掘り下げる」はパブリッシュされました:

説明可能性という波乱の海を航海しながら、人工知能(AI)の謎の核心に飛び込みましょう。モデルがその内部構造を隠す領域において、私たちの探求は、機械学習の回廊にこだまする「不一致問題」を明らかにします。

不一致問題は、説明可能なAI(XAI、eXplainable Artificial Intelligence)として知られる学際的な分野での未解決の研究領域です。説明可能なAIは、モデルがどのように判断に至るかを理解する手助けをしようとするものですが、残念ながら言うは易くおこなうは難しです。 

機械学習モデルや利用可能なデータセットが大規模化し、複雑化していることは周知の事実です。実のところ、機械学習アルゴリズムを開発するデータサイエンティストは、ありとあらゆるデータセットにおけるアルゴリズムの挙動を正確に説明することはできません。  説明可能なAI (XAI)は、モデルに対する信頼を築き、その機能を説明し、モデルが本番環境に配備できる状態であることを検証するのに役立ちます。有望に聞こえるかもしれませんが、この記事では、説明可能なAI技術の適用から得られるかもしれない説明を盲目的に信用できない理由を読者に示します。 

作者: Gamuchirai Zororo Ndawana

 
残念ながら、この説明は、予測変数の重要度が時間の経過とともに変化しない定常的な依存関係に対してのみ有効である。このような予測変数は、花や花弁の数などでは簡単に入手できるが、金融市場では入手が難しい。
さらに、最新のモデルは、ある属性の関与を独立に無効にすることができる。
 
Maxim Dmitrievsky 無効にする ことができる。
実際、金融データセットの予測因子を得るのは非常に難しい。実際、私の頭の中にある唯一の実行可能な解決策は、手元のデータを使って新しいターゲットを作成し、そうすることで新しいターゲットのすべての予測因子を得ることである。例えば、チャートにボリンジャーバンドを適用した場合、価格は4つの状態になります。ボリンジャーバンドの完全に上、上限バンドと中間バンドの間、下限バンドより上だが中間バンドより下、または完全に下。これらを状態1、2、3、4と定義すれば、価格そのものの変化を予測するよりも高い精度で、市場の将来の状態を予測することができます。

州


私がトレーニングしたモデルでは、市場の現在の状態だけでも十分なデータであり、OHLCとボリンジャーバンドの読み取り値を追加しても、精度や安定性はそれほど向上しません。上のスクリーンショットでは、LDA分類器を訓練して証券の次の状態を予測しましたが、このアプローチの主な欠点は、途中で予測可能性が失われる可能性があることです。例えば、モデルが価格が状態1のままであると予測した場合、価格が上昇するのか下降するのかわかりません。これが今のところ私が思いつく唯一の解決策で、今あるデータを使って新しいターゲットを作ることで、その関係が存在することを知ることができます。

 
Gamuchirai Zororo Ndawana #:
私が思いつく唯一の解決策は、利用可能なデータを使用して新しいターゲットを作成し、新しいターゲットのためのすべての予測子を取得することです。例えば、チャートにボリンジャーバンドを適用すると、価格は4つの状態になります。ボリンジャーバンドの完全に上、上バンドとミドルバンドの間、下バンドより上だがミドルバンドより下、または完全にバンドより下。これらの状態を1、2、3、4と定義すれば、価格そのものの変化よりも高い精度で将来の市場の状態を予測できる。


私がトレーニングしたモデルでは、現在の市場状態だけでも十分で、OHLCとボリンジャーバンドの読み取りを追加しても、精度と安定性はそれほど向上しません。上のスクリーンショットでは、LDA分類器をトレーニングして、証券の次の状態を予測しています。このアプローチの主な欠点は、途中で整合性が失われる可能性があることです。例えば、モデルが価格が状態1にとどまると予測した場合、価格が上昇するのか下降するのかわかりません。

この惨めで前時代的なBBのコードを読むべきだよ。またカビの生えたしょぼいマスクが、標準偏差を計算しようとしている......。

 
Alexey Volchanskiy #:

この惨めな、前時代的なBBのコードを読むべきだよ。でもまだ、 \MQL5Indicators﹑Examples﹑BB.mq5にある。またカビの生えたしょぼいマスクが、標準偏差を計算しようとしている......。

RSIのインジケーターのコードを、ご指定のExamplesのパスで読んでみたことがあるのですが、正直読みにくくて、何をやっているのかよくわかりませんでした。
Vortexインジケータのような最新のインジケータは、古典的なインジケータの限界を克服していると思いますか?それとも、テクニカル・インジケータのほとんどが、かなりのノイズの中で計算され最適化される必要のあるパラメータに依存しているため、この問題はテクニカル・インジケータ固有のものなのでしょうか?