記事「ヒルベルト=シュミット独立性基準(HSIC)」についてのディスカッション - ページ 4

 
fxsaber #:

HSICの計算複雑さはピアソンより(有意性チェックを含めて)何桁も高いので、私は違う結果を期待していた。

もし増分が独立であるにもかかわらず、それらの合計が突然「依存」になるのであれば、これは理論的にも、このような資源集約的な基準としては奇妙な結果である。

iidの和として得られた系列は従属にならず、定常性の性質を失い、統計的基準を使うことができない。つまり、このような系列に対して統計的基準を計算することは形式的には可能だが、無意味な結果を生むことになる。したがって、意味のある結果を得るためには、そのような基準に課された条件を守る必要がある。例えば、相関のためには一定の分散が必要である。ガウシアンSB系列の場合、分散は時間とともに直線的に成長する、つまり、それは一定ではなく、それゆえACF = 0.99の「依存性」、それゆえHSICの「依存性」などがある。

 
fxsaber #:

非直線性については、古き良きスピアマンのランクがある。それにしても、この記事はもっと深刻だ。

スピアマンは弱い。多くの非線形の関係を見つけることはできない。それに、スピアマンは2つのスカラー量を比較するためのものだ。

 
Dmitry Fedoseev iClose(character1)とiClose(character2)のデータを比較するにはどこに置けばいいの?

ピアソンとの比較をしたかった。このコードでは、Pearsonは(X1, Y)と(X2, Y)を独立にカウントします。
そして、hsic_Gamma_test()を計算するとき、X1とX2は1つの行列に押し込まれます。そして(2列の)行列Xと1列の行列Yの「神秘的なペアリング」が

hsic_Gamma_test()は、1次元の2行にわたって計算することはできないのでしょうか?あるいは、
hsic_Gamma_test()ではなく、少なくともこの記事の主題である何かである。

もちろん、1列をXにしてみた・・・何かカウントされた・・・何か結果が出た・・・
。しかし、それは何なのか?もしそれが何なのかわかっていたら、そしてそれが何なのかわかっていなかったら......。

相関係数は2つのスカラー確率変数を比較するため、各量について独立にカウントされるが、HSICはペアを扱う:

  • スカラー対スカラー
  • スカラー対ベクトル
  • ベクトル対ベクトル
ですから、一変量と多変量の両方のデータを比較することができます。それがHSICの主な利点です。

相関を計算しただけなら、データは独立であると結論づけられるでしょうが、HSICは非線形関係を検出することができました。

ただ、株式データには非線形の関係があると主張されることがよくありますが、それを検出するのは非常に困難です。HSICはこのような関係を定量的に検出するツールなのです。
 
Evgeniy Chernish #:

iidの総和として得られる系列は従属性を持たず、定常性の特性を失い、統計的基準を用いることができない。

計算負荷の高い基準に関して、このようなことが許されるのか疑問である。


情報損失がなければ、変換は依存性の推定結果に影響を与えないはずである。

取引、自動取引システム、取引戦略のテストに関するフォーラム

論文 "Hilbert-Schmidt Independence Criterion (HSIC)" の議論

fxsaber、2025.05.13 05時46分。


系列を変換した後に(情報を失うことなく - 我々は最初の状態に戻ることができます)独立性が得られる場合は、最初の系列は独立している。

 
fxsaber #:

計算が超重要な基準に関して、これが受け入れられるかどうかは疑問だ。


情報損失がなければ、変換は依存性評価の結果に影響を与えるべきではない。

残念ながら、これは複雑なものであれ単純なものであれ、ほとんどの統計的手法に当てはまります。つまり、MO手法の95%は同値の仮定に基づいている(ARIMA、ダイナミック・ニューラル・ネットワーク、隠れマルコフモデルなどを除く)。このことを覚えておかないと、おかしなことになる。

 
Evgeniy Chernish #:

IO手法の95%はIIDの仮定に基づいている

MOを使って依存性基準を作ろうとする試みがあると思うが、同じアプローチで、ONNXファイルに基準そのものを入れるだけだ。

 
fxsaber #:

MOを使って依存性の基準を作ろうとする試みがあると思うが、同じアプローチで、基準そのものをONNXファイルに入れるだけだ。

MOモデルは予測を行うように学習し、この予測が「素朴な」ものよりも優れていれば、データに関係があると結論づける。つまり、有意性検定なしで間接的に関係を検出するのである。独立性基準は、予測はしないが、検出された従属性を統計的に確認するものである。これは同じコインの裏表のようなものである。Rパッケージには、より一般的なdHSIC基準の実装があります。これは、私が対独立性のために与えた実装を含み、さらに共同独立性へと検定を拡張します。

削除済み  
cvを通して有意性を計算することができる。もうひとつは、onnxはアルゴリズムそのものではなく、訓練されたモデルを転送するためのものなので、ここでは使えないということだ。