Discussão do artigo "Critério de Independência de Hilbert-Schmidt (HSIC)" - página 4

 
fxsaber #:

A complexidade computacional do HSIC é muitas ordens de magnitude (com verificações de significância) maior do que a do Pearson, portanto, eu esperava um resultado diferente.

Se os incrementos são independentes, mas suas somas são subitamente "dependentes", esse é um resultado estranho para um critério que consome muitos recursos, mesmo em teoria.

Uma série obtida como uma soma de iid não se torna dependente, ela perde a propriedade de estacionariedade e não permite o uso de critérios estatísticos. Ou seja, é formalmente possível calculá-los para essas séries, mas eles não farão sentido. Portanto, para obter um resultado significativo, é necessário observar as condições impostas a esses critérios. Por exemplo, para a correlação, precisamos de uma variância constante. No caso de uma série Gaussiana SB, a variância cresce linearmente com o tempo, ou seja, não é uma constante, daí a "dependência" da ACF = 0,99, daí a "dependência" do HSIC, etc.

 
fxsaber #:

Há uma boa e velha classificação de Spearman para não linearidade. Ainda assim, o artigo é mais sério.

O Spearman é mais fraco. Ele não encontrará muitas relações não lineares. Além disso, ele serve apenas para comparar duas quantidades escalares.

 
Dmitry Fedoseev iClose(character1) e iClose(character2) para compará-los?

Eu queria fazer uma comparação com Pearson. No código, Pearson conta com (X1, Y) e com (X2, Y) - independentemente.
E então, ao calcular hsic_Gamma_test(), X1 e X2 são colocados em uma matriz.... e é realizado algum "emparelhamento místico" da matriz X (de duas colunas) com a matriz Y de uma coluna
.

O hsic_Gamma_test() não pode ser calculado dessa forma , em duas linhas unidimensionais? Bem, ou
não o hsic_Gamma_test(), mas pelo menos algo que é o assunto deste artigo.

É claro que tentei criar uma coluna em X... algo contado... algum resultado
está lá..... Mas o que é isso? Se soubéssemos o que é, e não sabemos o que é.....

O coeficiente de correlação é contado independentemente para cada quantidade porque ele compara duas variáveis aleatórias escalares, mas o HSIC trabalha com pares:

  • escalar vs. escalar
  • escalar vs vetor
  • vetor vs vetor
Portanto, você pode comparar dados univariados e multivariados, essa é sua principal vantagem.

Se você apenas calculasse a correlação, concluiria que os dados são independentes, mas o HSIC conseguiu detectar uma relação não linear. Isso não é suficiente?

É que muitas vezes se afirma que há relações não lineares em dados de ações que são muito difíceis de detectar. Bem, o HSIC é uma ferramenta para detectar quantitativamente essas relações.
 
Evgeniy Chernish #:

A série obtida como a soma de iid não se torna dependente, perde a propriedade de estacionariedade e não permite o uso de critérios estatísticos.

Duvido que isso deva ser aceito com relação a critérios computacionalmente muito pesados.


Na ausência de perda de informações, as transformações não devem afetar o resultado da estimativa de dependência.

Fórum sobre negociação, sistemas de negociação automatizados e teste de estratégias de negociação

Discussão do artigo "Critério de independência de Hilbert-Schmidt (HSIC)"

fxsaber, 2025.05.13 05:46 pm.

Afirmação.

Se após a transformação das séries (sem perda de informações - podemos retornar ao estado inicial) obtivermos independência, então as séries iniciais são independentes.

 
fxsaber #:

Duvido que isso deva ser aceito com relação a critérios computacionalmente muito pesados.


Na ausência de perda de informações, as transformações não devem afetar o resultado da avaliação de dependência.

Infelizmente, isso é verdade para a maioria dos métodos estatísticos, tanto complexos quanto mais simples. Ou seja, 95% dos métodos de MO são baseados em suposições de iid (exceto ARIMA, redes neurais dinâmicas, modelos ocultos de Markov etc.). É necessário lembrar-se disso, caso contrário, faremos bobagem.

 
Evgeniy Chernish #:

95% dos métodos de IO são baseados em suposições de iid

Acho que há tentativas de criar um critério de dependência por meio do MO - a mesma abordagem, mas apenas o próprio critério em um arquivo ONNX.

 
fxsaber #:

Acho que há tentativas de criar um critério de dependência por meio do MO - a mesma abordagem, mas apenas o critério em si em um arquivo ONNX.

Os modelos MO aprendem a fazer uma previsão e, se essa previsão for melhor do que a previsão "ingênua", concluímos que há uma relação nos dados. Ou seja, é uma detecção indireta de uma relação, sem teste de significância. O critério de independência, por sua vez, não faz nenhuma previsão, mas fornece confirmação estatística das dependências detectadas. É uma espécie de dois lados da mesma moeda. O pacote R tem uma implementação do critério dHSIC mais geral. Ele inclui a implementação que forneci para a independência em pares e estende o teste para a independência conjunta.

[Excluído]  
Por meio do cv, você pode calcular a significância. Outra coisa é que o onnx está fora de cogitação aqui, porque ele serve para transferir modelos treinados, não os algoritmos em si.