Estatísticas de dependência entre aspas (teoria da informação, correlação e outros métodos de seleção de características) - página 13

 

Não, o problema não mudou. É apenas um problema atômico, indivisível. E para obter o quadro geral, você tem que digitalizar também a variável Lag.

Posso postar trechos de meus resultados de alguns meses atrás (mas os tenho em forma de texto). Não se trata de informação mútua, como o iniciador do tópico fez, mas sim de freqüências Matrix. Há também os resultados do cálculo da estatística do "teste qui-quadrado para independência de variáveis" (na época eu não sabia o que era informação mútua, mas já estava preocupado com uma medida comum de dependência de variáveis e experimentei com critérios diferentes). No entanto, estes números também não são nada enfadonhos.

Vou publicá-los amanhã (bem, quero dizer hoje, mas mais tarde), porque não tenho acesso ao computador em que estava calculando.

P.S. Isto não tem nada a ver com "regressão universal etc.": (18) é uma abordagem grosseiramente mecanicista do preço, enquanto aqui é fundamentalmente estatística.

 
Mathemat:

Não, o problema não mudou. É apenas um problema atômico, indivisível. E para obter o quadro geral, você tem que digitalizar também a variável Lag.

Posso postar trechos de meus resultados de alguns meses atrás (mas os tenho em forma de texto). Não se trata de informação mútua, como o iniciador do tópico fez, mas sim de freqüências Matrix. Há também os resultados do cálculo da estatística do "teste qui-quadrado para independência de variáveis" (na época eu não sabia o que era informação mútua, mas já estava preocupado com uma medida comum de dependência de variáveis e experimentei com critérios diferentes). No entanto, estes números também não são nada enfadonhos.

Vou publicá-los amanhã (quero dizer hoje, mas mais tarde), pois não tenho acesso ao computador no qual os cálculos foram feitos no momento.

P.S. Isto não tem nada a ver com "regressão universal etc.": (18) é uma abordagem grosseiramente mecanicista do preço, enquanto aqui é fundamentalmente estatística.

(18) no modo ATS dá, mesmo que ruim, mas o resultado, sem usar paradas e TP, e trazer sua bela abordagem estatística para este nível, então vamos comparar.

Ouro de 25.11.2009 até 02.09.2011, H4, 0.1 lote, máximo drawdown 10.32%, MO 27,6

ׂ

 
Mathemat:

Sem argumentos, tudo isso faz sentido. Vamos começar com o ponto 1.

1. "Definir exatamente o que tomamos": Primeiro - a célula de tarefa, depois a indivisível.

Consertar a Lag. inteira. Será a "distância entre barras", ou seja, o módulo de diferença de seus índices em um período de tempo especificado em MT4.

Objetivo: determinar se existe uma relação estatística entre as duas variáveis aleatórias seguintes: 1) o retorno da barra "mestre" com índice sh, e 2) o retorno da barra "escrava" com índice sh+Lag.

Isto é o que tomamos: todos os pares de barras com uma distância entre elas igual a Lag. É extremamente preciso.

Onde e o que há para duvidar? Vamos tratar primeiro do primeiro item. Se funcionar - passemos ao segundo ponto.

É quase uma ACF, mas a fórmula é diferente. ACF é uma parte integrante das estatísticas. É ótimo para procurar por dependências de todos os tipos. Qualquer coisa nova deve começar indicando semelhanças e diferenças com coisas similares conhecidas e bem estabelecidas. Se isto não for feito, a idéia é inegociável nas casas mais dinheirinhas de Londres. É sobre isso que tenho falado ao longo de todo este fio. Você deve sempre começar com um resumo da literatura. Sem circunlóquio - sem bazar na citação de seu posto.

Em seguida, vejo sh, entendo que a ACF é contada a partir de sh=1, não a partir de um lugar arbitrário. Mas existe uma ACF. Como sua sugestão se assemelha ou difere disso. Apenas não ofusque o ponto (dependências na BP) com palavras da TI.

 
faa1947: É quase uma ACF, mas a fórmula é diferente. ACF é uma parte integrante das estatísticas. É ótimo para procurar dependências de todos os tipos.

Não é necessariamente uma ACF. E você está completamente errado sobre a ACF procurando por dependências de todos os tipos. Dê uma olhada na correlação. Há as limitações da análise de correlação perto do final do artigo, onde se encontra a imagem. Foi por isso que desisti da ACF. As correlações lineares entre barras detectadas pela correlação de Pearson são muito fracas e de curta duração.

Você deve sempre começar com um resumo da literatura. Sem circunlóquio - sem bazar na citação de seu posto.

Desta forma, não poderemos nos mover por muito tempo. Mas em geral, concordo com você: ainda é necessário algum tipo de argumentação. Vou pensar sobre isso - se você não estiver satisfeito com a última frase do parágrafo anterior, referente às dependências lineares.

Apenas não ofusque o ponto (dependências na BP) com palavras da TI.

Então você decidiu me proibir de usar a TI para encontrar dependências?

2 yosuf: Eu não vou competir com você. Continue a melhorar sua gorjeta, mas não entre nesta linha, por favor. É uma reflexão posterior aqui.

 
Mathemat:

Encontrei um artigo sobre entropia da informação (Wiki). Citação 1 a partir daí:

Isto é entropia, entropia convencional. É essa a definição que você está interpretando?

Sim, estou disposto a concordar que as letras do alfabeto devem ser estatisticamente independentes para que não haja redundância ou dependências. Isto é aproximadamente o que o arquivador está fazendo, criando um alfabeto que é claramente diferente do alfabeto usado para criar o texto.

Mas não é isso que estamos contando! Com o que estamos contando, a seguir.


A conversa do iniciador do tópico (e a minha também) não foi sobre entropia de informação, mas, maldição, sobre informação mútua (Wiki novamente)!!!

Ainformação mútua é uma função estatística de duas variáveis aleatórias que descreve a quantidade de informação contida em uma variável aleatória em relação à outra.

A informação mútua é definida através da entropia e entropia condicional de duas variáveis aleatórias como [a seguir vem a fórmula para I(X,Y)

Só para ressaltar, decorre dos mesmos pedívios que a fórmula para calcular informações mútuas pode ser a seguinte:

Informações mútuas (entre X e Y) = Entropia (X) - Entropia condicional (entre X e Y)

Isto se não escrevermos fórmulas de aparência assustadora a partir de fontes americanas, mas seguirmos por definições.

Aqui X e Y são dois sistemas diferentes, e há uma dependência entre eles, de X e Y.

Se quisermos a Informação Mútua Total, então é como a do iniciador do tópico:

Informação mútua total (entre X e Y) = Entropia (X) + Entropia (Y) - Entropia do sistema combinado (X e Y)

Por que está escrito "entropia do sistema combinado" e não "entropia condicional", porque na verdade a entropia total do sistema de dois sistemas pode ser independente ou condicional. É claro que se X e Y não estão relacionados, e são independentes, então deve-se contar como probabilidades conjuntas (teorema da adição de entropia), e se há uma conexão, então como condicional.


Agora, para nossos interesses. Como todo este desvio pode ser aplicado ao mercado. Suponha que o modelo seja o seguinte. Existe um sistema X - mercado (alfabeto), tem um número finito e definido de estados (símbolos) que aparecem com uma certa freqüência (probabilidades de símbolo). Há um segundo sistema Y - um registro de cotações. As citações (alfabeto) também têm um conjunto limitado de símbolos com certas freqüências. O que pode ser deduzido de tudo isso?

1. Você precisa conhecer o alfabeto do mercado. Algo sempre acontece lá, compra e vende, alguém vai à bancarrota, alguém vem com dinheiro novo, ocorre uma histeria em massa, etc. Ou seja, o alfabeto é muito vasto e é improvável que seja fácil de descrever.

2. Mesmo que seja possível descrever o alfabeto do mercado, há uma questão sobre a estacionaridade dos processos que ocorrem no mercado. Deve-se entender que a TI está absolutamente orientada para a constância das propriedades.

O alfabeto do segundo sistema, citações. É diferente do alfabeto do mercado. Provavelmente, já está. E você precisa saber qual deles. Se simplesmente dividirmos a gama de mudanças de citações no cronograma em quantis e as transformarmos em alfabeto, o que obtemos. Mais precisamente, será que conseguimos o mapeamento completo ou parcial das informações do alfabeto do mercado para o alfabeto das cotações? Que parte da informação está perdida? Ou talvez nada esteja perdido e o alfabeto do mercado seja apenas redundante. Etc.

 
Mathemat:

Não é quase, ou até mesmo, uma ACF. E você está errado sobre a ACF procurando por dependências de todos os tipos. Veja a correlação. Há as limitações da análise de correlação perto do final do artigo, onde se encontra a imagem. Foi por isso que desisti da ACF. As correlações lineares entre barras detectadas pela correlação Pearson não me interessam, pois são muito fracas e de curta duração.


A elaboração da correlação é seu lado forte, mas ao mesmo tempo, ao lado fraco você atribuiu as limitações conhecidas da correlação. Mas são precisamente estas limitações que nos permitem raciocinar significativamente sobre uma quantidade chamada "ACF", a probabilidade de confiança naquela quantidade, as condições para calcular aquela confiança e, em geral, avaliar a permissibilidade de qualquer raciocínio sobre estas quantidades, dependendo se as limitações de correlação são cumpridas. Mesmo tendo dominado tudo, armado com uma ferramenta, na prática a pessoa encontra sérias dificuldades e cai constantemente na fornicação.

Tente escrever o mesmo sobre o assunto do tópico.

ACF mostra tendências bem concretas, e junto com ChAKF procura por ciclos. E o que procura a "dependência da informação", que tipo de animal é e como aparece entre aspas ou em incrementos? Há muitas publicações sobre a psicologia do mercado, onde se pode encontrar uma explicação da formação de tendências e ciclos, mas qual é a base psicológica da "dependência informacional", em que publicações está escrito? e afeta as citações? Em que base as fotos resultantes podem ser confiáveis? Onde estão as probabilidades de credibilidade do resultado? Onde estão as condições para a aplicabilidade de tudo isso? Apenas perguntas. Este tópico me lembra cada vez mais o tópico com hfenks (se bem me lembro), que também se inclinava inconscientemente sobre o tópico das dependências.

Do ponto de vista da tese, exclusivamente preliminar, há sinais de novidade científica, mas sem comparação com a correlação é tudo lixo vazio (desculpe).

 
HideYourRichess:

Apenas para ressaltar que a fórmula para calcular informações mútuas poderia ser a seguinte: [...]

Por que se escreve "entropia do sistema fundido" e não "entropia condicional", porque de fato a entropia total do sistema de dois sistemas pode ser tanto independente quanto condicional. É claro que se X e Y não estão relacionados e são independentes, deve-se contar como probabilidades conjuntas (teorema da adição de entropia), e se há uma conexão, então como condicional.

Suspeitava que o senhor apontaria isso. Felizmente, em qualquer caso, as fórmulas escritas através de probabilidades (ao invés de entropia) permanecem as mesmas - independentemente do que esteja lá, dependendo do que estiver ou não. Portanto, este raciocínio não acrescenta nada de novo.

Existe um sistema X - mercado (alfabeto), ele tem um número finito e definido de estados (símbolos) que aparecem com uma certa freqüência (probabilidades de símbolo). Há um segundo sistema Y - um registro de cotações. As citações (alfabeto) também têm um conjunto limitado de símbolos com certas freqüências. O que pode ser deduzido de tudo isso?

Chamo sua atenção para o fato de que este não é mais o sistema que o iniciador do tópico estava considerando. Não sou tão ingênuo a ponto de sugerir seriamente que é possível aprender o alfabeto do mercado. E eu tento estabelecer metas realistas para mim mesmo.
 
faa1947: A elaboração da correlação é sua força, mas ao mesmo tempo, ao lado fraco você atribuiu as limitações conhecidas da correlação. Mas são precisamente estas limitações que nos permitem raciocinar significativamente sobre uma quantidade chamada "ACF", a probabilidade de confiança naquela quantidade, as condições para calcular aquela confiança e, em geral, avaliar a permissibilidade de qualquer raciocínio sobre estas quantidades, dependendo do cumprimento das limitações de correlação.

Absolutamente certo. Metade do terver/matstat fala sobre os teoremas do limite central e as implicações sobre eles, que se relacionam especificamente com a distribuição normal. É uma distribuição perfeitamente "trabalhada". No entanto, existem algumas variáveis aleatórias que não obedecem a ele mesmo no limite. Por que eu deveria lidar especificamente com a correlação Pearson só porque ela é perfeitamente trabalhada?

ACF mostra muito especificamente as tendências, e junto com CHAKF procura por ciclos.

Nem os ciclos nem as tendências são de interesse na fase de mineração de dados ainda. São as dependências que não são detectadas pela ACF, em princípio, que são de interesse.

E o que procura a "dependência da informação", o que é esta besta e como ela aparece entre aspas? Ou em incrementos? Há muitas publicações sobre a psicologia do mercado, onde se pode encontrar uma explicação da formação de tendências e ciclos, mas qual é a base psicológica da "dependência informacional", em que publicações está escrita? e afeta as citações? Em que base as fotos resultantes podem ser confiáveis? Onde estão as probabilidades de credibilidade do resultado? Onde estão as condições para a aplicabilidade de tudo isso? Este fio me lembra cada vez mais o fio com hfenks (se bem me lembro), que também gaguejava sem saber sobre as dependências.

Você faz demasiadas perguntas. Vou lhe perguntar: você conhece pelo menos um pesquisador que, antes de iniciar algo muito novo e muito estranho, faria primeiro uma comprovação completa e absoluta da aplicabilidade do novo - e depois prosseguiria para obter resultados, cuja dica lhe passou pela cabeça em uma fração de segundos? Normalmente é o contrário: primeiro o novo é aplicado sem considerar a comprovação e o rigor, e depois, se algo interessante vier à tona, a comprovação começa. Você entende o que quero dizer?

E, a propósito, sobre hrenfx: ele também fez análises baseadas na correlação de Pearson.

Do ponto de vista da tese, exclusivamente preliminar, há sinais de novidade científica, mas sem comparação com a correlação tudo isso é lixo ocioso (desculpe).

Nada de mais. Bem, não estamos aqui discutindo uma dissertação, mas apenas uma idéia curiosa, da qual algo pode vir à tona no futuro. Estou bem ciente de que pode não ser assim. Então, por que perder tempo com uma justificação esticada?

 
Mathemat:

Absolutamente certo. Metade do terver/matstat fala sobre os teoremas do limite central e as implicações sobre eles, que se relacionam especificamente com a distribuição normal. É uma distribuição perfeitamente "trabalhada". No entanto, existem algumas variáveis aleatórias que não obedecem a ele mesmo no limite. Por que eu deveria lidar especificamente com a correlação Pearson só porque ela é perfeitamente trabalhada?

Nem os ciclos nem as tendências na fase de mineração de dados são de interesse ainda. São as dependências que são de interesse que são fundamentalmente indetectáveis pela ACF.

Você faz demasiadas perguntas. Eu também lhe perguntarei: você conhece pelo menos um pesquisador que, antes de iniciar algo muito novo e muito estranho, primeiro faria uma completa e cem por cento de justificativa de aplicabilidade deste novo - e depois prosseguiria para obter resultados, uma dica da qual piscou em sua cabeça em uma fração de segundo? Normalmente é o contrário: primeiro o novo é aplicado sem considerar a comprovação e o rigor, e depois, se algo interessante vier à tona, a comprovação começa. Você sabe o que quero dizer?

E falando em hrenfx: ele também fez uma análise baseada na correlação de Pearson.

Nada de mais. Bem, não estamos aqui discutindo uma dissertação, mas apenas uma idéia curiosa, da qual algo pode vir a sair no futuro. Estou bem ciente de que pode não ser assim. Então, por que perder tempo com uma justificação esticada?

Por que eu deveria lidar especificamente com a correlação Pearson só porque ela é perfeitamente trabalhada?

Praticamente valioso. E se consegue lidar com processos aleatórios não estacionários com distribuições desconhecidas.

Normalmente, é o contrário: a princípio, o novo é aplicado sem levar em conta as evidências e todos os tipos de estrangulamentos, e depois, se algo interessante é obtido, as evidências são feitas. Você me entende?

Não. Primeiro mede-se o vau, e depois tudo mais. Em todos os conselhos científicos que participei em meu tempo, tal discurso seria o último para sempre.

Por que então perder tempo com justificativas esticadas?

Não é necessário esticar. Mas é preciso entender o que está sendo discutido no nível de comparação com o existente.

 
Mathemat:

Suspeitava que o senhor lembraria isso. Felizmente, em qualquer caso, as fórmulas escritas através de probabilidades (ao invés de entropia) permanecem as mesmas - independentemente do que esteja lá, dependendo do que estiver ou não. Portanto, este raciocínio não acrescenta nada de novo.

Em minha opinião, mesmo que errônea, a essência da fórmula não pode mudar, assim como as condições de sua aplicabilidade, devido ao fato de que é escrita por outros símbolos.

Mathemat:
Chamo sua atenção para o fato de que este não é mais o sistema que o iniciador do tópico estava considerando. Eu não sou tão ingênuo a ponto de falar seriamente sobre o aprendizado do alfabeto do mercado. E eu tento estabelecer metas realistas para mim mesmo.
Um sistema mais completo parece assim: alfabeto de mercado <-> alfabeto de cotação -> alfabeto de tarefa. O topikstarter considerou apenas o último par, a citação é a tarefa.
Razão: