Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 789

 

Se entendo correctamente que a AUTO ARIMA calcula tudo sozinha, só preciso de carregar aspas.

Verifiquei em vários locais e o modelo ARIMA(0,1,0) aparece em todo o lado.

 
Anatolii Zainchkovskii:

Aqui está uma imagem da situação, só porque você viu esta queda três barras antes, não significa que você está levando isso em conta agora.


Bela foto, vou usá-la como exemplo...

Se não houver erro na previsão, como podemos ficar com menos se virmos que vai haver queda. Quando a barra zero fecha com sinal contrário, ainda sabemos que vai haver queda. Espero que não haja perguntas sobre esta foto..... Escolhemos a janela ao acaso mas prevemos cada barra nesta janela e consequentemente quando a terceira barra é zero e vemos uma grande diferença na previsão que vendemos. Mas, quando vimos uma ligeira diferença de módulo na previsão na primeira barra, já sabemos em que barra haverá um aumento significativo. Há apenas dois mal-entendidos que são o problema. Primeiro, eu me explico omitindo alguns pontos que eu acho que são óbvios. Em segundo lugar, você não o entende por causa da falta de experiência. Mas é normal fazer perguntas, por isso vamos continuar...

 
Mihail Marchukajtes:

Bela foto, vou usá-la como exemplo...

Então, sem erros na previsão, como podemos obter um menos se podemos ver que vai haver uma queda. Quando a barra zero fecha com sinal contrário, ainda sabemos que vai haver queda. Espero que não haja perguntas sobre esta foto..... Escolhemos a janela ao acaso, mas prevemos cada barra nesta janela e consequentemente quando a terceira barra é zero e vemos uma grande diferença na previsão que vendemos. Mas, quando vimos uma ligeira diferença de módulo na previsão na primeira barra, já sabemos em que barra haverá um aumento significativo. Há apenas dois mal-entendidos que são o problema. Primeiro, eu me explico omitindo alguns pontos que eu acho que são óbvios. Em segundo lugar, você não o entende por causa da falta de experiência. Mas não há problema em fazer perguntas, por isso vamos continuar...

Se eu olhar para as estatísticas, não acho que elas sejam baseadas em previsões e não acho que elas devam ser baseadas nelas, mas podem ser baseadas em previsões. Mas tudo isso é super fino em previsões de 100%, mas o que fazer quando há até 90% das previsões, porque 10% de previsões erradas podem fazer o saldo cair muito longe.

 

Acho que hoje vou chegar tarde a casa, mas já há alguns dias que quero escrever um longo post. Vou fazer isso agora e ver. Mas primeiro um pequeno aparte.

A parte escrita do artigo será de facto colocada no blogue e ligada a ele. Então em vez deste artigo comecei a escrever outro que soa como "Orientações Metodológicas para Trabalhar na Aprendizagem de Máquinas". Um dia eu estava andando pela cidade e pensei que seria bom ter uma metodologia, como nas universidades, que seria descrita sem água, as regras básicas do que se pode ou não fazer. Bem, então, como eles dizem, espera e vê. E agora o tema do longo posto. O objectivo de tudo isto.....

Durante este mês eu fiz um avanço e você vê claramente, alguém o reconhece e alguém refuta, mas ninguém tem uma pergunta que o otimizador Reshetova eu tenho há muito tempo, mas conseguir um bom modelo, eu comecei quando o médico me preencheu os comandos do P com explicações e no dia seguinte eu recebi os resultados dos testes que eu nunca vi em todos os 15 anos. Eu sei que não se trata do carretel e o otimizador está fazendo um bom trabalho, mas não se trata dele. Só tenho 100% de certeza que não é o único optimizador no mundo que faz o melhor trabalho. Claro que não é. A maioria dos pacotes P funcionam tão bem quanto ele. Então, qual é o problema? Por que os resultados são tão pobres e toda a espinha dorsal do ramo de aprendizagem da máquina ainda está sendo procurada e não pode ser encontrada. A resposta é simples. Você comete erros em uma etapa ou outra na preparação do modelo. Logicamente, você pensa que está fazendo a coisa certa ao escolher uma determinada previsão ou transformação, mas comete algum pequeno erro ao pensar que está certo, mas na verdade não está.

É por isso que comecei a falar de regressão, para descobrir o que se pode e o que não se pode fazer. Eu confrontei a minha própria concepção errada da seguinte forma. Logicamente, se pensarmos bem nisso. Esse modelo com mais entradas e polinômio mais longo é supostamente mais inteligente e paramétrico, mas a prática mostrou o resultado oposto quando modelos com um número mínimo de entradas em feedbacks ganharam mais do que modelos com mais entradas. Este é o exemplo quando você pensa que está certo pela lógica, mas na prática acontece que você não está.

Mas o problema da aprendizagem da máquina acaba por não estar no método de obtenção de um modelo ou no uso de algumas transformações super secretas. O calcanhar de Aquiles principal é outra coisa e posso explicá-lo num exemplo, será compreensível e esmagarei as fotos de Maxim ao mesmo tempo.

Suponha que tenhamos criado um sistema para obter um modelo de regressão ou classificação. E nós acreditamos que não cometemos erros grosseiros durante o design. Suponha.

Temos um ficheiro de treino. Nós o executamos para otimização 10 vezes e obtemos 10 modelos. Então, a pergunta mais difícil para mim foi. Como seleccionar o modelo que não tem sobretreinamento e subtreinamento, mas que é adequado ao mercado, etc. É esta questão que é o calcanhar de Aquiles. Você pode ter feito um sistema de IA e cometido alguns erros nele, mas isso não significa que seu sistema NÃO PODE GERAR um modelo generalizado.

A qualidade de um sistema de IA é definida precisamente pelo número de modelos adequados ao número total de optimizações. Digamos que um sistema em cada 100 otimizações dá apenas um modelo que pode ser usado, e o segundo, entre as mesmas 100 otimizações, dá 20 modelos que são adequados para uso. É claro que o segundo sistema é melhor do que o primeiro, pois tem modelos mais correctos do que o primeiro, dada a mesma quantidade de optimizações. Por exemplo, o Optimizer Reshetova em quatro modelos (em regra, não mais de quatro) dá um a dois modelos adequados. Às vezes quatro não é suficiente. Sem problemas, na quinta, sexta ou décima otimização ele dará um modelo adequado para o mercado. E agora o mais interessante é como identificar e encontrar este modelo. Eu encontrei uma maneira. Faço-o da seguinte forma. Gero um arquivo de treinamento e realizo quatro treinamentos. Depois avalio estes modelos e escolho o que é adequado e para isso preciso apenas de uma secção de tropeçar em que haja uma validação ou teste no processo de tropeçar. Deixo uma pequena parte do OOS na forma de 3-4 sinais para finalmente estar convencido de que é isto e depois ponho-o na estrada. É por isso que a questão da selecção de modelos é uma das mais importantes na preparação do TS. Eu vou continuar.

 
forexman77:

Se entendo correctamente que a AUTO ARIMA calcula tudo sozinha, só preciso de carregar as citações.

Verifiquei em várias parcelas e mostra ARIMA(0,1,0) por toda parte.

auto.arima {forecast}
> y <- dd$OPEN
> auto.arima(y)
Series: y 
ARIMA(3,1,5) 

Coefficients:
         ar1     ar2      ar3      ma1      ma2     ma3      ma4      ma5
      0.3956  0.4421  -0.6151  -0.4159  -0.4165  0.6288  -0.0257  -0.0515
s.e.  0.0904  0.0701   0.0827   0.0905   0.0708  0.0797   0.0105   0.0115

sigma^2 estimated as 3.406 e-06:  log likelihood=66279.3
AIC=-132540.6   AICc=-132540.6   BIC=-132473
 

Eu escrevi e o fórum ficou avariado, por isso leia-o desta forma. Eu não posso reescrevê-lo...


 
Mihail Marchukajtes:

Acho que hoje vou chegar tarde a casa, mas já há alguns dias que quero escrever um longo post. Vou fazer isso agora e ver. Mas primeiro um pequeno aparte.

A parte escrita do artigo será de facto colocada no blogue e ligada a ele. Então em vez deste artigo comecei a escrever outro que soa como "Orientações Metodológicas para Trabalhar na Aprendizagem de Máquinas". Um dia eu estava andando pela cidade e pensei que seria bom ter uma metodologia, como nas universidades, que seria descrita sem água, as regras básicas do que se pode ou não fazer. Bem, então, como eles dizem, espera e vê. E agora o tema do longo posto. O objectivo de tudo isto.....

Durante este mês fiz um avanço e você vê claramente, alguém o reconhece e alguém refuta, mas ninguém tem uma pergunta que o otimizador da Reshetova eu tenho tido há muito tempo, mas conseguir um bom modelo, eu comecei quando o médico me preencheu os comandos do P com explicações e no dia seguinte eu recebo os resultados dos testes que eu nunca vi em 15 anos. Eu sei que não se trata do carretel e o otimizador está fazendo um bom trabalho, mas não se trata dele. Só tenho 100% de certeza que não é o único optimizador no mundo que faz o melhor trabalho. Claro que não é. A maioria dos pacotes P funcionam tão bem quanto ele. Então, qual é o problema? Por que os resultados são tão pobres e toda a espinha dorsal do ramo de aprendizagem da máquina ainda está sendo procurada e não pode ser encontrada. A resposta é simples. Você comete erros em uma etapa ou outra na preparação do modelo. Logicamente, você pensa que está fazendo a coisa certa ao escolher uma determinada previsão ou transformação, mas comete algum pequeno erro ao pensar que está certo, mas na verdade não está.

É por isso que comecei a falar de regressão, para descobrir o que se pode e o que não se pode fazer. Eu confrontei a minha própria concepção errada da seguinte forma. Logicamente, se pensarmos bem nisso. Esse modelo com mais entradas e polinômio mais longo é supostamente mais inteligente e paramétrico, mas a prática mostrou o resultado oposto quando modelos com um número mínimo de entradas em feedbacks ganharam mais do que modelos com mais entradas. Este é o exemplo quando você pensa que está certo pela lógica, mas na prática acontece que você não está.

Mas o problema da aprendizagem da máquina acaba por não estar no método de obtenção de um modelo ou no uso de algumas transformações super secretas. O calcanhar de Aquiles principal é outra coisa e posso explicá-lo num exemplo, será compreensível e esmagarei as fotos de Maxim ao mesmo tempo.

Suponha que tenhamos criado um sistema para obter um modelo de regressão ou de classificação. E nós acreditamos que não cometemos erros grosseiros durante o design. Suponha.

Temos um ficheiro de treino. Nós o executamos para otimização 10 vezes e obtemos 10 modelos. Então, a pergunta mais difícil para mim foi. Como seleccionar o modelo que não foi sobretreinado e subtreinado, mas que é adequado para o mercado, etc. É esta questão que é o calcanhar de Aquiles. Você pode ter feito um sistema de IA e cometido alguns erros nele, mas isso não significa que seu sistema NÃO PODE GERAR um modelo generalizado.

A qualidade de um sistema de IA é definida precisamente pelo número de modelos adequados ao número total de optimizações. Digamos que um sistema em cada 100 otimizações dá apenas um modelo que pode ser usado, e o segundo, entre as mesmas 100 otimizações, dá 20 modelos que são adequados para uso. É claro que o segundo sistema é melhor do que o primeiro, pois tem modelos mais correctos do que o primeiro, dada a mesma quantidade de optimizações. Por exemplo, o Optimizer Reshetova em quatro modelos (em regra não mais do que quatro) dá um a dois modelos adequados. Às vezes quatro não é suficiente. Sem problemas, na quinta, sexta ou décima otimização ele dará um modelo adequado para o mercado. E agora o mais interessante é como identificar e encontrar este modelo. Eu encontrei uma maneira. Faço-o da seguinte forma. Gero um arquivo de treinamento e realizo quatro treinamentos. Depois avalio estes modelos e escolho o que é adequado e para isso preciso apenas de uma secção de tropeçar em que haja uma validação ou teste no processo de tropeçar. Deixo uma pequena parte do OOS na forma de 3-4 sinais para finalmente estar convencido de que é isto e depois ponho-o na estrada. É por isso que a questão da selecção de modelos é uma das mais importantes na preparação do TS. Eu vou continuar.

Já não consigo ler este disparate todo, estás a dar cabo de mim.

o resto de vocês capitães da obviedade e gendarmes de clareza

cair fora )

 
Maxim Dmitrievsky:

Já não consigo ler mais este disparate lunático, estás a matar-me.

O resto de vocês Capitães da Obviedade e Gendarmes da Clareza

cair fora )

Ele escreveu que estava bêbado e ficou acordado durante duas noites. Ele queria "falar")).

Mihail Marchukajtes:
Em geral, Mikhail, você deve dormir à noite.

 
Maxim Dmitrievsky:

Já não consigo ler esta porcaria toda, estás a dar cabo de mim.

O resto de vocês Capitães da Obviedade e Gendarmes da Clareza

Vou-me embora daqui.)

Max encontrou um graal com certeza)))

 
Maxim Dmitrievsky:

o tema foi além do âmbito da razão - algumas pessoas há muito que se tornaram rígidas e obcecadas com o sobretreinamento e "pacotes".

Algumas pessoas ainda são as mesmas que o idiota do MoD.

Não é que o tema tenha ido a algum lado - é "difuso". Não há uma moderação regular. Uma pilha, ainda pior que o meu fio.

Mas, temos de esperar que o homem com o Graal venha à frente.

Nós esperamos.

Razão: