Teste Para Frente não funciona

 

Olá,

Há alguns anos que o teste para frente parou de funcionar adequadamente.

Configurei o teste para frente com 1/4 , conforme abaixo, usando um EA que desenvolvi.


Após executar as otimizações genéticas, cheguei ao resultado abaixo, e selecionei a linha onde ambos os Testes de Volta e Pra frente deram positivos. Mas, ao executar o teste único daquele resultado específico, o gráfico para frente aparece com resultado negativo, o está incoerente com o resultado da tabela.






Obrigado desde já por qualquer ajuda.

 

Então @Alvaro Velloso

Ao ativar essa função, o único momento em que seus dados de parâmetros foram testados é justamente onde o resultado é negativo. 

Essa opção nos diz que, parte do teste será realizado em os parâmetros do EA e a outra parte com os parâmetros.

Teste de estratégias

"Teste avançado para verificação do robô num setor não otimizado

A execução repetida do expert em um período de tempo diferente é chamada teste avançado. Essa possibilidade está prevista para a exclusão do ajuste de parâmetros dos experts em determinadas seções dos dados históricos."

 

Olá Adailton 

Obrigado pela resposta, mas não entendi o seu ponto de vista.

Já trabalho com o MT5 há mais de 5 anos e o manual traduzido para o português está cheio de erros de tradução.

Fiz novos testes agora e descobri que para períodos curtos de 4 meses (3/4 inSample + 1/4 outsample) funciona. Para períodos longos, dá o erro reportado. 

Vou testar vários períodos para descobrir qual é o ponto ótimo que fornece resultados corretos.

Abraços.

 

Prezado Alvaro,

antes de concluir que o problema é da plataforma você deve eliminar:

1) Problema de dados, teste com PETR4 e em duas corretoras.

2) Problema no EA , teste com ExpertMama.ex5 ou ExpertMACD.ex5


Por favor poste a conclusão.

 
Alvaro Velloso #:

Olá Adailton 

Obrigado pela resposta, mas não entendi o seu ponto de vista.

Já trabalho com o MT5 há mais de 5 anos e o manual traduzido para o português está cheio de erros de tradução.

Fiz novos testes agora e descobri que para períodos curtos de 4 meses (3/4 inSample + 1/4 outsample) funciona. Para períodos longos, dá o erro reportado. 

Vou testar vários períodos para descobrir qual é o ponto ótimo que fornece resultados corretos.

Abraços.

O ponto de vista não é meu não, é do manual mas como você diz que o manual esta cheio de erros de tradução, vai saber. 

Eu porém vivi essa mesma circunstância e, quando fui ao manual, percebi que se tratava justamente do que lá está descrito, contudo, como você diz que obteve os resultados como desejava, maravilha. 

Sucesso por aí.

 
Alvaro Velloso:

Olá,

Há alguns anos que o teste para frente parou de funcionar adequadamente.

Configurei o teste para frente com 1/4 , conforme abaixo, usando um EA que desenvolvi.


Após executar as otimizações genéticas, cheguei ao resultado abaixo, e selecionei a linha onde ambos os Testes de Volta e Pra frente deram positivos. Mas, ao executar o teste único daquele resultado específico, o gráfico para frente aparece com resultado negativo, o está incoerente com o resultado da tabela.






Obrigado desde já por qualquer ajuda.

Olá, Alvaro


Passei pelo mesmo problema que você.

Dê uma olhada nesse tópico que abri aqui no fórum há algum tempo: https://www.mql5.com/pt/forum/352383

Infelizmente, não encontrei solução e ninguém aqui no fórum me deu alguma idéia útil para o problema, acredito que esse erro não afete qualquer tipo de EA. Mas, realizei uma boa quantidade de testes e coloquei os resultados resumidamente nesse tópico criei. Se tiver mais algum resultado gostaria de discutir mais sobre isso com você, já faz algum tempo que estou desenvolvendo um EA que depende do uso do fowardtest do metatrader e estou "parado" desde que encontrei esse problema. 

Erro no testador de estratégias (FowardTest)
Erro no testador de estratégias (FowardTest)
  • 2020.09.30
  • www.mql5.com
Olá, estou com tendo um problema estranho quando executo otimizações nos meus EA's...
 

Havia um tempo já que não tinha realizado este tipo de teste mas, para desencargo e continuar na tentativa de elucidar o problemas que vocês enfrentam, resolvi fazer 

Deem uma olhada abaixo @psScofield e @Alvaro Velloso

Dados para teste

Observação ao período em que os parâmetros da EA foram testados de fato, neste caso, após a data 23 como esmaecido pela aplicação

De 18 a 22 o teste é realizado sem uso dos parâmetros

Resultado da otimização em que a EA foi testada sem os parâmetros


Período em que a EA foi testada como os parâmetros

Utilizei uma linha roxa para ficar claro o resultado anterior sendo trazido no resultado para frente afim de avaliarmos o desempenho

Detalhes:

Sem os parâmetros, período de 18 a 22

Com os parâmetros de 22 a 29

Ah, e fiz o mesmo citado 

Enfim, espero que consigam perceber o que estão fazendo por aí e possam dar continuidade ao projeto de vocês.

Sucesso por aí.

Teste Para Frente não funciona
Teste Para Frente não funciona
  • 2022.05.04
  • www.mql5.com
Olá, Há alguns anos que o teste para frente parou de funcionar adequadamente...
 
Rogerio Giannetti Torres #:

Prezado Alvaro,

antes de concluir que o problema é da plataforma você deve eliminar:

1) Problema de dados, teste com PETR4 e em duas corretoras.

2) Problema no EA , teste com ExpertMama.ex5 ou ExpertMACD.ex5


Por favor poste a conclusão.

Olá Álvaro,

chegou a fazer os testes que eu sugeri?

 
Rogerio Giannetti Torres #:

Olá Álvaro,

chegou a fazer os testes que eu sugeri?

Olá @ Rogerio Giannetti Torrese amigos, como vão ? Obrigado pelas respostas.

Eu sou desenvolvedor e estou juntamente com um amigo investidor, bastante experiente em MT5, tentando mitigar o erro dos testes "Pra Frente". Certamente estamos lidando com um BUG do MT5, independentemente do ativo ou da série utilizada. Notamos que a quantidade de erros "Pra Frente" é maior quanto maior for o número de amostras. Com amostras pequenas, o erro não aparece.

Para exemplificar, consideremos o período de 1/4 "Pra Frente", WDO em 20 minutos:

Amostra de 6 meses - Nenhum erro

Amostra de 9 meses - 30% são errados

Amostra de 1 ano - 50% são errados

Amostra de 2 ano - 100% são errados

Creio que na montagem da tabela "Pra Frente" o MT5 mistura as linhas na sua montagem. Outra questão que notamos é que o MT5 entra em loop e nunca termina os testes "Pra Frente". isso acontece eventualmente, mas isso é outro tópico.

Esse BUG perdura há pelo menos 2 anos, o que me fez desistir do MT5 assim como o colega @psScofield. Estou buscando uma versão antiga do MT5 para poder continuar o trabalho atual. Fica muito difícil confiar no BT de qualquer robô, especialmente os com rede neural, onde o overfitting tende a ser muito grande.

Para mim não faz sentido mudar de ativo ou de robô, pois preciso dar uma solução para o meu problema atual. E o erro é na plataforma, sem dúvida. A plataforma não pode dizer que existe um lucro "X", na tabela "Pra Frente" e ao executar o "Teste único" correspondente o lucro aparecer como "-X". Deixando bem claro: o erro só ocorre na parte "Pra Frente".  O backtest informado na mesma tabela aparece correto. 

Vamos seguir com os testes e tentar mitigar este problema.

Abraços a todos, e ótimo FDS.

psScofield
psScofield
  • 2020.09.30
  • www.mql5.com
Perfil do Trader
 
Rogerio Giannetti Torres #:

Olá Álvaro,

chegou a fazer os testes que eu sugeri?

Olá Rogério, tudo bem?

O que adianta fazer teste para o robô X com o ativo Y e dizer que funciona? A plataforma tem que funcionar para qq robô ou ativo. E não resolve o meu problema atual. Eu consigo fazer testes que funcionam perfeitamente, mas desde que as amostras sejam pequenas.

Abraços e obrigado pela sugestão.

 
Alvaro Velloso #:

Olá @ Rogerio Giannetti Torrese amigos, como vão ? Obrigado pelas respostas.

Eu sou desenvolvedor e estou juntamente com um amigo investidor, bastante experiente em MT5, tentando mitigar o erro dos testes "Pra Frente". Certamente estamos lidando com um BUG do MT5, independentemente do ativo ou da série utilizada. Notamos que a quantidade de erros "Pra Frente" é maior quanto maior for o número de amostras. Com amostras pequenas, o erro não aparece.

Para exemplificar, consideremos o período de 1/4 "Pra Frente", WDO em 20 minutos:

Amostra de 6 meses - Nenhum erro

Amostra de 9 meses - 30% são errados

Amostra de 1 ano - 50% são errados

Amostra de 2 ano - 100% são errados

Creio que na montagem da tabela "Pra Frente" o MT5 mistura as linhas na sua montagem. Outra questão que notamos é que o MT5 entra em loop e nunca termina os testes "Pra Frente". isso acontece eventualmente, mas isso é outro tópico.

Esse BUG perdura há pelo menos 2 anos, o que me fez desistir do MT5 assim como o colega @psScofield. Estou buscando uma versão antiga do MT5 para poder continuar o trabalho atual. Fica muito difícil confiar no BT de qualquer robô, especialmente os com rede neural, onde o overfitting tende a ser muito grande.

Para mim não faz sentido mudar de ativo ou de robô, pois preciso dar uma solução para o meu problema atual. E o erro é na plataforma, sem dúvida. A plataforma não pode dizer que existe um lucro "X", na tabela "Pra Frente" e ao executar o "Teste único" correspondente o lucro aparecer como "-X". Deixando bem claro: o erro só ocorre na parte "Pra Frente".  O backtest informado na mesma tabela aparece correto. 

Vamos seguir com os testes e tentar mitigar este problema.

Abraços a todos, e ótimo FDS.

Muito interessantes seus resultados. 

Eu não percebi esse padrão de aumento nos erros conforme o aumento do tamanho da amostra, apenas percebi que os erros aumentam proporcionalmene ao número de parâmetros e também proporcionalmente ao número de passos de otimização dos parâmetros. Também já estou hà uns 2 anos agarrado nesse BUG, o que reforça a ideia de que ele surgiu em uma atualização por volta de 2020 ou final de 2019. Além disso, também fui atrás de uma versão antiga mas não consegui resolver o problema. 

Vou tentar repetir os testes que você fez para avaliar qual a proporção dos erros que ocorrem no meu EA e ver se consigo mais algum insight sobre esse problema.  

Você não sabe o tamanho do meu alívio por encontrar outra pessoa com o mesmo problema! Só toma cuidado que tem uma galera aí que fica nervosa se discordar da "solução" e dos "testes" deles, vc tem que fingir que é retardado ou eles vão querer te dar lição de moral kkkkkkkkkkkkk. 

Sucesso nos seus testes aí! 

Razão: