Avaliação de EA's rodando com real-money em comparação aos backtests - página 2

 
figurelli :

Perfeito, então tenho uma sugestão, que poderia acelerar esse processo, pelo menos para comparação de backtesting com resultados reais em três meses (ou seja começar a análise imediatamente sem esperar esses meses).

A ideia seria utilizar EAs de campeonatos do MT5 , pois existem vários deles abertos, principalmente de 2012 (o último de fato), e ai podemos fazer o backtesting a partir do setup utilizado e comparar com os resultados prontos obtidos no mercado real durante o campeonato.

É uma boa idéia, mas estes EA estão disponíveis ao público? Não tenho conhecimento disso.
 

Obrigado a todos pelas respostas no topico! alto nível pra variar rs! 

Não tenho nenhuma experiência em EA's rodando em contas reais, mas estou aprendendo muito com as respostas! achei muito bacana a idéia de verificar é genial! acho que vai deixar bem clara a idéia de até onde da pra confiar em um backtest antes de jogar numa conta real ou demo. Sempre tive a impressão que os resultados eram desastrosamente diferentes, a ponto de inviabilizar rodar um EA com grana real, mas vejo que não é bem assim, as experiências citadas levam a acreditar que se aproxima bastante certo (claro q pra estratégias que nao operam em tempos curtissimos que inviabilizam os testes).

 quanto a minimizar a incerteza, fico com uma pulga atras da orelha se é possível garantidamente reduzir isso, uma vez que ela é infinita (ou tende a isso) devido a grande quantidade de fatores que influenciam o mercado, logo não seria enxugar gelo tentar reduzir algo infinito? mais ainda, penso também se uma incerteza de 1% não é suficiente pra quebrar um EA tanto quanto uma incerteza de 99% ? desculpem se falei bobagem rs. mas vejo EA's como tentativas de controlar o risco e os ganhos de forma a ter mais ganhos doq lucros, mas nunca tentar prever um movimento com incerteza X ou Y

 
Eu venho a tempo analisando isso no mercado brasileiro, deixo de dia na demo e depois a noite executo os test, não sei para forex que isso não é meu foco, mas  todas minhas EA baseadas em tick da uma diferença enorme dos test, agora já EA baseadas  candle (nova barra) a diferença minima!
 
angevoyageur:
É uma boa idéia, mas estes EA estão disponíveis ao público? Não tenho conhecimento disso.
Sim, na verdade essa opção sempre esteve presente nos campeonatos, mas só a partir de 2011 os competidores abriram mais seus códigos, justamente para ajudar em análises como a que você propõe.

Trading Robots with an Open Source Code - Automated Trading Championship 2011
  • championship.mql5.com
Under the Rules of the Championship, each participant can send an Expert Advisor as an MQL5 source code or an executable EX5 file. The vast majority of participants, of course, do not wish to disclose their trading idea implemented in the trading robot. Nevertheless, each year some of the Championship participants post the source code of their Expert Advisors, and anyone can download the code of such a robot and see what's in it. We decided to publish some details of these Expert Advisors.
 
rodrixl:

Não tenho nenhuma experiência em EA's rodando em contas reais, mas estou aprendendo muito com as respostas! achei muito bacana a idéia de verificar é genial! acho que vai deixar bem clara a idéia de até onde da pra confiar em um backtest antes de jogar numa conta real ou demo. Sempre tive a impressão que os resultados eram desastrosamente diferentes, a ponto de inviabilizar rodar um EA com grana real, mas vejo que não é bem assim, as experiências citadas levam a acreditar que se aproxima bastante certo (claro q pra estratégias que nao operam em tempos curtissimos que inviabilizam os testes).

 quanto a minimizar a incerteza, fico com uma pulga atras da orelha se é possível garantidamente reduzir isso, uma vez que ela é infinita (ou tende a isso) devido a grande quantidade de fatores que influenciam o mercado, logo não seria enxugar gelo tentar reduzir algo infinito? mais ainda, penso também se uma incerteza de 1% não é suficiente pra quebrar um EA tanto quanto uma incerteza de 99% ? desculpem se falei bobagem rs. mas vejo EA's como tentativas de controlar o risco e os ganhos de forma a ter mais ganhos doq lucros, mas nunca tentar prever um movimento com incerteza X ou Y

Rodrigo, antes de mais nada acredito que, tanto como desenvolvedor, como trader, enquanto você não testar um EA em conta real não vai sentir na prática o que toda essa teoria representa, até porque no mundo real as coisas são bem mais complexas, principalmente quando outros estão utilizando nossos EAs. Mas tudo a seu tempo, acredito que você já tenha isso nos planos. 

Um pouco da teoria 

Quanto à incerteza, note que a palavra é minimizar e não eliminar. E que quando se trata de futuro nunca se tem garantia de nada. Como a incerteza é infinita, não vejo lógica em falar em 1% ou 99%. Quanto é 1% de infinito?

Para ser prático, isso seria o mesmo que calcular (1/0)*0,01 = ?

Obviamente que o resultado é infinito também. Na verdade, a incerteza que comento só tem lógica quando comparada entre duas ou mais opções de design.

Por exemplo, como investidor, qual EA você prefere, um com uma estratégia codificada pelo Neymar (do Barcelona) ou pelo Alain (do MQL5)? Eu tenho certeza que o Alain diminuiria e muito a incerteza dessa estratégia. Por outro lado, como treinador, quem você prefere para bater um pênalti? (com todo o respeito ao Alain, que é um craque do MT5/MQL5, mas no futebol ele já falou que não é seu forte).

Na verdade temos sempre opções de diminuir nossa incerteza, é apenas uma questão de ter boas opções e boas escolhas.

Um pouco da prática

Agora falando um pouco em aspectos práticos, como é a ideia do Alain, como podemos testar teus questionamentos sobre o backtesting?

Para ser franco, não vejo como fazer isso com poucos testes, justamente pela teoria da incerteza que apresentei acima.

Ou seja, para fazermos um teste prático, que possa gerar algum resultado comparativo confiável, teremos que fazer muitos testes e muitas comparações, para ver o que funciona ou não funciona. Ou, com poucos testes, sempre restará a dúvida se foram por lógica ou pura/o sorte/azar os resultados obtidos.

Em outras palavras, acredito que devemos começar definindo na prática como será nossa gestão de testes, que considero muito mais relevante do que todo o resto, até mesmo que a gestão da estratégia, risco, econômica, financeira, tecnológica, etc.

 
figurelli :
Sim, na verdade essa opção sempre esteve presente nos campeonatos, mas só a partir de 2011 os competidores abriram mais seus códigos, justamente para ajudar em análises como a que você propõe.

Veja exemplos no link abaixo:


Infelizmente, esta abordagem não é praticável. Temos a EA e os resultados, mas não temos os parâmetros utilizados.
 
angevoyageur:
Infelizmente, esta abordagem não é praticável. Temos a EA e os resultados, mas não temos os parâmetros utilizados.
Esses robôs são exatamente os que competiram, basta utilizar o valor atribuído no código fonte (input).
Razão: