Análise de Back Tests (Míni Índice)
Oi pessoal,
Estou realizando uma série de back testes em um EA que desenvolvi, cheguei à um ponto onde o lucro está estável, excelente, e o dd em torno de 8~11%. Testado no período de 2014 para cá.
Só venho analisando os parâmetros que me deram maiores lucros, e procuro neles algum que se destaque por ter menor DD. Pego este, faço um teste único e analiso como ele performou, aonde foram os momentos de maiores ganhos, maiores perdas, quando bateu stop, o que gerou isto e por aí vai. E faço novamente uma série de testes analisando outros parâmetros que acho que seriam interessantes de se alterar.
Sei que test back em excesso gera um Over Fitting, mas como os testes são em TF de 5 minutos imagino que um over fitting seja favorável ao meu parâmetro pois neste período de 5 anos já aconteceu centenas de cenários "fortes" que devem ter matado muitos dos parâmetros que testei e muitas estratégias de todo tipo. Me sinto preparado para qualquer cenário que venha a acontecer.
Já que a estratégia foi criada por mim ao longo de mais de 3 anos de estudos só nesta estratégia, e pelo fato do parâmetro que teve melhor relação de lucro/dd ser apenas uma a variação do parâmetro que pretendia usar antes de fazer os testes, estou confiante na minha estratégia e disposto a desprender de uns investimentos em Fundos de ações para testar o EA.
Ao longo destes anos, muito dos fundos ficaram com DD alto, e eu segui neles, confiante, imagino que esta estratégia seja realmente uma alternativa para mim.
Gostaria de saber de vocês, que estão vendo toda essa expectativa de fora, o que estou deixando passar? Certamente não encontrei o setup de ouro do mundo, disto eu sei, mas quero melhorar o máximo que der esta estratégia para que possa utiliza-la, e só tenho analisado lucro e DrawDown.
Obs: Meu stop loss é alto, e só foi batido umas 6 vezes desde 2014. Quando acontece de bater nele, é muito comum que no mesmo dia eu entre de novo após ele e tenha lucro. Ou em no dia seguinte no máximo. E quando digo alto, ainda batendo nele não fere meu capital inicial, o que me permite deixar apenas uma quantidade pequena investida no EA e fazer saques periódicos.
Não faço martingale, meu limite é de 20 contratos, não durmo posicionado, entro aos poucos pra cada sinal que o EA dá para entrar novamente.
Obrigado pela leitura, e estou aberto a ouvir qualquer opinião que seja com o intuito genuíno de gerar uma conversa amigável em prol da evolução de todos.
Cara, eu pessoalmente não acredito em Backtest... MAS, ESTE, SOU, EU.
Quando eu extensivamente testo uma estratégia operando-a manualmente, e durante um período X ela me dá um lucro Y, eu tento robotizá-la... Vou ao contrário da maioria que vende robôs...
Estou certo? Estou errado? Não faço a menor ideia, mas é o que eu faço hoje...
Portanto, não posso opinar neste seu caso...
Se vale de alerta, como exemplo, as pessoas nos Backtests esquecem de eventos que detonam as médias como, no Dólar, os Payrolls... De repente vc tem uma estratégia boa, e só por causa de 1 única sexta-feira, teu setup vai pro lixo... então, tente entender o que um Backtest pode te dar de benefício e malefício, ao invés, por exemplo, de acompanhar visualmente os trades de teu robô ao vivo por 1 mês... etc...
Mais do que setup, é confiança na matodologia que vc está estudando...
Caçadores de Setups existem muitos por aí... basta digitar no Google: The best setup for day trading e você passará semanas assistindo atudo quanto é video...
;)
Obrigado pelas palavras,
Esta estratégia eu desenvolvo há 3 anos. Acompanhei no olho por 1 ano, e na mão por 1 mês. Achei a falha dela, e corrigi, acompanhei mais 1 mês e foi esplêndida. Pouquíssimas perdas, a não ser um dia, 2 de janeiro. nele eu perdi tudo que tinha pra testar.
Sabia que o TF que operava estava errado, e que talvez eu devesse abrir um pouco as bandas dos parâmetros, então eu automatizei para achar o tf ideal para a abertura ideal.
O TF foi imediatamente o segundo após o que estava usando, e a abertura foi exatamente 2 passos adiante da que estava utilizando, então estou confiante com a estratégia parametrizada e sei que em períodos esdrúxulos ela se comportará bem.
Acho que estou apaixonado pela estratégia e em parte, por mim mesmo por ter desenvolvido ela.
[...]
Sei que test back em excesso gera um Over Fitting
Ainda bem que vc sabe disso!
[...]
Obs: Meu stop loss é alto, e só foi batido umas 6 vezes desde 2014.
Vc se refere a um back test, certo? Quantas vezes vc ajustou os parâmetros da sua estratégia até reduzir a apenas 6 stop-losses com apenas 8 a 11% de draw-down no período de 2014 a 2018?
Acho muito provável que vc esteja em overfitting e que, se deixar a estratégia rodando numa conta demo (mercado real) de amanhã em diante, ao longo dos anos de 2019 a 2023, dificilmente esse resultado maravilhoso vai se repetir.
É apenas uma opinião.
Acho que vou fundar junto com o Flavio uma comunidade chamada "Céticos do Backtest", kkk !
Falando sério: não é que eu seja contra o backtest. É que eles precisam ser feitos com bastante sabedoria, para não nos conduzirem à ilusão e ao auto-engano.
Uma coisa que vc deve sempre fazer num backtest é reservar uma parte dos dados (preferencialmente os mais recentes), para só testar no final do desenvolvimento do seu algoritmo, para evitar que o ciclo de ajustar parâmetros em função do resultado te leve ao overfitting.
Por exemplo, vc pode fazer backtests usando somente o período de 2014 a 2017, para ir ajustando e otimizando sua estratégia em função dos resultados, e reservar o ano de 2018 para só testar quando achar que sua estratégia já está pronta e otimizada. Daí vc testa no ano de 2018 pra ver se mantém o mesmo desempenho do backtest de 2014 a 2017. Se continuar dando desempenho bom num ano que nunca foi testado antes, aí sim, pode ir pro mercado real. Se por outro lado 2018 der um resultado ruim e vc ficar reajustando a estratégia até o resultado ficar bom em 2018, aí esse resultado já não vai mais ser confiável (o algoritmo já vai ter sido "contaminado" pelo conhecimento a respeito dos dados de 2018) e vc vai ter que testar em 2019 pra obter uma estimativa realista da performance real em anos futuros.
Belas palavras, Patinhas.
Eu comecei realizando os testes em 2018 apenas. Depois melhorei eles, mas mudei pouco incluindo 2017.
Pra finalizar, fiz o teste de 2014 pra cá, o que foi uma surpresa, ele performou muito bem nestes anos, mas é nítido no gráfico de Saldo-X-Tempo que em 2018 o lucro escala mais inclinado.
Adicionei então o SL que estava faltando, e o gráfico que tinham algumas decaídas passou a ficar mais liso. Apesar do sl quase não ser tocado não quer dizer que só tenha saídos no loss 6x. O meu gatilho de saída é um valor de um indicador, 1/3 das vezes saio perdendo.
Não consegui testar períodos passados, mas vou fazer isto e ver como ele performa em um período novo pra.
A minha esperança é o TF pequeno, que faz com que o ea passe por muitas situações diferentes em poucos anos de análise.
Qual é a data mais antiga que podemos chegar pra backtest? em qual corretora? Conta demo ou real?
Contando com genética rápida, milhões. Mas testes corridos total, uns 70 mil.
Minha estratégia tem bastante parâmetros. E apesar de ter concebido ela com um parametro já pronto, quis ver se exista uma maneira diferente que funcionasse, mas pelo destino eu retornei às origens e só abri as bandas, e suavizei os indicadores, depois de subir o tempo gráfico.
:D
EU, pessoalmente acho que existem 2 tipos de "traders", aqueles que sabem o que estão fazendo e sabem onde estão se metendo (com suas estratégias), e aqueles que "adquiriram" uma estratégia e querem validar via Backtest...
EU, pessoalmente, acho que ter a oportunidade de operar via robô seja o estágio MASTER de um trader, onde ele consistentemente está ganhando dinheiro com sua estratégia, podendo ganhar mais, eliminando o lado emocional do trade, e liberando-o para procurar novas oportunidades, estudos, mercados, etc...
Como agora a moda agora é robôs... tem nego que testa 10 anos de Backtest sem a menor noção do que está fazendo... Não quero dizer que @Lucas Tavares você esteja fazendo isso... acredito que vc está percorrendo o melhor caminho possível...
Mas, nada como ter uma metodologia ganhadora manual, e depois automatizá-la...
Esse é o outro viés da moeda...
E desculpem... só conheço este...
É como aplicar Darwin ao trade...
Querer inverter isso? pra MIM, é mera Loteria...
Mas, de novo, @Lucas Tavares, você está sendo completamente consistente com seus pensamentos...
Vai pro GAIN!
;)
Lembrei agora...
Imagina um Setup bacana que você tenha criado para o Mini-Índice...
E só por causa de Brumadinho você descarte ele... Como você vai saber???
Ontem, o mercado caiu mais de 3000pts... Como seu robô vai reagir a isso?
E no Backtest?
Mercado passou do ATR de X, para de operar? Menos que Y também não opera pois é consolidação?
A melhor estratégia é aquela em que você opera manualmente e ganha dinheiro...
SEMPRE!
;)
Perfeitas colocações. Vejo muita gente catando pote achando que pote ser um bom pote de ouro sem perceber que a riqueza tá no ouro, não no pote.
Essa estratégia na minha opinião é perfeita, pra mim! é como vejo a bolsa, e como entendo ela, são meus conceitos.
Sempre soube que tava olhando perto demais, porque foi assim que consegui entender, na minúcia, olhando de lupa.
Não estava crente que conseguiria olhar normalmente e readaptar toda ela porque seria todo o trabalho de novo, e sem saber exatamente de que ângulo olhar, por isto optei por automatizar e testar no EA.
Pois ele poderia apenas adaptar o que via no 1m pra 3~6 minutos, ou quem sabe 10.
Antes disto tirei prints e recortei inúmeros dias, contei os ganhos que seriam, fiz a maior trabalheira na mão(mouse). Passei por muitas etapas, e sei aonde estou.
Fiz agora o backtest de ontem, foi um loss que fico até feliz de ver. Entrou em um momento que seria ótimo de se entrar em dias normais, foram belos sinais de reversão, mas notícia é notícia, não tem Indicador pra isto. E foi por muito pouco que não saí no lucro. O que não me desanima.Não deixaria de operar em dias de notícias, porque podem ser uma bela oportunidade de ganhos.
Sei que amanhã será um novo dia, estou preparado para dias que não vão alisar minha cabeça, nunca criei essa esperança.
Contando com genética rápida, milhões. Mas testes corridos total, uns 70 mil.
Minha estratégia tem bastante parâmetros. E apesar de ter concebido ela com um parametro já pronto, quis ver se exista uma maneira diferente que funcionasse, mas pelo destino eu retornei às origens e só abri as bandas, e suavizei os indicadores, depois de subir o tempo gráfico.
Você tem que testar o desempenho da estratégia usando dados de um período que jamais tenha sido usado na otimização dos parâmetros da estratégia.
Só assim você terá uma estimativa realista do desempenho que a estratégia terá no mercado real.
Se vc ficar otimizando os parâmetros da estratégia até o resultado ficar bom no backtest de um período específico, ocorrerá overfitting, ou seja, a estratégia provavelmente estará "viciada" nesse período específico para o qual foi otimizada e não será capaz de repetir o mesmo desempenho em períodos futuros.
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Você concorda com a política do site e com os termos de uso
Oi pessoal,
Estou realizando uma série de back testes em um EA que desenvolvi, cheguei à um ponto onde o lucro está estável, excelente, e o dd em torno de 8~11%. Testado no período de 2014 para cá.
Só venho analisando os parâmetros que me deram maiores lucros, e procuro neles algum que se destaque por ter menor DD. Pego este, faço um teste único e analiso como ele performou, aonde foram os momentos de maiores ganhos, maiores perdas, quando bateu stop, o que gerou isto e por aí vai. E faço novamente uma série de testes analisando outros parâmetros que acho que seriam interessantes de se alterar.
Sei que test back em excesso gera um Over Fitting, mas como os testes são em TF de 5 minutos imagino que um over fitting seja favorável ao meu parâmetro pois neste período de 5 anos já aconteceu centenas de cenários "fortes" que devem ter matado muitos dos parâmetros que testei e muitas estratégias de todo tipo. Me sinto preparado para qualquer cenário que venha a acontecer.
Já que a estratégia foi criada por mim ao longo de mais de 3 anos de estudos só nesta estratégia, e pelo fato do parâmetro que teve melhor relação de lucro/dd ser apenas uma a variação do parâmetro que pretendia usar antes de fazer os testes, estou confiante na minha estratégia e disposto a desprender de uns investimentos em Fundos de ações para testar o EA.
Ao longo destes anos, muito dos fundos ficaram com DD alto, e eu segui neles, confiante, imagino que esta estratégia seja realmente uma alternativa para mim.
Gostaria de saber de vocês, que estão vendo toda essa expectativa de fora, o que estou deixando passar? Certamente não encontrei o setup de ouro do mundo, disto eu sei, mas quero melhorar o máximo que der esta estratégia para que possa utiliza-la, e só tenho analisado lucro e DrawDown.
Obs: Meu stop loss é alto, e só foi batido umas 6 vezes desde 2014. Quando acontece de bater nele, é muito comum que no mesmo dia eu entre de novo após ele e tenha lucro. Ou em no dia seguinte no máximo. E quando digo alto, ainda batendo nele não fere meu capital inicial, o que me permite deixar apenas uma quantidade pequena investida no EA e fazer saques periódicos.
Não faço martingale, meu limite é de 20 contratos, não durmo posicionado, entro aos poucos pra cada sinal que o EA dá para entrar novamente.
Obrigado pela leitura, e estou aberto a ouvir qualquer opinião que seja com o intuito genuíno de gerar uma conversa amigável em prol da evolução de todos.