A importância dos detalhes nos testes de um EA
Qual estratégia é melhor ? 24 trades para R$ 4.494,00 (R$ 10.500,00 para 56 trades projetado) ou 56 trades para R$ 16k ?
Olá Marcelo, antes de mais nada, ótimo tópico e observação, a meu ver essas colunas deveriam, por default, serem exibidas (pelo menos algumas delas) pela relevância de suas informações para escolha do setup.
Mas ao invés de responder "qual a estratégia é melhor" vou tentar responder qual decisão de setup seria a mais racional, afinal as estratégias utilizadas são iguais e melhor/pior é algo muito pessoal e dependente de perfil do trader.
Nesse sentido, um ponto que não vi nos teus comentários e que me chamou atenção nos seus testes é que a segunda otimização, apesar de apresentar um maior rebaixamento (18,48% contra 8,03%), apresenta um maior fator de recuperação (8,44 contra 4,93).
Note-se também que um rebaixamento abaixo de 20% não é necessariamente crítico, principalmente em robôs com objetivos de ganho acima da média.
Dessa forma, considero esse fator crítico na definição de qual otimização iria gerar melhores resultados de fato ou seria a mais racional, afinal estamos em um backtesting, e sem forward testing.
Para mim, nesse caso, onde se apresenta um paradoxo, o mais racional seria colocar os dois setups para competir em contas independentes, para ver qual realmente irá performar como no backtesting, se é que algum deles realmente vai conseguir isso.
Mas não sei se essa resposta vale! :-)
Abs.
Qual estratégia é melhor ? 24 trades para R$ 4.494,00 (R$ 10.500,00 para 56 trades projetado) ou 56 trades para R$ 16k ?
Olá Coutinho, parabéns pelo tópico! Realmente vejo muita subjetividade na escolha do "melhor" sertup... Tecnicamente falando o melhor setup deveria ser aquele com o maior índice de Sharpe, mas pelo visto essa medida não está disponível na sua análise.
Olá Malacarne, poderia explicar melhor porque tecnicamente o melhor setup deveria ser aquele com maior Índice de Sharpe?
Para ser sincero, apesar de tradicional, uma vez que foi criado em 1966, vejo que a maior parte dos traders e algoritmos de otimização utilizam pouco o Índice de Sharpe em sistemas de negociação automáticos.
Pessoalmente, também prefiro utilizar métodos genéticos e híbridos para definição de critérios de risco/retorno na otimização, portanto se puderes compartilhar tua experiência nesse sentido, seria ótimo entender que faixa de valores você utilizaria para otimizar um trading system?
Ou ainda, como você faz o tratamento de valores negativos? Existe alguma diferença de critério trabalhando com múltiplos instrumentos ou apenas um?
Obrigado por compartilhar.
Olá Malacarne, poderia explicar melhor porque tecnicamente o melhor setup deveria ser aquele com maior Índice de Sharpe?
Para ser sincero, apesar de tradicional, uma vez que foi criado em 1966, vejo que a maior parte dos traders e algoritmos de otimização utilizam pouco o Índice de Sharpe em sistemas de negociação automáticos.
Pessoalmente, também prefiro utilizar métodos genéticos e híbridos para definição de critérios de risco/retorno na otimização, portanto se puderes compartilhar tua experiência nesse sentido, seria ótimo entender que faixa de valores você utilizaria para otimizar um trading system?
Ou ainda, como você faz o tratamento de valores negativos? Existe alguma diferença de critério trabalhando com múltiplos instrumentos ou apenas um?
Obrigado por compartilhar.
Talvez eu tenha sido um pouco enfático ao dizer que o índice de Sharpe é a "melhor" medida pra se analisar um backtest. De fato ela é a mais usada pela indústria, e, portanto, a grande maioria das análises de performance passada levam em consideração a relação risco-retorno através dessa medida "tradicional". Também existem diversos artigos que criticam esse índice e apontam diversas limitações em seu uso (gosto muito de um artigo escrito na The Economist sobre esse assunto).
Mas pessoalmente eu não vejo nenhuma lógica em se analisar o retorno de um EA sem compará-lo ao seu risco. Por isso eu uso, e continuarei usando, a métrica do Índice de Sharpe (em conjunto com outras medidas, como o drawdown) para selecionar os "melhores" setups.
Uma boa referência, para aqueles interessados, sobre como avaliar e otimizar estratégias é o livro do Robert Pardo sobre esse assunto. Aliás, na pág. 94 o próprio autor fala exatamente sobre essa questão: "o índice de Sharpe é extremamente valioso porque é uma métrica usada por muitos investidores profissionais, ainda que não seja oferecida por muitos softwares" (tradução minha).
- www.economist.com
Olá Marcelo!
Em minha humilde opinião, dizer qual é a melhor estratégia é bem complicado! Acredito que o ideal era ter um forward testing (ou deixar 2 demos rodando por algum tempo) pra poder comparar a performance dos passes, mas o melhor mesmo seria abrir duas contas e coloca-los em teste. Se eu não tivesse urgência pra esse EA e não pudesse fazer forward testing pela otimização, eu largaria nas demos por algum tempo. Como seu EA aparenta ter poucos trades no período otimizado, não é pra ter diferenças significativas entre as contas demo e real.
Digamos que as duas estratégias funcionem bem no forward testing e você pretende disponibilizar isso para os seus clientes, ai é seu cliente que vai te dizer qual é o melhor de acordo com sua aversão ao risco hahaha
Os relatórios fornecem a você várias informações valiosas, mas o que geralmente eu costumo ver é o sharpe ratio, a % de vitórias, o DD, fator de recuperação e o lucro.
Eu vou deixar dois links que falam um pouco sobre os métodos estatísticos que os relatórios disponibilizam para nossa análise, vale muito a pena ler!!! :)
The Best Strategies of the 2006-2010 Automated Trading Championships
Mathematics in Trading: How to estimate Trade results
Abraço,
Romeu.
Talvez eu tenha sido um pouco enfático ao dizer que o índice de Sharpe é a "melhor" medida pra se analisar um backtest. De fato ela é a mais usada pela indústria, e, portanto, a grande maioria das análises de performance passada levam em consideração a relação risco-retorno através dessa medida "tradicional". Também existem diversos artigos que criticam esse índice e apontam diversas limitações em seu uso (gosto muito de um artigo escrito na The Economist sobre esse assunto).
Mas pessoalmente eu não vejo nenhuma lógica em se analisar o retorno de um EA sem compará-lo ao seu risco. Por isso eu uso, e continuarei usando, a métrica do Índice de Sharpe (em conjunto com outras medidas, como o drawdown) para selecionar os "melhores" setups.
Uma boa referência, para aqueles interessados, sobre como avaliar e otimizar estratégias é o livro do Robert Pardo sobre esse assunto. Aliás, na pág. 94 o próprio autor fala exatamente sobre essa questão: "o índice de Sharpe é extremamente valioso porque é uma métrica usada por muitos investidores profissionais, ainda que não seja oferecida por muitos softwares" (tradução minha).
Agora entendi tua posição, mas considerando que o MT4 é líder de mercado no Forex e talvez a plataforma de algoritmos mais usada no mundo, apesar de não ter o índice de Sharpe como critério de otimização, o que só entrou no MT5, eu não consideraria esse índice o mais utilizado pela indústria ou ainda pelos demais usuários para a otimização de trading systems, mas apenas mais uma opção.
Não me refiro à indústria de softwares, mas sim à indústria financeira global! Qualquer que seja o país, qualquer que seja a estratégia, qualquer analisa financeiro conhece a métrica do Índice de Sharpe e a usa efetivamente como ferramente de tomada de decisão para comparação entre diferentes tipos de investimento de risco.
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Você concorda com a política do site e com os termos de uso
Pessoal,
Queria dar uma dica aprendida a pouco com relação ao teste de EA.
Não sei se todos sabem mas na página de otimização de resultados, tem umas colunas "escondidas" mega importantes (na figura anexa).
Das 3 colunas, uma - a do meio - mostra a perda de capital durante o período analisado. Note que essa otimização foi feita com o critério de Balance Max (Lucro máximo) que resultou em R$ 16k no período com uma perda próxima de 18% de recursos na conta.
A outra simulação (com a mesma estratégia) mostra um ganho menor, mas com uma perda de 8%
Gostaria de manter este tópico aberto para aqueles que desejarem debater os seguintes resultados:
Qual estratégia é melhor ? 24 trades para R$ 4.494,00 (R$ 10.500,00 para 56 trades projetado) ou 56 trades para R$ 16k ?
[]s
MRC