A importância dos detalhes nos testes de um EA

 

Pessoal,

Queria dar uma dica aprendida a pouco com relação ao teste de EA.

Não sei se todos sabem mas na página de otimização de resultados, tem umas colunas "escondidas" mega importantes (na figura anexa).

Das 3 colunas, uma - a do meio - mostra a perda de capital durante o período analisado. Note que essa otimização foi feita com o critério de Balance Max (Lucro máximo) que resultou em R$ 16k no período com uma perda próxima de 18% de recursos na conta.

A outra simulação (com a mesma estratégia) mostra um ganho menor, mas com uma perda de 8%

Gostaria de manter este tópico aberto para aqueles que desejarem debater os seguintes resultados:

Qual estratégia é melhor ? 24 trades para R$ 4.494,00 (R$ 10.500,00 para 56 trades projetado) ou 56 trades para R$ 16k ?

[]s

MRC 

Arquivos anexados:
Teste1.png  150 kb
Teste2.png  166 kb
 
YouTrade:


Qual estratégia é melhor ? 24 trades para R$ 4.494,00 (R$ 10.500,00 para 56 trades projetado) ou 56 trades para R$ 16k ? 

Olá Marcelo, antes de mais nada, ótimo tópico e observação, a meu ver essas colunas deveriam, por default, serem exibidas (pelo menos algumas delas) pela relevância de suas informações para escolha do setup.

Mas ao invés de responder "qual a estratégia é melhor" vou tentar responder qual decisão de setup seria a mais racional, afinal as estratégias utilizadas são iguais e melhor/pior é algo muito pessoal e dependente de perfil do trader. 

Nesse sentido, um ponto que não vi nos teus comentários e que me chamou atenção nos seus testes é que a segunda otimização, apesar de apresentar um maior rebaixamento (18,48% contra 8,03%), apresenta um maior fator de recuperação (8,44 contra 4,93).

Note-se também que um rebaixamento abaixo de 20% não é necessariamente crítico, principalmente em robôs com objetivos de ganho acima da média. 

Dessa forma, considero esse fator crítico na definição de qual otimização iria gerar melhores resultados de fato ou seria a mais racional, afinal estamos em um backtesting, e sem forward testing.

Para mim, nesse caso, onde se apresenta um paradoxo, o mais racional seria colocar os dois setups para competir em contas independentes, para ver qual realmente irá performar como no backtesting, se é que algum deles realmente vai conseguir isso.

Mas não sei se essa resposta vale! :-)

Abs. 

 
YouTrade:

Qual estratégia é melhor ? 24 trades para R$ 4.494,00 (R$ 10.500,00 para 56 trades projetado) ou 56 trades para R$ 16k ?

Olá Coutinho, parabéns pelo tópico! Realmente vejo muita subjetividade na escolha do "melhor" sertup... Tecnicamente falando o melhor setup deveria ser aquele com o maior índice de Sharpe, mas pelo visto essa medida não está disponível na sua análise.

Já que esse tópico abre uma pequena brecha para subjetividade, vou aqui dar minha opinião: nos últimos 10 anos lidando com clientes traders, te digo que a esmagadora maioria não suportaria um drawdown próximo a 20%; logo, qualquer EA que gere um DD tão alto seria "aposentado" rapidamente CASO nós estejamos falando de Bolsa de Valores... 

No caso de Forex a situação parece que muda radicalmente, uma vez que a facilidade de abertura de várias contas pequenas para pessoas físicas é muito grande, o que leva muitos traders a experimentarem EA's "kamikaze", com DD elevadíssimo!

Logo, em minha humilde opinião, enquanto é comum encontrar EA's com DD da ordem de 50-80 % em Forex, eu realmente tendo a questionar se isso seria aplicável na nossa realidade de Bolsa de Valores.

Logo, se eu pudesse elencar, na prática, a medida mais importante de um EA, essa certamente seria o drawdown...
 
Malacarne:
Olá Coutinho, parabéns pelo tópico! Realmente vejo muita subjetividade na escolha do "melhor" sertup... Tecnicamente falando o melhor setup deveria ser aquele com o maior índice de Sharpe, mas pelo visto essa medida não está disponível na sua análise.

Olá Malacarne, poderia explicar melhor porque tecnicamente o melhor setup deveria ser aquele com maior Índice de Sharpe?

Para ser sincero, apesar de tradicional, uma vez que foi criado em 1966, vejo que a maior parte dos traders e algoritmos de otimização utilizam pouco o Índice de Sharpe em sistemas de negociação automáticos.

Pessoalmente, também prefiro utilizar métodos genéticos e híbridos para definição de critérios de risco/retorno na otimização, portanto se puderes compartilhar tua experiência nesse sentido, seria ótimo entender que faixa de valores você utilizaria para otimizar um trading system? 

Ou ainda, como você faz o tratamento de valores negativos? Existe alguma diferença de critério trabalhando com múltiplos instrumentos ou apenas um?

Obrigado por compartilhar.

 
figurelli:

Olá Malacarne, poderia explicar melhor porque tecnicamente o melhor setup deveria ser aquele com maior Índice de Sharpe?

Para ser sincero, apesar de tradicional, uma vez que foi criado em 1966, vejo que a maior parte dos traders e algoritmos de otimização utilizam pouco o Índice de Sharpe em sistemas de negociação automáticos.

Pessoalmente, também prefiro utilizar métodos genéticos e híbridos para definição de critérios de risco/retorno na otimização, portanto se puderes compartilhar tua experiência nesse sentido, seria ótimo entender que faixa de valores você utilizaria para otimizar um trading system? 

Ou ainda, como você faz o tratamento de valores negativos? Existe alguma diferença de critério trabalhando com múltiplos instrumentos ou apenas um?

Obrigado por compartilhar.

Talvez eu tenha sido um pouco enfático ao dizer que o índice de Sharpe é a "melhor" medida pra se analisar um backtest. De fato ela é a mais usada pela indústria, e, portanto, a grande maioria das análises de performance passada levam em consideração a relação risco-retorno através dessa medida "tradicional". Também existem diversos artigos que criticam esse índice e apontam diversas limitações em seu uso (gosto muito de um artigo escrito na The Economist sobre esse assunto).

Mas pessoalmente eu não vejo nenhuma lógica em se analisar o retorno de um EA sem compará-lo ao seu risco. Por isso eu uso, e continuarei usando, a métrica do Índice de Sharpe (em conjunto com outras medidas, como o drawdown) para selecionar os "melhores" setups.

Uma boa referência, para aqueles interessados, sobre como avaliar e otimizar estratégias é o livro do Robert Pardo sobre esse assunto. Aliás, na pág. 94 o próprio autor fala exatamente sobre essa questão: "o índice de Sharpe é extremamente valioso porque é uma métrica usada por muitos investidores profissionais, ainda que não seja oferecida por muitos softwares" (tradução minha).

In praise of volatility
In praise of volatility
  • www.economist.com
THE irony is neat. The latest victim of the Madoff scandal turns out to be a small American hedge fund called GMB Low Volatility, which found it had 17% of its assets invested with the alleged fraudster through a third party. Low volatility was a large part of Bernard Madoff's appeal. He offered nice, smooth returns—such a contrast with the...
 

Olá Marcelo!

Em minha humilde opinião, dizer qual é a melhor estratégia é bem complicado! Acredito que o ideal era ter um forward testing (ou deixar 2 demos rodando por algum tempo) pra poder comparar a performance dos passes, mas o melhor mesmo seria abrir duas contas e coloca-los em teste. Se eu não tivesse urgência pra esse EA e não pudesse fazer forward testing pela otimização, eu largaria nas demos por algum tempo. Como seu EA aparenta ter poucos trades no período otimizado, não é pra ter diferenças significativas entre as contas demo e real.

Digamos que as duas estratégias funcionem bem no forward testing e  você pretende disponibilizar isso para os seus clientes, ai é seu cliente que vai te dizer qual é o melhor de acordo com sua aversão ao risco hahaha

Os relatórios fornecem a você várias informações valiosas, mas o que geralmente eu costumo ver é o sharpe ratio, a % de vitórias, o DD, fator de recuperação e o lucro.

Eu vou deixar dois links que falam um pouco sobre os métodos estatísticos que os relatórios disponibilizam para nossa análise, vale muito a pena ler!!! :)

The Best Strategies of the 2006-2010 Automated Trading Championships

Mathematics in Trading: How to estimate Trade results


Abraço,

Romeu.

 


 
Malacarne:

Talvez eu tenha sido um pouco enfático ao dizer que o índice de Sharpe é a "melhor" medida pra se analisar um backtest. De fato ela é a mais usada pela indústria, e, portanto, a grande maioria das análises de performance passada levam em consideração a relação risco-retorno através dessa medida "tradicional". Também existem diversos artigos que criticam esse índice e apontam diversas limitações em seu uso (gosto muito de um artigo escrito na The Economist sobre esse assunto).

Mas pessoalmente eu não vejo nenhuma lógica em se analisar o retorno de um EA sem compará-lo ao seu risco. Por isso eu uso, e continuarei usando, a métrica do Índice de Sharpe (em conjunto com outras medidas, como o drawdown) para selecionar os "melhores" setups.

Uma boa referência, para aqueles interessados, sobre como avaliar e otimizar estratégias é o livro do Robert Pardo sobre esse assunto. Aliás, na pág. 94 o próprio autor fala exatamente sobre essa questão: "o índice de Sharpe é extremamente valioso porque é uma métrica usada por muitos investidores profissionais, ainda que não seja oferecida por muitos softwares" (tradução minha).

Agora entendi tua posição, mas considerando que o MT4 é líder de mercado no Forex e talvez a plataforma de algoritmos mais usada no mundo, apesar de não ter o índice de Sharpe como critério de otimização, o que só entrou no MT5, eu não consideraria esse índice o mais utilizado pela indústria ou ainda pelos demais usuários para a otimização de trading systems, mas apenas mais uma opção.
 
figurelli:
Agora entendi tua posição, mas considerando que o MT4 é líder de mercado no Forex e talvez a plataforma de algoritmos mais usada no mundo, apesar de não ter o índice de Sharpe como critério de otimização, o que só entrou no MT5, eu não consideraria esse índice o mais utilizado pela indústria ou ainda pelos demais usuários para a otimização de trading systems, mas apenas mais uma opção.
Não me refiro à indústria de softwares, mas sim à indústria financeira global! Qualquer que seja o país, qualquer que seja a estratégia, qualquer analisa financeiro conhece a métrica do Índice de Sharpe e a usa efetivamente como ferramente de tomada de decisão para comparação entre diferentes tipos de investimento de risco.
 
Malacarne:
Não me refiro à indústria de softwares, mas sim à indústria financeira global! Qualquer que seja o país, qualquer que seja a estratégia, qualquer analisa financeiro conhece a métrica do Índice de Sharpe e a usa efetivamente como ferramente de tomada de decisão para comparação entre diferentes tipos de investimento de risco.
Também não estou falando de indústria de software, mas de métricas de backtesting, como o Marcelo apresentou no tópico.
 

So pra entender ... quais níveis de Sharp devo buscar ?

Minha média está em Profit Factor 5,0, Drawdown 7,0, Recovery Factor 7,0 e Sharp 0,35.

[]s

MRC 

 
YouTrade:

So pra entender ... quais níveis de Sharp devo buscar ?

Minha média está em Profit Factor 5,0, Drawdown 7,0, Recovery Factor 7,0 e Sharp 0,35.

[]s

MRC 

Olá Coutinho,

a ideia por trás dessa métrica é que quanto maior o Índice de Sharpe, melhor a sua relação risco-retorno.