Backtest confiável - WDO

 

Prezados(as):

Tenho duas perguntas:

Depois de fazer backtests diários no braço obtive alguns resultados e gostaria de saber se, pelos resultados, a forma como utilizo os indicadores é confiável.

1ª pergunta: quanto tempo devo considerar para um backtest, 3 meses, 6 meses?


2ª pergunta: desde julho, diariamente, fiz levantamento de 6 indicadores (cruzamento de médias e HILO - desde 5 min até 60min) apenas para o WDO e obtive os seguintes resultados no somatório dos 6 indicadores: JULHO: 450 PONTOS, Agosto: 628 pontos, setembro: 507 pontos e outubro: 205 pontos, até hoje, dia 22/10/2018 . Pergunto: a longo prazo, a forma de utilizar esses indicadores, com os critérios estabelecidos, tem boas chances de ser confiável?

 
Adilson Lenz:

Prezados(as):

Tenho duas perguntas:

Depois de fazer backtests diários no braço obtive alguns resultados e gostaria de saber se, pelos resultados, a forma como utilizo os indicadores é confiável.

1ª pergunta: quanto tempo devo considerar para um backtest, 3 meses, 6 meses?


2ª pergunta: desde julho, diariamente, fiz levantamento de 6 indicadores (cruzamento de médias e HILO - desde 5 min até 60min) apenas para o WDO e obtive os seguintes resultados no somatório dos 6 indicadores: JULHO: 450 PONTOS, Agosto: 628 pontos, setembro: 507 pontos e outubro: 205 pontos, até hoje, dia 22/10/2018 . Pergunto: a longo prazo, a forma de utilizar esses indicadores, com os critérios estabelecidos, tem boas chances de ser confiável?

Resposta à pergunta 1:

Vai depender muito do número de períodos que vc usa na média móvel. Quanto mais longa a média móvel, maior será o prazo necessário para o backtest. Eu sugiro que você use um período de backtest que contenha no mínimo uns 50 cruzamentos da média móvel que você estiver utilizando (o ideal mesmo seria um período contendo pelo menos algumas centenas de cruzamentos).

Resposta à pergunta 2:

Depende de como você apurou esses resultados. Se você tiver selecionado a melhor combinação de parâmetros para a sua estratégia após ter testado muitas combinações no mesmo conjunto de dados, é muito provável que tenha ocorrido overfitting, que é quando o seu modelo preditivo fica "viciado" em um conjunto específico de dados históricos (caso não conheça esse conceito, veja os links abaixo) e, nesse caso, dificilmente o mesmo desempenho se repetirá no futuro. Uma técnica que ajuda a obter estimativas mais realistas do desempenho futuro de uma estratégia de trading (ou de qualquer modelo preditivo de séries temporais, de uma maneira geral) é a chamada "walk forward optimization".

Links para saber mais sobre o que falei: overfitting ; walk forward optimization 

Abraços e bons trades! 

Overfitting - Wikipedia
Overfitting - Wikipedia
  • en.wikipedia.org
Figure 1.  The green line represents an overfitted model and the black line represents a regularized model. While the green line best follows the training data, it is too dependent on that data and it is likely to have a higher error rate on new unseen data, compared to the black line. Figure 2.  Noisy (roughly linear) data is fitted to a...
 
Trader_Patinhas:

Resposta à pergunta 1:

Vai depender muito do número de períodos que vc usa na média móvel. Quanto mais longa a média móvel, maior será o prazo necessário para o backtest. Eu sugiro que você use um período de backtest que contenha no mínimo uns 50 cruzamentos da média móvel que você estiver utilizando (o ideal mesmo seria um período contendo pelo menos algumas centenas de cruzamentos).

Resposta à pergunta 2:

Depende de como você apurou esses resultados. Se você tiver selecionado a melhor combinação de parâmetros para a sua estratégia após ter testado muitas combinações no mesmo conjunto de dados, é muito provável que tenha ocorrido overfitting, que é quando o seu modelo preditivo fica "viciado" em um conjunto específico de dados históricos (caso não conheça esse conceito, veja os links abaixo) e, nesse caso, dificilmente o mesmo desempenho se repetirá no futuro. Uma técnica que ajuda a obter estimativas mais realistas do desempenho futuro de uma estratégia de trading (ou de qualquer modelo preditivo de séries temporais, de uma maneira geral) é a chamada "walk forward optimization".

Links para saber mais sobre o que falei: overfitting ; walk forward optimization 

Abraços e bons trades! 

Agradeço suas respostas. Estou aprendendo!

As médias são de 10 e 20 períodos - 5 e 10 minutos - e já são centenas de cruzamentos; cerca de 4 meses.

Razão: