¿Cómo validar si tu EA realmente funciona?

 
Comparto algunas lecciones aprendidas después de desarrollar y probar múltiples versiones de sistemas automatizados:

 Lo que NO funciona:
  • Confiar solo en backtest con profit factor >2
  • Optimizar hasta que los números se vean "bonitos"
  • Ignorar condiciones de mercado diferentes

 Métricas que realmente importan:
  • Consistencia en forward testing (mínimo 3 meses)
  • Recovery factor vs Drawdown máximo
  • Comportamiento en diferentes volatilidades
  • Considerar resultados con Sharpe Ratio mayor a 1.5


¿Qué métricas usan ustedes para validar sus sistemas? o ¿Han encontrado alguna que prediga mejor el rendimiento real?

 
Cristian David Castillo Arrieta:
Comparto algunas lecciones aprendidas después de desarrollar y probar múltiples versiones de sistemas automatizados:

 Lo que NO funciona:
  • Confiar solo en backtest con profit factor >2
  • Optimizar hasta que los números se vean "bonitos"
  • Ignorar condiciones de mercado diferentes

 Métricas que realmente importan:
  • Consistencia en forward testing (mínimo 3 meses)
  • Recovery factor vs Drawdown máximo
  • Comportamiento en diferentes volatilidades
  • Considerar resultados con Sharpe Ratio mayor a 1.5


¿Qué métricas usan ustedes para validar sus sistemas? o ¿Han encontrado alguna que prediga mejor el rendimiento real?

Hola. Solo desde mi experiencia voy a comentar algunas cosas que me parecen interesantes. De ningun modo estoy dando una lección, solo es lo que yo pienso:

  • Optimizar hasta que los números se vean "bonitos" ---> Optimizar valles, no picos. Si una configuración da unos resultados pero al mover un poco algo (fechas, parámetros,...) el backtest sale mal: NO SIRVE. 
  • Considerar resultados de Sharpe Ratio mayor a 1.5 ---> El Sharpe pasado no predice de ningun modo el Sharpe futuro. Es una métrica que carece de ningun poder predictivo.
  • Ignorar condiciones de mercado / Comportamiento en diferentes volatilidades ---> Pienso igual. Si el EA no es capaz de seguir distintos ritmos del pasado, no seguirá distintos ritmos del futuro.
  • Recovery Factor vs DD máximo ---> Lo mismo de antes, esas métricas no predicen de ningun modo el futuro. La correlación es prácticamente cero. si trabajas en forward en el Strategy Tester lo puedes comprobar.

 
Enrique Enguix #:

Hola. Solo desde mi experiencia voy a comentar algunas cosas que me parecen interesantes. De ningun modo estoy dando una lección, solo es lo que yo pienso:

  • Optimizar hasta que los números se vean "bonitos" ---> Optimizar valles, no picos. Si una configuración da unos resultados pero al mover un poco algo (fechas, parámetros,...) el backtest sale mal: NO SIRVE. 
  • Considerar resultados de Sharpe Ratio mayor a 1.5 ---> El Sharpe pasado no predice de ningun modo el Sharpe futuro. Es una métrica que carece de ningun poder predictivo.
  • Ignorar condiciones de mercado / Comportamiento en diferentes volatilidades ---> Pienso igual. Si el EA no es capaz de seguir distintos ritmos del pasado, no seguirá distintos ritmos del futuro.
  • Recovery Factor vs DD máximo ---> Lo mismo de antes, esas métricas no predicen de ningun modo el futuro. La correlación es prácticamente cero. si trabajas en forward en el Strategy Tester lo puedes comprobar.

El Sharpe no es una profecía, pero tampoco es un adorno estadístico. No predice el futuro de forma determinista, cierto, pero sí estima una esperanza matemática bajo los datos observados. Descartarlo por completo sería como negar cualquier análisis cuantitativo: imperfecto, sí, pero es la mejor aproximación racional que tenemos para evaluar si una estrategia tiene ventaja o no.
 
Miguel Angel Vico Alba #:
El Sharpe no es una profecía, pero tampoco es un adorno estadístico. No predice el futuro de forma determinista, cierto, pero sí estima una esperanza matemática bajo los datos observados. Descartarlo por completo sería como negar cualquier análisis cuantitativo: imperfecto, sí, pero es la mejor aproximación racional que tenemos para evaluar si una estrategia tiene ventaja o no.

Muy bien dicho!, almenos a mi el sharpe me sirve para determinar si vale la pena o no probar una configuracion especifica, por experiencia si establezco la medicion de los resultados de optimizacion en el simulador, casi siempre las curvas resultan muy interesantes:


Optimizacion Sharpe Max


Sharpe Result

Sharpe Result 2

Sharpe analisis


Ademas de ofrecer una velocidad mayor en el proceso de calculo de la  optimización.

 
Cristian David Castillo Arrieta #:

Muy bien dicho!, almenos a mi el sharpe me sirve para determinar si vale la pena o no probar una configuracion especifica, por experiencia si establezco la medicion de los resultados de optimizacion en el simulador, casi siempre las curvas resultan muy interesantes:




Ademas de ofrecer una velocidad mayor en el proceso de calculo de la  optimización.

Los pases con mejor ratio de sharpe proyectan ese sharpe al periodo forward? Entonces fantástico, me alegro que os sirva!
 
Enrique Enguix #:
Los pases con mejor ratio de sharpe proyectan ese sharpe al periodo forward? Entonces fantástico, me alegro que os sirva!

El Sharpe no se proyecta como una fotocopia al futuro, igual que ninguna métrica lo hace.

Pero entre decidir a ciegas y decidir con una estimación de esperanza ajustada por riesgo, me quedo con lo segundo. No es promesa, es información.

La esperanza matemática debe de ser un mito estadístico...