¿Cómo validar si tu EA realmente funciona?
- Confiar solo en backtest con profit factor >2
- Optimizar hasta que los números se vean "bonitos"
- Ignorar condiciones de mercado diferentes
- Consistencia en forward testing (mínimo 3 meses)
- Recovery factor vs Drawdown máximo
- Comportamiento en diferentes volatilidades
- Considerar resultados con Sharpe Ratio mayor a 1.5
¿Qué métricas usan ustedes para validar sus sistemas? o ¿Han encontrado alguna que prediga mejor el rendimiento real?
Hola. Solo desde mi experiencia voy a comentar algunas cosas que me parecen interesantes. De ningun modo estoy dando una lección, solo es lo que yo pienso:
- Optimizar hasta que los números se vean "bonitos" ---> Optimizar valles, no picos. Si una configuración da unos resultados pero al mover un poco algo (fechas, parámetros,...) el backtest sale mal: NO SIRVE.
- Considerar resultados de Sharpe Ratio mayor a 1.5 ---> El Sharpe pasado no predice de ningun modo el Sharpe futuro. Es una métrica que carece de ningun poder predictivo.
- Ignorar condiciones de mercado / Comportamiento en diferentes volatilidades ---> Pienso igual. Si el EA no es capaz de seguir distintos ritmos del pasado, no seguirá distintos ritmos del futuro.
- Recovery Factor vs DD máximo ---> Lo mismo de antes, esas métricas no predicen de ningun modo el futuro. La correlación es prácticamente cero. si trabajas en forward en el Strategy Tester lo puedes comprobar.
Hola. Solo desde mi experiencia voy a comentar algunas cosas que me parecen interesantes. De ningun modo estoy dando una lección, solo es lo que yo pienso:
- Optimizar hasta que los números se vean "bonitos" ---> Optimizar valles, no picos. Si una configuración da unos resultados pero al mover un poco algo (fechas, parámetros,...) el backtest sale mal: NO SIRVE.
- Considerar resultados de Sharpe Ratio mayor a 1.5 ---> El Sharpe pasado no predice de ningun modo el Sharpe futuro. Es una métrica que carece de ningun poder predictivo.
- Ignorar condiciones de mercado / Comportamiento en diferentes volatilidades ---> Pienso igual. Si el EA no es capaz de seguir distintos ritmos del pasado, no seguirá distintos ritmos del futuro.
- Recovery Factor vs DD máximo ---> Lo mismo de antes, esas métricas no predicen de ningun modo el futuro. La correlación es prácticamente cero. si trabajas en forward en el Strategy Tester lo puedes comprobar.
El Sharpe no es una profecía, pero tampoco es un adorno estadístico. No predice el futuro de forma determinista, cierto, pero sí estima una esperanza matemática bajo los datos observados. Descartarlo por completo sería como negar cualquier análisis cuantitativo: imperfecto, sí, pero es la mejor aproximación racional que tenemos para evaluar si una estrategia tiene ventaja o no.
Muy bien dicho!, almenos a mi el sharpe me sirve para determinar si vale la pena o no probar una configuracion especifica, por experiencia si establezco la medicion de los resultados de optimizacion en el simulador, casi siempre las curvas resultan muy interesantes:
Ademas de ofrecer una velocidad mayor en el proceso de calculo de la optimización.
Muy bien dicho!, almenos a mi el sharpe me sirve para determinar si vale la pena o no probar una configuracion especifica, por experiencia si establezco la medicion de los resultados de optimizacion en el simulador, casi siempre las curvas resultan muy interesantes:
Ademas de ofrecer una velocidad mayor en el proceso de calculo de la optimización.
Los pases con mejor ratio de sharpe proyectan ese sharpe al periodo forward? Entonces fantástico, me alegro que os sirva!
El Sharpe no se proyecta como una fotocopia al futuro, igual que ninguna métrica lo hace.
Pero entre decidir a ciegas y decidir con una estimación de esperanza ajustada por riesgo, me quedo con lo segundo. No es promesa, es información.
La esperanza matemática debe de ser un mito estadístico...
El Sharpe no se proyecta como una fotocopia al futuro, igual que ninguna métrica lo hace.
Pero entre decidir a ciegas y decidir con una estimación de esperanza ajustada por riesgo, me quedo con lo segundo. No es promesa, es información.
La esperanza matemática debe de ser un mito estadístico...
Gracias Miguel, ademas del Sharpe para ti que otra medida es fundamental considerar en el proceso de optimizacion?
- Primero, que exista una ventaja estadística real: esperanza por trade positiva y estable, no sostenida por dos operaciones milagro.
- Segundo, mirar el riesgo estructural: relación beneficio/drawdown tipo MAR o Ulcer, no quedarse solo en el profit factor.
- Tercero, la prueba de fuego: robustez, que el resultado aguante pequeñas variaciones de parámetros, de spread y de ventana temporal.
Si eso no se cumple, el resto de métricas acaban siendo pura cosmética numérica.
Edito: Peter Martin introdujo el Ulcer Index en 1987 en su libro "The Investor’s Guide to Fidelity Funds", precisamente para medir el riesgo desde la perspectiva que más duele al inversor real: profundidad y duración de las caídas, no la volatilidad simétrica que usa el Sharpe.
Espero te sea útil.
Samuel Williams, 2018.01.29 14:09
This Ulcer Index indicator was derived from the stock risk indicator by Peter Martin in the 1987 book "The Investors Guide to Fidelity Funds".El Sharpe no se proyecta como una fotocopia al futuro, igual que ninguna métrica lo hace.
Pero entre decidir a ciegas y decidir con una estimación de esperanza ajustada por riesgo, me quedo con lo segundo. No es promesa, es información.
La esperanza matemática debe de ser un mito estadístico...
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Usted acepta la política del sitio web y las condiciones de uso
¿Qué métricas usan ustedes para validar sus sistemas? o ¿Han encontrado alguna que prediga mejor el rendimiento real?