¿Cómo validar si tu EA realmente funciona? - página 2

[Miguel Angel Vico Alba]

Enrique Enguix #:
Sin problema, ahí está el enlace: ¿Las métricas de backtest sirven para algo?

https://www.linkedin.com/pulse/las-m%C3%A9tricas-de-backtest-sirven-para-algo-jaume-antol%C3%AD-plaza-rgarf?utm_source=share&utm_medium=member_android&utm_campaign=share_via

Esto no es una discusión, no tiene la intención de criticar o de atacar a nadie, no es nada más que aportar información a un hilo que pueda servir a quien la lee. "cátedra con bata, fórmulas y fechas milimétrica" porque así lo merece el asunto.

un saludo

Enrique, todo este debate nace de tu afirmacion literal: "El Sharpe pasado no predice de ningun modo el Sharpe futuro. Es una metrica que carece de ningun poder predictivo". Eso es una exageracion tecnica, y el propio articulo que citas no sostiene una conclusion tan radical.

El estudio demuestra algo concreto: que el Sharpe in-sample, usado como unico criterio para elegir entre 1.400 reglas generadas masivamente, no correlaciona con el beneficio forward. De acuerdo. Pero el mismo autor admite que el problema no es la metrica en si, sino el contexto de uso. Cito del articulo: "cuando partes de una hipotesis solida sobre el comportamiento del mercado, las metricas de backtest pueden tener mas sentido como validacion de esa premisa previa". Eso es exactamente lo contrario a decir que el Sharpe no vale para nada.

Si el universo de estrategias es mayormente ruido, cualquier indicador que lo mida tambien lo sera. El experimento cuestiona el metodo de seleccion automatica, no la utilidad del Sharpe como estimador de ventaja ajustada por riesgo. Tu frase convierte una limitacion metodologica en una sentencia absoluta.

El Sharpe no es profecia, pero tampoco es chatarra estadistica. Es una herramienta descriptiva que necesita robustez y OOS para tener sentido. Decir que "carece de ningun poder predictivo" es confundir el mal uso de una metrica con la invalidez de la metrica misma.

[Enrique Enguix]

Miguel Angel Vico Alba #:

Enrique, todo este debate nace de tu afirmacion literal: "El Sharpe pasado no predice de ningun modo el Sharpe futuro. Es una metrica que carece de ningun poder predictivo". Eso es una exageracion tecnica, y el propio articulo que citas no sostiene una conclusion tan radical.

El estudio demuestra algo concreto: que el Sharpe in-sample, usado como unico criterio para elegir entre 1.400 reglas generadas masivamente, no correlaciona con el beneficio forward. De acuerdo. Pero el mismo autor admite que el problema no es la metrica en si, sino el contexto de uso. Cito del articulo: "cuando partes de una hipotesis solida sobre el comportamiento del mercado, las metricas de backtest pueden tener mas sentido como validacion de esa premisa previa". Eso es exactamente lo contrario a decir que el Sharpe no vale para nada.

Si el universo de estrategias es mayormente ruido, cualquier indicador que lo mida tambien lo sera. El experimento cuestiona el metodo de seleccion automatica, no la utilidad del Sharpe como estimador de ventaja ajustada por riesgo. Tu frase convierte una limitacion metodologica en una sentencia absoluta.

El Sharpe no es profecia, pero tampoco es chatarra estadistica. Es una herramienta descriptiva que necesita robustez y OOS para tener sentido. Decir que "carece de ningun poder predictivo" es confundir el mal uso de una metrica con la invalidez de la metrica misma.

🤣 exactamente, lo dijiste muy bien: pasamos de debate de café a cátedra con bata. Mi primera afirmación fue resumen, como el que dice que en España cada vez hace más calor, y al final ya nos metimos en dónde, cuando y por qué hace más calor, y a puntualizar. 

Al final lo importante es que el mensaje ha quedado. Cuidado con el Sharpe🙏. VENGA, edito y puntualizo "cuidado con los criterios de selección de estrategias".

[Ignacio Rubio Bustos Fierro]

Cristian David Castillo Arrieta:

Comparto algunas lecciones aprendidas después de desarrollar y probar múltiples versiones de sistemas automatizados:

 Lo que NO funciona:

• Confiar solo en backtest con profit factor >2
• Optimizar hasta que los números se vean "bonitos"
• Ignorar condiciones de mercado diferentes

 Métricas que realmente importan:

• Consistencia en forward testing (mínimo 3 meses)
• Recovery factor vs Drawdown máximo
• Comportamiento en diferentes volatilidades
• Considerar resultados con Sharpe Ratio mayor a 1.5
• 
  

¿Qué métricas usan ustedes para validar sus sistemas? o ¿Han encontrado alguna que prediga mejor el rendimiento real?

Muy buen resumen, sobre todo la diferencia entre backtests atractivos y robustez real en forward.

Más allá de métricas clásicas como Sharpe, recovery factor o drawdown, algo que en mi experiencia resulta crítico es la estabilidad del edge frente a cambios de régimen de mercado.

Muchos sistemas no fallan por baja rentabilidad promedio, sino porque su ventaja estadística depende de condiciones muy específicas.
Por eso, más que preguntar “qué tan bonita es la curva de equity”, suelo enfocarme en:

• Sensibilidad del rendimiento ante cambios de volatilidad

• Persistencia del edge en períodos estructuralmente distintos

• Qué ocurre con la frecuencia operativa y el drawdown cuando el entorno se deteriora

Las métricas que capturan supervivencia, y no solo rentabilidad, suelen ser mucho más predictivas en real.

A largo plazo, la robustez normalmente proviene de la selectividad y la exposición controlada, más que de la optimización o la frecuencia.

[Enrique Enguix]

Ignacio Rubio Bustos Fierro #:

Muy buen resumen, sobre todo la diferencia entre backtests atractivos y robustez real en forward.

Más allá de métricas clásicas como Sharpe, recovery factor o drawdown, algo que en mi experiencia resulta crítico es la estabilidad del edge frente a cambios de régimen de mercado.

Muchos sistemas no fallan por baja rentabilidad promedio, sino porque su ventaja estadística depende de condiciones muy específicas.
Por eso, más que preguntar “qué tan bonita es la curva de equity”, suelo enfocarme en:

• Sensibilidad del rendimiento ante cambios de volatilidad

• Persistencia del edge en períodos estructuralmente distintos

• Qué ocurre con la frecuencia operativa y el drawdown cuando el entorno se deteriora

Las métricas que capturan supervivencia, y no solo rentabilidad, suelen ser mucho más predictivas en real.

A largo plazo, la robustez normalmente proviene de la selectividad y la exposición controlada, más que de la optimización o la frecuencia.

"Las métricas que capturan supervivencia, y no solo rentabilidad, suelen ser mucho más predictivas en real." 

Yo pienso también eso

[Cristian David Castillo Arrieta]

Ignacio Rubio Bustos Fierro #:

Muy buen resumen, sobre todo la diferencia entre backtests atractivos y robustez real en forward.

Más allá de métricas clásicas como Sharpe, recovery factor o drawdown, algo que en mi experiencia resulta crítico es la estabilidad del edge frente a cambios de régimen de mercado.

Muchos sistemas no fallan por baja rentabilidad promedio, sino porque su ventaja estadística depende de condiciones muy específicas.
Por eso, más que preguntar “qué tan bonita es la curva de equity”, suelo enfocarme en:

• Sensibilidad del rendimiento ante cambios de volatilidad

• Persistencia del edge en períodos estructuralmente distintos

• Qué ocurre con la frecuencia operativa y el drawdown cuando el entorno se deteriora

Las métricas que capturan supervivencia, y no solo rentabilidad, suelen ser mucho más predictivas en real.

A largo plazo, la robustez normalmente proviene de la selectividad y la exposición controlada, más que de la optimización o la frecuencia.

cuáles son esas métricas que capturan supervivencia?