¿Cómo validar si tu EA realmente funciona? - página 2

Nuevo comentario
Enrique Enguix #:
Sin problema, ahí está el enlace: ¿Las métricas de backtest sirven para algo?

Esto no es una discusión, no tiene la intención de criticar o de atacar a nadie, no es nada más que aportar información a un hilo que pueda servir a quien la lee. "cátedra con bata, fórmulas y fechas milimétrica" porque así lo merece el asunto.

un saludo
Enrique, todo este debate nace de tu afirmacion literal: "El Sharpe pasado no predice de ningun modo el Sharpe futuro. Es una metrica que carece de ningun poder predictivo". Eso es una exageracion tecnica, y el propio articulo que citas no sostiene una conclusion tan radical.

El estudio demuestra algo concreto: que el Sharpe in-sample, usado como unico criterio para elegir entre 1.400 reglas generadas masivamente, no correlaciona con el beneficio forward. De acuerdo. Pero el mismo autor admite que el problema no es la metrica en si, sino el contexto de uso. Cito del articulo: "cuando partes de una hipotesis solida sobre el comportamiento del mercado, las metricas de backtest pueden tener mas sentido como validacion de esa premisa previa". Eso es exactamente lo contrario a decir que el Sharpe no vale para nada.

Si el universo de estrategias es mayormente ruido, cualquier indicador que lo mida tambien lo sera. El experimento cuestiona el metodo de seleccion automatica, no la utilidad del Sharpe como estimador de ventaja ajustada por riesgo. Tu frase convierte una limitacion metodologica en una sentencia absoluta.

El Sharpe no es profecia, pero tampoco es chatarra estadistica. Es una herramienta descriptiva que necesita robustez y OOS para tener sentido. Decir que "carece de ningun poder predictivo" es confundir el mal uso de una metrica con la invalidez de la metrica misma.
Miguel Angel Vico Alba #:
Enrique, todo este debate nace de tu afirmacion literal: "El Sharpe pasado no predice de ningun modo el Sharpe futuro. Es una metrica que carece de ningun poder predictivo". Eso es una exageracion tecnica, y el propio articulo que citas no sostiene una conclusion tan radical.

El estudio demuestra algo concreto: que el Sharpe in-sample, usado como unico criterio para elegir entre 1.400 reglas generadas masivamente, no correlaciona con el beneficio forward. De acuerdo. Pero el mismo autor admite que el problema no es la metrica en si, sino el contexto de uso. Cito del articulo: "cuando partes de una hipotesis solida sobre el comportamiento del mercado, las metricas de backtest pueden tener mas sentido como validacion de esa premisa previa". Eso es exactamente lo contrario a decir que el Sharpe no vale para nada.

Si el universo de estrategias es mayormente ruido, cualquier indicador que lo mida tambien lo sera. El experimento cuestiona el metodo de seleccion automatica, no la utilidad del Sharpe como estimador de ventaja ajustada por riesgo. Tu frase convierte una limitacion metodologica en una sentencia absoluta.

El Sharpe no es profecia, pero tampoco es chatarra estadistica. Es una herramienta descriptiva que necesita robustez y OOS para tener sentido. Decir que "carece de ningun poder predictivo" es confundir el mal uso de una metrica con la invalidez de la metrica misma.
🤣 exactamente, lo dijiste muy bien: pasamos de debate de café a cátedra con bata. Mi primera afirmación fue resumen, como el que dice que en España cada vez hace más calor, y al final ya nos metimos en dónde, cuando y por qué hace más calor, y a puntualizar. 

Al final lo importante es que el mensaje ha quedado. Cuidado con el Sharpe🙏. VENGA, edito y puntualizo "cuidado con los criterios de selección de estrategias".
Cristian David Castillo Arrieta:
Comparto algunas lecciones aprendidas después de desarrollar y probar múltiples versiones de sistemas automatizados:

 Lo que NO funciona:
  • Confiar solo en backtest con profit factor >2
  • Optimizar hasta que los números se vean "bonitos"
  • Ignorar condiciones de mercado diferentes

 Métricas que realmente importan:
  • Consistencia en forward testing (mínimo 3 meses)
  • Recovery factor vs Drawdown máximo
  • Comportamiento en diferentes volatilidades
  • Considerar resultados con Sharpe Ratio mayor a 1.5


¿Qué métricas usan ustedes para validar sus sistemas? o ¿Han encontrado alguna que prediga mejor el rendimiento real?

Muy buen resumen, sobre todo la diferencia entre backtests atractivos y robustez real en forward.

Más allá de métricas clásicas como Sharpe, recovery factor o drawdown, algo que en mi experiencia resulta crítico es la estabilidad del edge frente a cambios de régimen de mercado.

Muchos sistemas no fallan por baja rentabilidad promedio, sino porque su ventaja estadística depende de condiciones muy específicas.
Por eso, más que preguntar “qué tan bonita es la curva de equity”, suelo enfocarme en:

  • Sensibilidad del rendimiento ante cambios de volatilidad

  • Persistencia del edge en períodos estructuralmente distintos

  • Qué ocurre con la frecuencia operativa y el drawdown cuando el entorno se deteriora

Las métricas que capturan supervivencia, y no solo rentabilidad, suelen ser mucho más predictivas en real.

A largo plazo, la robustez normalmente proviene de la selectividad y la exposición controlada, más que de la optimización o la frecuencia.

Ignacio Rubio Bustos Fierro #:

Muy buen resumen, sobre todo la diferencia entre backtests atractivos y robustez real en forward.

Más allá de métricas clásicas como Sharpe, recovery factor o drawdown, algo que en mi experiencia resulta crítico es la estabilidad del edge frente a cambios de régimen de mercado.

Muchos sistemas no fallan por baja rentabilidad promedio, sino porque su ventaja estadística depende de condiciones muy específicas.
Por eso, más que preguntar “qué tan bonita es la curva de equity”, suelo enfocarme en:

  • Sensibilidad del rendimiento ante cambios de volatilidad

  • Persistencia del edge en períodos estructuralmente distintos

  • Qué ocurre con la frecuencia operativa y el drawdown cuando el entorno se deteriora

Las métricas que capturan supervivencia, y no solo rentabilidad, suelen ser mucho más predictivas en real.

A largo plazo, la robustez normalmente proviene de la selectividad y la exposición controlada, más que de la optimización o la frecuencia.

"Las métricas que capturan supervivencia, y no solo rentabilidad, suelen ser mucho más predictivas en real." 

Yo pienso también eso
Ignacio Rubio Bustos Fierro #:

Muy buen resumen, sobre todo la diferencia entre backtests atractivos y robustez real en forward.

Más allá de métricas clásicas como Sharpe, recovery factor o drawdown, algo que en mi experiencia resulta crítico es la estabilidad del edge frente a cambios de régimen de mercado.

Muchos sistemas no fallan por baja rentabilidad promedio, sino porque su ventaja estadística depende de condiciones muy específicas.
Por eso, más que preguntar “qué tan bonita es la curva de equity”, suelo enfocarme en:

  • Sensibilidad del rendimiento ante cambios de volatilidad

  • Persistencia del edge en períodos estructuralmente distintos

  • Qué ocurre con la frecuencia operativa y el drawdown cuando el entorno se deteriora

Las métricas que capturan supervivencia, y no solo rentabilidad, suelen ser mucho más predictivas en real.

A largo plazo, la robustez normalmente proviene de la selectividad y la exposición controlada, más que de la optimización o la frecuencia.

cuáles son esas métricas que capturan supervivencia?

Muy buen hilo. Añado una cosa que en estas listas no suele aparecer y que a mí me ha ahorrado bastantes disgustos.

Todas las métricas que se mencionan (Sharpe, recovery factor, profit factor) tienen el mismo punto ciego: se calculan sobre datos que ya conoces. Si optimizas eligiendo la configuración que maximiza una de ellas, el número que sale no mide la estrategia, mide lo bien que has buscado. Por eso el forward testing es el único de la lista que no se puede falsear hacia atrás.

Y aun así se puede falsear un poco: si el forward va mal, siempre queda la tentación de tocar un parámetro y volver a empezar, y ese reinicio no queda registrado en ningún sitio. Lo que a mí me funciona es dejar los parámetros congelados y fechados antes de arrancar, de forma que no se puedan cambiar a mitad. Suena a burocracia, pero es lo que separa un forward de verdad de una optimización lenta.

¿Cómo lo lleváis vosotros? ¿Guardáis registro de las versiones descartadas o solo de la que acabó funcionando?

12
Nuevo comentario