Los resultados in-sample no son evidencia: lo que aprendimos al retirar nuestro propio modelo de IA

Un modelo que ya ha visto los datos con los que se le evalúa parecerá brillante. Eso no es un descubrimiento sobre los mercados: es una descripción de la memoria. Las únicas cifras que valen algo proceden de datos que el modelo nunca vio al ajustarse.

Si los parámetros de una estrategia —o los pesos de un modelo— se eligieron usando un periodo, los resultados medidos en ese mismo periodo están contaminados por construcción. Ese ajuste fue elegido precisamente porque puntuaba bien allí. Presentarlo como rendimiento es un razonamiento circular disfrazado de gráfico.

No es un problema exclusivo de la IA. Pasar el optimizador del Probador por un periodo y publicar el mejor resultado es el mismo error con menos vocabulario. Cuantos más parámetros y combinaciones se prueben, más seguro es que el ganador esté ajustado al ruido.

¿En qué periodo se eligieron los parámetros y de qué periodo procede la cifra publicada? Si son el mismo, ese número no dice nada del futuro. Si el vendedor no sabe responder, dé por hecho que son el mismo.

El modelo ONNX incluido en Gold Neuron versión 2.x se entrenó con datos de enero de 2020 a julio de 2026. Su backtest dentro de esa ventana era un ajuste in-sample y nunca se obtuvo operando en real. En los años out-of-sample de 2016 a 2019 el modelo perdió dinero en nuestras pruebas, y la cuenta forward mostró esperanza matemática negativa. Por eso sustituimos el motor en la versión 3.10. Dejamos publicado el backtest anterior, etiquetado como in-sample, en vez de borrarlo en silencio.

Una curva in-sample impresionante no es evidencia débil: no es evidencia. Lo honesto no era defender el modelo, sino retirarlo y decir en la descripción del producto qué ventana lo entrenó.