Discusión sobre el artículo "Remuestreo avanzado y selección de modelos CatBoost con el método de fuerza bruta" - página 2

 
Aleksey Vyazmikin:

Artículo interesante.

Tengo la sensación de que con esta jugada tramposa con la asignación aleatoria y la generación de pseudomuestras, sólo encontramos dependencias similares del periodo de entrenamiento significativas en el test.

¿Qué porcentaje de modelos fallan en la prueba?

Sería interesante añadir una tercera muestra -aprendamos de la primera, seleccionemos resultados de bondad de ajuste dados en la prueba, y comprobemos el resultado de la selección en el examen.

Pero, ¿cómo podemos encontrar correlaciones similares si el mercado es aleatorio? La respuesta es ninguna, sólo introduciendo datos pasados en el entrenamiento. Y aquí no hay nada. Puedes añadir incluso una décima muestra o probarlo en MT5 con nuevos datos.
 
Stanislav Korotky:
El principal punto discutible es aprender de los datos más recientes y hacer pruebas con datos más antiguos. Esto es algo análogo a mirar hacia el futuro: los últimos modelos actuales incorporan algo de modelos anteriores (los participantes en el mercado tienen memoria, después de todo), pero en la dirección opuesta es más difícil predecir el futuro. Creo que si se reinicia el algoritmo de la forma canónica (entrenamiento con datos antiguos, pruebas con datos nuevos, es más parecido a la realidad), el resultado no es tan bueno.
No hay ninguna diferencia, se puede comprobar. Simplemente me gusta más así.
 
Valeriy Yastremskiy:

Depende de lo que se considere una regularidad, si es el orden de sucesión de los incrementos, ligado al tiempo, entonces es una regularidad estacional de comportamiento de los incrementos, si no está ligado, entonces la misma secuencia de incrementos con cierta libertad en la precisión.

Y depende de lo que se considere ajuste. Si las series son idénticas a sabiendas, entonces es un ajuste, pero el propósito de la prueba (no importa de qué lado) es comprobar el resultado en áreas no idénticas.

Y la logica de entrenar en el periodo cercano es logica, pero es lo mismo, si probamos en la profundidad de la historia, el resultado deberia ser el mismo, si entrenamos en la profundidad de la historia, y probamos en el periodo cercano.

Sólo confirmamos la hipótesis de que hay regularidades en los gráficos de prueba y entrenamiento.

Ajuste - si el predictor (hoja o análogo) clasificó un pequeño número de casos, menos del 1% de las observaciones - este soy yo explicando lo que es para mí el ajuste.

 
Maxim Dmitrievsky:
Pero, ¿cómo podemos encontrar relaciones similares si el mercado es aleatorio? La respuesta es que no podemos, sólo introduciendo datos pasados en el entrenamiento. Y aquí no se mezcla nada. Puedes añadir incluso 10 muestras, o puedes probar en MT5 con nuevos datos.

Entiendo que no hay spoofing. No sé Python, pero me parece que el modelo se estima de 2015 a 2020, ¿no?

Me refiero más a la validez del criterio de estimación, hasta qué punto puede ayudar a seleccionar un modelo que funcione fuera de la muestra de prueba que se utilizó para seleccionarlo.

 
Aleksey Vyazmikin:

Según tengo entendido no se barre. No sé Python, pero me parece que la evaluación del modelo es de 2015 a 2020, ¿correcto?

Me refiero más a la validez del criterio de evaluación, hasta qué punto puede ayudar a seleccionar un modelo que funcione fuera de la muestra de prueba que se utilizó para seleccionarlo.

Cada uno puede evaluar como quiera. Creo que el enfoque del artículo es bastante normal. Normal. Si hay alguna otra técnica de prueba supergaláctica, por favor, hágamelo saber.

Sin python, por desgracia, el aprendizaje automático es casi inexistente... Tendré que aprenderlo tarde o temprano, es muy sencillo )

 
Maxim Dmitrievsky:

Cada uno es libre de evaluar como quiera. Creo que el enfoque del artículo es bastante normal. Normal. Si hay alguna otra tecnología de pruebas supergalácticas, por favor, hágamelo saber.

El planteamiento del artículo es interesante, aquí no hay discusión.

Y ya inventaremos tecnologías supergalácticas :)

Creo que podemos mirar la significación de los predictores por el número, digamos hasta el 1%, y comparar este indicador en diferentes modelos, donde el número es menor, la probabilidad de que el modelo funcione es mayor, ya que ha generalizado más información - debemos pensar de esta manera.

 
Aleksey Vyazmikin:

Según tengo entendido no se barre. No sé Python, pero me parece que la evaluación del modelo es de 2015 a 2020, ¿correcto?

Me refiero más a la validez del criterio de evaluación, hasta qué punto puede ayudar a seleccionar un modelo que funcione fuera de la muestra de prueba que se utilizó para seleccionarlo.

En la medida en que las series serán similares. Existe una probabilidad de que el comportamiento de una serie fuera de la muestra de prueba difiera tanto que desaparezcan las regularidades encontradas. Pero es finita y pequeña en una escala temporal reducida.

Y no puede ayudar.

 
Valeriy Yastremskiy:

Por mucho que las series sean similares. Existe una probabilidad de que el comportamiento de la serie fuera de la muestra de prueba difiera tanto que desaparezcan las regularidades encontradas. Pero es finita y pequeña en un intervalo de tiempo pequeño.

Y no puede ayudar.

Por eso me falta información estadística, digamos que estudiamos 1000 modelos y el 5% de ellos mostraron un buen beneficio desde 2015, al mismo tiempo tenemos que evaluar la similitud de los modelos entre sí, que es más difícil, pero más informativo.

 
Aleksey Vyazmikin:

Por eso me falta información estadística, digamos que estudiamos 1000 modelos y el 5% de ellos mostraron un buen beneficio desde 2015, pero también necesitamos evaluar la similitud de los modelos entre sí, que es más difícil, pero más informativo.

No se puede escribir todo. Si se trata de eso, sí. Si se eligen bien las condiciones, en un ciclo de bootforce se obtienen muchos modelos buenos y pocos malos. Sólo es cuestión de elegir el mejor. Así que no se trata de un modelo al azar.

El artículo cita 2 modelos del ciclo de aprendizaje de 20 o 50 modelos (no recuerdo), que están pasando la prueba. Y de hecho hay más rentables.

 
Maxim Dmitrievsky
¿Puedes dejar un enlace a Jupyter Notebook con este código fuente en Colab?