Volver a entrenar - página 4

 
Aliaksandr Hryshyn:
¿Quién utiliza qué técnicas para minimizar el reentrenamiento del modelo/asesor?
Debemos partir del hecho de que, en este caso, no podemos prescindir del análisis de los datos históricos, y el concepto de "ajuste a la historia" debe ser eliminado por completo. Lo que debería ser primordial es la idea de la propia ST, en qué se basa. Cada TS se basa en las lecturas de un indicador o indicadores. Estos últimos tienen como parámetro el volumen de muestreo N, que alcanza su veredicto tras analizar todo el volumen de muestreo. Es natural suponer que ningún indicador puede manejar con éxito todos los datos históricos de la misma manera. Por lo tanto, parámetros como SL y TP vienen al rescate. Aquí hay 3 parámetros básicos que deben ser optimizados. Es necesario encontrar sus valores para que la ST pueda pasar toda la gama de datos históricos sobre la TF seleccionada. Una vez obtenido el gráfico de acumulación para todo el periodo, tenemos que analizar y aceptar el hecho de que, en los peores tramos, la idea original de la ST no funciona, debido a las múltiples caras del mercado. Intentar buscar y dividir toda la trama en "malos" y "buenos", así como en "formación" y "avance" es una pérdida de tiempo. La ST debe ser evaluada con todo el material histórico disponible.
 
Youri Tarshecki:

Dígame, ¿cómo se decide si un delantero está sobreentrenado o infraentrenado? ¿El sobreentrenamiento se degrada de alguna manera diferente al subentrenamiento?

Laúnica manera de determinar la calidad de las condiciones de entrenamiento es ver la calidad correspondiente de la prueba fuera de la muestra. Y sólo comparando los resultados se puede saber si la optimización es excesiva o insuficiente. Pero no veo ningún tema que trate sobre la suboptimización en ningún sitio. Por alguna razón todo el mundo ve la raíz del problema en la mítica sobreoptimización en lugar de la calidad del código.

La degradación hacia adelante evalúa la generalizabilidad de un sistema (es decir, la estabilidad, la adecuación a datos desconocidos). Cuando (la capacidad) es baja, entonces desde el punto de vista práctico da igual si entrenamos de más o de menos: en cualquier caso tiraremos. Pero si el Asesor Experto se entrena de forma clásica - utilizando el conjunto de parámetros y el probador de MT - entonces no podemos estar mal entrenados (desde un punto de vista técnico). Y si el aprendizaje se realiza mediante un algoritmo propio, podemos utilizar métodos bien conocidos (por ejemplo, la parada anticipada) para encontrar el punto óptimo cuando el "error es mínimo" (el mejor resultado en OOS): en este punto la suboptimización ya ha terminado, mientras que la sobreoptimización aún no se ha producido. Desgraciadamente, el comprobador estándar no ofrece esta funcionalidad automática para comparar el rendimiento del sistema en el periodo de optimización y en el OOS. El OOS en MT es la prueba de avance. Así que lo resaltado en negrita es en realidad lo mismo que estoy diciendo. El iniciador del tema hizo una pregunta sobre el reciclaje, así que las respuestas aquí son sobre eso. En cuanto al infraaprendizaje, si con ello nos referimos no al grado de optimización sino a la "calidad del código" abstracto que parece incluir la elección de los predictores, los métodos de preparación de los datos de entrada, la profundidad de la muestra de entrenamiento y otros metaconocimientos, entonces el infraaprendizaje se define de forma muy sencilla: por la ausencia de resultados positivos de optimización.

 

No estoy de acuerdo con lo del subentrenamiento: técnicamente no es difícil de hacer. Es decir, el hecho de la degradación en sí no dice si está sobreentrenado o infraentrenado.

Si el autor se desprende del término y entiende que el óptimo es algo en Gauss, entonces formulará la pregunta de una manera ligeramente diferente: cómo determinar la cantidad y la densidad óptimas de entrenamiento.

Entonces podemos ser más específicos.

Personalmente, lo defino en función de los resultados de la prueba.

 

Stanislav Korotky:
Термин этот не дурацкий, а давно устоявшийся и "одобренный лучшими собаководами"

De hecho, el sobreentrenamiento no es realmente un sobreentrenamiento, es un sobreajuste.

 

Intentemos analizar la cuestión desde una perspectiva ligeramente diferente.

El modelo/TS cuando se entrena (si tiene esa posibilidad) es capaz de recordar algunas regularidades de los datos históricos, también, debido a su imperfección, recuerda el "ruido". Consideraremos el ruido como que el ST puede "aprender" y no dar buenos resultados en los nuevos datos, el ruido puede ser diferente para otras estrategias.

La pregunta interesante es cómo podemos, al menos parcialmente, limitar la ST/modelo para que no pueda "recordar" el ruido. O cómo "limpiar" los datos históricos del ruido, de nuevo, ruido en relación con la ST.

Aquí hay un ejemplo sencillo en la imagen, supongamos que las líneas 1 y 2 son el mismo modelo.

Aquí hay otro ejemplo, en la zona entre las dos líneas verticales, el modelo (líneas rojas) está muy equivocado.

 
De todos modos, ¿de qué tratan estas fotos? ¿Y los ejes? ¿El número de optimizaciones?
 
Комбинатор:

De hecho, el sobreentrenamiento no es realmente un sobreentrenamiento, es un sobreajuste.

Exactamente. Ajustar o sobreajustar es lo mismo que sobreajustar.
 
Youri Tarshecki:
Exactamente. El montaje o remontaje es lo mismo que la polla
Si el ajuste o reajuste se realiza sobre la totalidad de los datos históricos, sólo mejora la calidad de la ST.
 
Youri Tarshecki:
De todos modos, ¿de qué tratan estas fotos? ¿Qué hay en los ejes? ¿El número de optimizaciones?
No son específicos del comercio. Muestran ejemplos sencillos de cómo un modelo (líneas 1 y 2 en la primera imagen, y la línea roja en la segunda) puede ser "erróneo" en los datos (pequeños cuadrados y, abajo, puntos).

Supongamos que en el eje horizontal estará el valor del indicador, y en el eje vertical, para los puntos - cómo TS debe predecir una determinada propiedad del precio, utilizando este valor del indicador, con el fin de estar en el plus. Para las líneas - cómo predice el TS. Sobre la base de esta predicción, la ST puede operar. Este es un ejemplo condicional. La propiedad que se predice puede ser la presencia de una tendencia o un plano, la volatilidad, etc.
 
Aliaksandr Hryshyn:
No son específicos del comercio. Muestran ejemplos sencillos de cómo un modelo (líneas 1 y 2 en la primera figura, y la línea roja en la segunda) puede "errar" en los datos (pequeños cuadrados y, abajo, puntos).

Dejemos que el eje horizontal sea el valor del indicador, y el eje vertical, para los puntos - cómo TS debe predecir una determinada propiedad de precio utilizando este valor del indicador para ser rentable. Para las líneas - cómo predice el TS. Sobre la base de esta predicción, la ST puede operar. Este es un ejemplo condicional. La propiedad que se predice puede ser la presencia de una tendencia o un plano, la volatilidad, etc.

Horizontalmente, debe ser el número de operaciones de optimización de los valores del indicador o grupo de indicadores, que vienen en el mismo momento de la historia. Y en la línea vertical, el resultado de la comprobación de todo el sistema. Luego podemos hablar del sobreentrenamiento y del infraentrenamiento y de lo que son. Y entonces la curva será muy diferente. Será casi una distribución normal con la única diferencia de que en algún momento al añadir el número de pasadas (o al disminuir el paso del parámetro indicador) no dará nada nuevo.

¿Cómo se puede ajustar el número de pases?

1. Simplemente cambiando el número de sesiones de entrenamiento, o cambiando la distancia (paso) de los parámetros del indicador.

2. Cambiando la profundidad del historial para la formación en relación con el "paso" de la comprobación de OOS. Entonces, la misma parte de la historia se optimizará un número diferente de veces, aunque con un número diferente de "vecinos".

3. Cambiando un algoritmo de optimización genética, si lo utilizamos. Por ejemplo, cambiando el número de generaciones, la aleatoriedad, etc.

Aquí, quizás, están todas las herramientas disponibles para luchar contra el PERE y el NEDO.

También señalaré que si nos centramos exactamente en la comprobación y no en el resultado durante la optimización (ajuste), entonces la naturaleza de la curva no dependerá de si el sistema en sí mismo no es rentable o no. Es decir, si el sistema está perdiendo, simplemente perderá aún más cuando se sobreentrena, eso es todo. La tarea del entrenamiento es encontrar el óptimo de los parámetros. Y la tarea de la codificación es encontrar variantes viables, el óptimo de entrenamiento no crea nada nuevo por sí mismo.

Razón de la queja: