Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 126
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Parece que me has entendido mal. No le digo a la red dónde entrar, ni con una zz, ni con ningún otro indicador. Una red entrenada elige por sí misma dónde entrar.
Oh, hombre... No lo entiendo entonces...
¿Qué debe correlacionarse con qué? ¿Cómo se hace? Yo tampoco lo entiendo.
Creo que nadie lo hizo aquí más que tú )
Permítanme explicarlo una vez más y animarles a leer sobre la validación cruzada anidada.
Este es un ejemplo de mi trabajo. Estaba construyendo un modelo de regresión que hacía una predicción de algún parámetro de ingeniería en un sistema muy complejo.
Recorro los parámetros de entrenamiento del modelo, selecciono el mejor modelo en los pliegues de prueba de validación cruzada y luego lo valido. He seleccionado un total de 100 modelos en la prueba (puntos en el gráfico). Estos son los mejores modelos de la muestra de prueba. Lo que las diferencia es que utilizan diferentes predictores.
Se puede ver que el modelo poco entrenado en la prueba resulta estarlo también en la validación. Se entrena el modelo completo en la prueba y en la validación. El estado de sobreentrenamiento, cuando es alto en la prueba y bajo en la validación no existe en absoluto.
Tenemos una correlación entre el rendimiento de los modelos seleccionados en la prueba y el rendimiento en la validación.
Al variar el número de predictores, el modelo pasa de estar infraajustado a totalmente ajustado. Y este crecimiento es común tanto a los datos en los que se selecciona el mejor modelo como a los datos en los que se valida el mejor modelo seleccionado. Hay coherencia.
Es decir, no me limité a elegir un modelo que fuera el mejor en la validación (fuera de la muestra), sino que realicé un entrenamiento de múltiples modelos, seleccionándolos por prueba, y comparando las métricas de calidad en la validación. Se trata de una validación cruzada anidada. Este modelo no está reentrenado. Puedo tomar el mejor modelo en la validación cruzada y obtener una de las mejores métricas fuera de la muestra.
Y si la variación en el rendimiento del modelo en forex no explica la variación en el rendimiento del modelo en la validación, entonces teniendo las muestras en las que seleccionamos el mejor modelo (en este caso, la calidad media en las faltas de la prueba de validación cruzada), no podemos predecir el rendimiento de la calidad fuera de la muestra.
Por lo tanto, al hacer la selección del modelo pero no probar el procedimiento de selección fuera de la muestra en sí, estamos ajustando un modelo.
Un cuadro como el mío sale en datos estacionarios y consistentes: contienen dependencias estables. Como ejemplo, el sobrecalentamiento del sensor degrada el valor modelado en todos los casos y esto se explica físicamente.
Al modelar series temporales financieras, ya he demostrado, con 2.000 modelos seleccionados, que sus métricas de calidad en las muestras de prueba no se correlacionan con las muestras de validación.
La validación cruzada anidada implica el entrenamiento múltiple de diferentes modelos -o modelos con diferentes entradas o parámetros- en muestras de entrenamiento únicas, seguidas de pruebas. Para cada muestra única, se selecciona el mejor modelo. A continuación, se vuelve a probar en una muestra única de validación. Este proceso se repite muchas veces. Se necesita una capa externa de pruebas para demostrar que el propio modelo y su procedimiento de selección dan consistencia a los resultados dentro y fuera de la muestra.
Se lo he señalado a SanSanych, al Dr. y a otros. El Dr. me entendió. SanSanSanych no lo consiguió.
Por lo tanto, si logramos esta imagen para el mercado de divisas o cualquier otro mercado financiero, podemos ejecutar el mejor modelo en términos de corte de prueba en la producción.
Permítanme explicarlo de nuevo y animarles a leer sobre la validación cruzada anidada.
Este es un ejemplo de mi trabajo. Estaba construyendo un modelo de regresión, haciendo una predicción de algún parámetro de ingeniería en un sistema muy complejo.
Recorro los parámetros de entrenamiento del modelo, selecciono el mejor modelo en los pliegues de prueba de validación cruzada y luego lo valido. He seleccionado un total de 100 modelos en la prueba (puntos en el gráfico). Estos son los mejores modelos de la muestra de prueba. Lo que las diferencia es que utilizan diferentes predictores.
Se puede ver que el modelo poco entrenado en la prueba resulta estarlo también en la validación. Se entrena el modelo completo en la prueba y en la validación. El estado de sobreentrenamiento, cuando es alto en la prueba y bajo en la validación no existe en absoluto.
Tenemos una correlación entre el rendimiento de los modelos seleccionados en la prueba y el rendimiento en la validación.
Al variar el número de predictores, el modelo pasa de estar infraajustado a totalmente ajustado. Y este crecimiento es común tanto a los datos en los que se selecciona el mejor modelo como a los datos en los que se valida el mejor modelo seleccionado. Hay coherencia.
Es decir, no me limité a elegir un modelo que fuera el mejor en la validación (fuera de la muestra), sino que realicé un entrenamiento de múltiples modelos, seleccionándolos por prueba, y comparando las métricas de calidad en la validación. Se trata de una validación cruzada anidada. Este modelo no está reentrenado. Puedo tomar el mejor modelo en la validación cruzada y obtener una de las mejores métricas fuera de la muestra.
Y si la variación en el rendimiento del modelo en forex no explica la variación en el rendimiento del modelo en la validación, entonces teniendo las muestras en las que seleccionamos el mejor modelo (en este caso, la calidad media en las faltas de la prueba de validación cruzada), no podemos predecir el rendimiento de la calidad fuera de la muestra.
Por lo tanto, al hacer la selección del modelo pero no probar el procedimiento de selección fuera de la muestra en sí, estamos ajustando un modelo.
Un cuadro como el mío sale en datos estacionarios y consistentes: contienen dependencias estables. Como ejemplo, el sobrecalentamiento del sensor degrada el valor modelado en todos los casos y esto se explica físicamente.
Al modelar series temporales financieras, ya he demostrado, con 2.000 modelos seleccionados, que sus métricas de calidad en las muestras de prueba no se correlacionan con las muestras de validación.
La validación cruzada anidada implica el entrenamiento múltiple de diferentes modelos -o modelos con diferentes entradas o parámetros- en muestras de entrenamiento únicas, seguidas de pruebas. Para cada muestra única, se selecciona el mejor modelo. A continuación, se vuelve a probar en una muestra única de validación. Este proceso se repite muchas veces. Se necesita una capa externa de pruebas para demostrar que el propio modelo y su procedimiento de selección dan consistencia a los resultados dentro y fuera de la muestra.
Se lo he señalado a SanSanych, al Dr. y a otros. El Dr. me entendió. SanSanSanych no lo consiguió.
Por lo tanto, si logramos esta imagen para el mercado de divisas o cualquier otro mercado financiero, podemos ejecutar el mejor modelo en términos del segmento de prueba en la producción.
Todavía no lo entiendo, lo siento.
Faltas de validación: ¿están en el mismo archivo que las faltas de prueba o la validación está en un archivo nuevo?
PS.
Por validación cruzada me refiero al siguiente algoritmo: el archivo se divide, por ejemplo, en 10 faltas. Enseñar en los primeros 9, y validar en los 10. Luego enseñan en 2-10 y validan en 1 pliegue. Y así mueven la falta de validación. ¿Verdad?
Todavía no lo entiendo, lo siento.
Faltas de validación: ¿están en el mismo archivo que las faltas de prueba o la validación está en un archivo nuevo?
PS.
Por validación cruzada me refiero al siguiente algoritmo: el archivo se divide, por ejemplo, en 10 faltas. Enseñar en los primeros 9, y validar en los 10. Luego enseña en 2-10, y la validación en 1 pliegue. Y así mueven la falta de validación. ¿Verdad?
Sí.
Un ciclo de aprendizaje con validación cruzada M1 sobre 10 faltas, se entiende correctamente. Para cada combinación de parámetros de aprendizaje: en 9 faltas aprende, en un control retrasado. Así que 10 veces. Obtenemos el valor medio de la métrica de calidad en 10 pliegues. Llamémoslo m1.
Repitamos este procedimiento N veces (añadiendo siempre nuevos datos al entrenamiento y a la prueba).
Validación cruzada anidada:
Repetimos M - N veces. Cada ciclo M es una muestra de entrenamiento única. Obtenemos m1, m2, . mn métricas de calidad obtenidas durante el entrenamiento y la selección de los mejores modelos, todo ello sobre datos diferentes.
Capa exterior. Cada modelo M seleccionado se prueba en la muestra única de validación. Obtenemos k1, k2, ... nalizar las pruebas fuera de la muestra.
Dibujemos un gráfico de puntos M vs. K. Obtenemos una estimación de cómo un cambio en la calidad del modelo en la validación cruzada predetermina la calidad fuera de la muestra.
Sobre la selección de predictores. Si no tiene la posibilidad de obtener una cantidad tan grande de datos, basta con dar a cada ciclo N del modelo un conjunto único de predictores. Comprobará si hay consistencia en el rendimiento del modelo dependiendo de los predictores seleccionados en la prueba y la validación. A grandes rasgos, un modelo poco entrenado en la prueba debería dar peores resultados también en la validación. Un modelo sobreentrenado en la prueba dará resultados mucho peores en la validación.
Maté la mitad del año 15 en esta ilusión. La validación del modelo sólo debe hacerse con datos que no tengan NADA que ver con el procedimiento de entrenamiento, prueba y validación. Me da pereza buscar los resultados de los cálculos correspondientes. Pero por culpa de la matraca, que hace como tú escribes, perdí medio año.
La validación del modelo sólo debe hacerse con datos que no tengan NADA que ver con el procedimiento de entrenamiento, prueba y validación.
Brrrrr.
¡Eso es lo que se supone que hace! La validación se realiza sobre un muestreo diferido (o más bien muestras, si hablamos del enfoque anidado).
¿Qué ilusión? El enfoque es, en cualquier caso, más objetivo que el ajuste de un modelo de una sola muestra.
Brrrrr.
¡Así es como debe ser! La validación se realiza sobre una muestra retrasada (o más bien muestras, si hablamos del enfoque anidado).
¿Qué ilusión? Este enfoque es, en cualquier caso, más objetivo que el ajuste de un modelo de una sola muestra.
Tú lo sabes mejor.
A mí me funciona. Si elimino los predictores de ruido, un modelo entrenado en los datos de junio funcionará en los datos de julio, y cuando entrene un modelo en los datos de julio, el error de ese entrenamiento en los datos de julio será el mismo que la predicción que utilicé en julio, en el modelo entrenado en junio. Esto es lo que yo llamo la falta de reciclaje.
Tú lo sabes mejor.
Para mí todo funciona. Si elimino los predictores de ruido, el modelo entrenado en los datos de junio funcionará en los datos de julio, y cuando entrene el modelo en los datos de julio, el error de ese entrenamiento en los datos de julio será el mismo que la predicción que utilicé en julio en el modelo entrenado en junio. Esto es lo que yo llamo la falta de reciclaje.
Supongamos que tiene esto funcionando todo el tiempo y no sólo en un ejemplo de 2 meses, que puede ser un caso.
¿Qué es lo que enseñas? ¿Pertenecer a la rodilla zigzagueante? No descarto que este objetivo en particular aprenda bien de forma consistente, pero el hecho de pertenecer a una rodilla no da entradas precisas. Ese es el problema. Puedo predecir la volatilidad con bastante exactitud a un día vista, pero no me aporta nada en el trading.
Supongamos que tiene esto funcionando todo el tiempo y no sólo por un ejemplo de 2 meses, que podría ser un caso.
¿Qué es lo que enseñas? ¿Pertenecer a la rodilla zigzagueante? No descarto que este objetivo en particular aprenda bien de forma consistente, pero el hecho de pertenecer a una rodilla no da entradas precisas. Ese es el problema. Puedo pronosticar con precisión la volatilidad con un día de antelación, pero no me aportará nada en el trading.
El objetivo defectuoso no tiene nada que ver con la metodología para determinar el sobreajuste del modelo.
Creo que se equivoca. Las etiquetas ruidosas (zelevka) dan una disonancia entre lo que se ve en el examen y lo que se verá en el futuro. Es para estos casos que se introducen todo tipo de artilugios como la validación anidada. Incluso hay planteamientos que demuestran que, de entre varios modelos alternativos en la prueba, hay que elegir el que es peor.
El resultado es el mismo en todas partes si se eliminan los predictores de ruido.
¿Cómo lo ha determinado? ¿Ha seguido el rendimiento de sus predictores en un futuro entonces desconocido?