Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 57
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Pues bien, la sostenibilidad se consigue evitando el posible sobreaprendizaje. Y una muestra de entrenamiento desequilibrada es una causa potencial de sobreentrenamiento para las clases poco representativas. Al fin y al cabo, el algoritmo de aprendizaje trata de actuar como le parece, no como necesita para aumentar la generalizabilidad. Si la muestra está desequilibrada, se minimizarán los errores de aprendizaje en las clases menos representativas, porque los ejemplos de estas clases son pocos y es más fácil memorizarlos en lugar de generalizar. Después de este aprendizaje memorístico, no hay que sorprenderse de que, fuera de la muestra de entrenamiento, los errores del algoritmo se produzcan con mayor probabilidad en las clases que no son representativas.
La idea es sencilla. En la vida real, nadie le permitirá tomar una muestra mixta que contenga observaciones del futuro para evaluar la calidad del comercio real. Todas las observaciones irán después del día X.
Por lo tanto, al tomar una muestra mixta en la validación (sin separación de fechas), se está sobreestimando la métrica de calidad en la validación. Eso es todo. Entonces habrá sorpresas desagradables.
¿Qué tiene que ver el pensamiento con esto? El pensamiento es subjetivo. El pensamiento puede ser tanto correcto como deliberadamente erróneo. Porque la imaginación es problemáticamente limitada. El criterio de la verdad es siempre la experiencia.
Tome dos muestras de entrenamiento, una preequilibrada y otra muy desequilibrada. Entrene el algoritmo en ambas muestras y mida la capacidad de generalización en las partes de prueba. A continuación, compara la capacidad de generalización. El que dé la mejor capacidad de generalización será el criterio de verdad.
De lo contrario, estaremos pensando y especulando hasta perder el pulso. Después de todo, el desacuerdo nace en el debate, la verdad nace en la experiencia.
Así que he terminado con la discusión del tema de la muestra de formación equilibrada. Por lo demás, este coro puede continuar indefinidamente, ya que hay dos opiniones diferentes y seguir midiendo quién de los dos piensa más correctamente es una pérdida de tiempo.
Pues bien, la estabilidad se consigue evitando el sobreentrenamiento. Y el desequilibrio de la muestra de entrenamiento es una razón potencial para el sobreentrenamiento de las clases poco representativas. Al fin y al cabo, el algoritmo de aprendizaje trata de actuar como le parece, no como necesita para aumentar la generalizabilidad. Si la muestra está desequilibrada, se minimizarán los errores de aprendizaje en las clases menos representativas, porque los ejemplos de estas clases son pocos y es más fácil memorizarlos en lugar de generalizar. Después de este aprendizaje memorístico, no es de extrañar que fuera de la muestra de entrenamiento, los errores del algoritmo en las clases menos representativas sean los más probables.
1. En las clases desequilibradas, es un desastre: el error entre las clases puede divergir varias veces. ¿Y cuál es la correcta?
2. No siempre es posible equilibrar las clases.
Su ejemplo con BUY|SELL. Cuando el número de observaciones (barras) es superior a 3000, la diferencia de desequilibrio será del 10%, como máximo del 20%. Es muy posible equilibrar.
Y aquíDr.Trader ha sugerido la variable objetivo "Pivot/Not Pivot". Creo que lo tomó de ZZ. Así que en esta variable objetivo, las clases desequilibradas variarán en órdenes de magnitud. Si aumentamos hasta el máximo de la clase, ¿podemos enseñar en una muestra tan equilibrada? Me parece que no.
Así que no es tan sencillo con el equilibrio.
Por mi propia experiencia:
No pude encontrar otras soluciones.
Voy a dejarlo todo y convertirme en un adepto a la R para poder jugar a los números con una cara seria.
Hasta ahora no me he dado cuenta de que juegas a los números, pero no sé lo de la cara, no lo veo.
¿Qué tiene que ver el pensamiento con esto? El pensamiento es subjetivo. El pensamiento puede ser tanto correcto como deliberadamente erróneo. Porque la imaginación es problemáticamente limitada. El criterio de la verdad es siempre la experiencia.
Tome dos muestras de entrenamiento, una preequilibrada y otra muy desequilibrada. Entrene el algoritmo en ambas muestras y mida la capacidad de generalización en las partes de prueba. A continuación, compara la capacidad de generalización. El que dé la mejor capacidad de generalización será el criterio de verdad.
De lo contrario, estaremos pensando y especulando hasta perder el pulso. Al fin y al cabo, el desacuerdo nace en la discusión y la verdad nace en la experiencia.
Y por lo tanto, he terminado con cualquier otra discusión sobre el tema de equilibrar la muestra de formación. De lo contrario este cholivar puede continuar indefinidamente ya que hay dos opiniones diferentes y seguir midiendo a quien de nosotros piensa correctamente - una pérdida de tiempo.
Yo quiero decir una cosa, tú otra. Yo digo que hay que dividir el conjunto estrictamente por fechas. Y tú hablas de equilibrio.
Lo siento, pero ya he dicho que no veo el sentido de seguir con este coro. Ya he intentado explicar las deficiencias del equilibrio con ejemplos. Probablemente no sea muy convincente, ¿verdad? No se me da bien la retórica negra, así que no puedo convertir lo negro en blanco con una expresión facial seria. Así que no seas demasiado duro conmigo.
¿Es más probable que intente convencerme de que supuestamente intenta "obligarle" a equilibrar la realidad? Pero no tengo esa intención. Sé que la realidad es, por desgracia para mí, a menudo desequilibrada y las oportunidades de equilibrarla no siempre están disponibles. Por eso en mis posts traté de explicarte que no es necesario tratar de equilibrar la realidad fuera de la muestra de entrenamiento, pero sí es necesario y suficiente equilibrar la muestra de entrenamiento, para que el modelo que se obtenga de ella no esté sesgado en la dirección de las clases altamente representativas. Al dividir la muestra general en partes por fechas, también suele ser imposible lograr un equilibrio. Por eso equilibro la muestra de formación no por fechas, sino por la misma representatividad de las clases en ella.
No voy a responder a más preguntas sobre el equilibrio del conjunto de entrenamiento. Así que este coro ya se ha alargado.
Lo siento, pero ya he dicho que no veo el sentido de seguir con este coro. Ya he intentado explicar las deficiencias del equilibrio con ejemplos. Probablemente no sea muy convincente, ¿verdad? No se me da bien la retórica negra, así que no puedo convertir lo negro en blanco con cara de circunstancias. Así que no seas demasiado duro conmigo.
¿Es más probable que intente convencerme de que supuestamente intenta "obligarle" a equilibrar la realidad? Pero no tengo esa intención. Sé que la realidad es, por desgracia para mí, a menudo desequilibrada y que las oportunidades de equilibrarla no siempre están disponibles. Por eso en mis posts traté de explicarte que no es necesario tratar de equilibrar la realidad fuera de la muestra de entrenamiento, pero sí es necesario y suficiente equilibrar la muestra de entrenamiento, para que el modelo que se obtenga de ella no esté sesgado en la dirección de las clases altamente representativas. Al dividir la muestra general en partes por fechas, también suele ser imposible lograr un equilibrio. Por lo tanto, equilibro la muestra de formación no por fechas, sino por la misma representatividad de las clases en ella.
No voy a responder a más preguntas sobre el equilibrio del conjunto de entrenamiento. Así que ya nos estamos metiendo en un barullo.
Quiero intervenir para completar el cuadro y reiterar mi opinión sobre el hilo.
1. Es necesario tener dos conjuntos de datos: el segundo es una extensión del primero en el tiempo.
2. Equilibra el primer conjunto de datos. Definitivamente lo equilibramos.
3. Dividimos aleatoriamente el primer conjunto de datos en tres partes: entrenamiento, prueba y validación.
4. Obtenemos un error en el segundo conjunto, que es una continuación del primer conjunto en el tiempo.
Si el error en los CUATRO conjuntos es más o menos el mismo, entonces el modelo no se vuelve a entrenar. Si el error tiene un valor decente, podemos ir más allá, es decir, pasarlo por el probador.
Si hay una diferencia significativa (más del 30%), entonces el conjunto de predictores original lleva a un reentrenamiento del modelo y, por experiencia personal, reemplazar el tipo de modelo no puede arreglar nada, en términos de reentrenamiento. Tenemos que deshacernos de los predictores de ruido. Puede ocurrir fácilmente que no haya NINGÚN predictor de ruido entre los predictores.