Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 2387

 
Aleksey Vyazmikin:

Si no entiendes la descripción, pregunta sobre lo que no está claro; intentaré explicarlo mejor.

Yo hice lo mismo hace un par de años, y lo dejé por el trabajo que suponía, no por lo inútil.

A continuación se muestra una tabla con los resultados del antiguo experimento, el trabajo va así:

1. El número de predictores se divide en 9 partes.

2. Se crean combinaciones entre trozos - 512

3. A continuación, se hace una estimación de cómo se comportan las muestras en promedio con la presencia/ausencia de cada trozo.

4. Se hace una suposición sobre la importancia del trozo (positivo/negativo).

5. Los trozos significativos se dividen en trozos más pequeños, y los menos significativos se combinan en un solo trozo (no es necesario que vayan en orden)

6. Se forman nuevas combinaciones de 512

7. Si se encuentra un trozo pequeño que afecta negativamente a la muestra, se excluye de la enumeración posterior hasta que deje de mejorar el resultado, entonces se puede intentar añadir los trozos excluidos y analizar el resultado de la misma manera. Las influencias positivas, en cambio, se agrupan en un solo grupo.

He aquí un ejemplo de la evolución de los indicadores con 32 iteraciones de este tipo.



Por supuesto, el método puede mejorarse, pero para ello es necesario experimentar y comprobar el resultado.

Sí, la mejora no es por tiempos, pero los resultados también permiten pensar en qué predictores son mejores o peores para el resultado y por qué.

Además, quiero probar a trabajar específicamente con las estadísticas de CatBoost y eliminar/añadir predictores (y sus grupos) precisamente por la razón de que podría ser más rápido que la enumeración que utilizaba anteriormente.

Otra ventaja es que demasiados predictores conducen a divisiones raras, y la activación de las hojas puede ser muy rara en la muestra fuera del entrenamiento (lo mostré en la captura de pantalla anterior), lo que disminuye deliberadamente la calidad del entrenamiento y su evaluación.

Es un poco complicado.
¿Cómo es mejor que simplemente probar todas las características añadiendo 1?
Primero entrena 1000 veces (con 1000 características para probar) en 1 característica, encuentra la mejor. Entonces, 999 veces en la mejor ficha y 999 veces en el resto, elige la segunda mejor. Luego en los 2 primeros y el tercero de los 998 restantes, etc.
Un total de 2 ciclos anidados.
Los modelos con un número reducido de características aprenden muy rápidamente. Conseguirás entre 20 y 30 en un tiempo razonable. Y después de 10-20 características seleccionadas, los modelos suelen dejar de mejorar, y añadir nuevas características después de ellas sólo empeora el resultado.
 
Maxim Dmitrievsky:

Una pérdida de tiempo inútil

Está claro que no habrá un debate constructivo: no hay voluntad de llegar al fondo del asunto.

 
Aleksey Vyazmikin:

Evidentemente, no habrá un debate constructivo: no hay voluntad de entender el punto.

No hay ganas de sufrir gilipolleces, el punto es claro (sufrir gilipolleces)

 
elibrarius:
Algo complicado.
¿Cómo es mejor que simplemente probar todas las características añadiendo 1?
Primero entrena 1000 veces (con 1000 características para probar) en 1 característica, encuentra la mejor. Luego, 999 veces en la mejor ficha y 999 veces en el resto, elige la segunda mejor. Luego en los 2 primeros y el tercero de los 998 restantes, etc.
Un total de 2 ciclos anidados.
Los modelos con un número reducido de características aprenden muy rápidamente. Conseguirás entre 20 y 30 en un tiempo razonable. Y después de 10-20 características seleccionadas, los modelos suelen dejar de mejorar, y añadir nuevas características después de ellas sólo empeora el resultado.

No buscamos el mejor, sino una combinación de características, y este es el problema. Por qué es un problema, porque es imposible probar todas las combinaciones, por eso se necesita el método eurístico. Otro problema es la fuerte similitud potencial de los diferentes predictores después de dividirlos, lo que en los conjuntos conducirá a una sobreestimación de la probabilidad, porque habrá muchas hojas inherentemente correlacionadas.

 

el hombre ha decidido reinventar el impulso con el impulso, no lo detengamos

las apelaciones al sentido común no ayudaron

 
Maxim Dmitrievsky:

no hay deseo de sufrir mierda, el punto es claro (sufrir mierda)

¿Por qué una mierda?

La diferencia estriba en que sí.

Hay una justificación teórica: sí, la hay.

Por supuesto, no es una mejora de un orden de magnitud.

Y sí, puede ser poco efectivo para sus predictores - aquí puedo admitir la razón de la negativa.

 
neuro está en llamas ))
olvídate del trading, convierte la red neuronal en un indicador

 
Aleksey Vyazmikin:

¿Por qué una mierda?

La diferencia estriba en que sí.

Hay una justificación teórica: sí, la hay.

Por supuesto, no es una mejora de un orden de magnitud.

Y sí, puede ser marginalmente efectivo para sus predictores - aquí puedo permitir una razón de rechazo.

ya se ha dicho todo, no voy a interferir en probar demasiado lo que no se puede elegir

 
Aleksey Vyazmikin:

No hay que buscar el mejor, sino una combinación de los dos, ese es el problema. Por qué es un problema, porque es imposible probar todas las combinaciones, por eso necesitamos el método eurístico. Otro problema es la fuerte similitud potencial de los diferentes predictores después de la división, que en los conjuntos conducirá a la sobreestimación de la probabilidad, porque habrá muchas hojas esencialmente correlacionadas.

Una vez elegida la primera mejor ficha, se elegirá la segunda con la mejor interacción junto con la primera, y así sucesivamente. Al llegar a 10, se elegirá la siguiente con la mejor interacción con cualquiera de las 10 elegidas anteriormente, pero lo más probable es que con todas ellas.
 
elibrarius:
Después de seleccionar la primera mejor característica, la segunda será la que mejor interactúe con la primera, y así sucesivamente al llegar a 10. El siguiente será el que mejor interactúe con el que se haya seleccionado antes, pero lo más probable es que lo haga con todos.

no funciona así

sacar las características de poca importancia del modelo y romperlo, luego comparar el culo con el pulgar, y así sucesivamente

Razón de la queja: