Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 365

 
elibrarius:

Ya he hecho la eliminación de las entradas correlacionadas, sólo me pregunto cómo más mejorar las entradas.

Entonces, estoy de acuerdo contigo en que debe haber correlación con el objetivo, por eso quiero eliminar las entradas no correlacionadas con el objetivo, por ejemplo con Ккорр<0,5 o 0,3. Esto debería acelerar el proceso de aprendizaje sin afectar demasiado a la calidad. Pero se supone que tendré que eliminar todas las entradas )))

En las entradas utilizadas (tomadas al azar de los indicadores tecnológicos), hasta ahora no he encontrado ninguna correlación con el objetivo, error de aprendizaje = 0,44, es decir, casi una moneda. Bueno, el balance está bajando.


en ningún caso debe haber correlación con el objetivo, ¿dónde está escrito siquiera? ¿qué sentido tiene eso? Si tienes una correlación de 1 con el objetivo entonces conoces el futuro y no necesitas una red neuronal
 
Maxim Dmitrievsky:

en ningún caso debe haber una correlación con el objetivo, ¿dónde está escrito en absoluto? ¿qué sentido tiene? Si tienes una correlación de 1 con el objetivo, conoces el futuro y no necesitas una red neuronal


Todo MO se basa en el hecho de que las variables de entrada deben estar correlacionadas con la variable de salida.

De lo contrario, no tienen sentido TODOS los modelos de MO.

En la minería de datos los modelos de selección de todas las variables implementan un mecanismo de correlación máxima de la variable de entrada y la variable de salida:

Procedimiento de selección hacia adelante,
Procedimiento de eliminación hacia atrás,
el procedimiento Stepwise,
Procedimiento de los mejores subconjuntos.
 
Dimitri:


Todos los MDE se basan en el hecho de que la variable de entrada debe estar correlacionada con la variable de salida.

De lo contrario, no tienen sentido TODOS los modelos de MO.

En la minería de datos, los modelos de selección de todas las variables implementan un mecanismo para maximizar la correlación entre la variable de entrada y la variable de salida:

Procedimiento de selección hacia adelante,
Procedimiento de eliminación hacia atrás,
el procedimiento Stepwise,
Procedimiento de los mejores subconjuntos.

¿se correlacionan en el sentido de que los vectores (curvas) de entrada y salida deben correlacionarse o la correlación significa simplemente la dependencia de la variable de salida con respecto a la de entrada, en un sentido general?
 
Maxim Dmitrievsky:

¿se correlacionan en el sentido de que los vectores (curvas) de entrada y salida deben correlacionarse o la correlación significa simplemente la dependencia de la variable de salida de la variable de entrada, en un sentido general?


La dependencia es un caso especial de la correlación. Si dos variables son dependientes, entonces definitivamente hay correlación. Si hay correlación, no necesariamente hay dependencia.

No existen métodos para detectar la dependencia en los modelos estadísticos. Sólo existe la esperanza de que la correlación identificada entre un conjunto de variables de entrada y una variable de salida sea una relación.

Por lo tanto, las variables deben estar correlacionadas.

 
Dimitri:


La dependencia es un caso especial de la correlación. Si dos variables son dependientes, entonces definitivamente hay una correlación. Si hay correlación, no necesariamente hay dependencia.

No existen métodos para detectar la dependencia en los modelos estadísticos. Sólo existe la esperanza de que la correlación identificada entre un conjunto de variables de entrada y una variable de salida sea una relación.

Por lo tanto, las variables deben estar correlacionadas.


Y si hay un corr inverso, ¿ya no es una dependencia o qué? ) Y la NS se quedará perpleja con este enfoque.

Aleluya... zigzag en la entrada y zigzag en la salida con desplazamiento... la correlación es casi perfecta, pero ¿de qué sirve? )

 
Maxim Dmitrievsky:

Si es una correlación inversa, ¿ya no es una correlación? ) Y la NS se ve atascada por este enfoque


No hay correlación cuando el coeficiente de correlación es 0.

¿Cómo se puede construir un modelo si las entradas y salidas no están correlacionadas en absoluto?

 
Dimitri:


No hay correlación cuando el coeficiente de correlación es 0.

¿Cómo se puede construir un modelo si las entradas y salidas no están correlacionadas en absoluto?


Sí, porque la correlación de entradas y salidas no importa en absoluto cuando el modelo busca patrones en un conjunto de predictores... Es una contradicción eliminar las entradas correlacionadas pero buscar entradas correlacionadas a las salidas... )) Es decir, al menos tendremos una entrada correlacionada con la salida, luego todas las demás entradas tenemos que eliminarlas, ya que también están correlacionadas con la salida, y en consecuencia con las otras entradas... genial, ¿no?
 
Maxim Dmitrievsky:

Eso es porque la correlación de entradas y salidas no es importante en absoluto cuando el modelo busca patrones en un conjunto de predictores... Es una contradicción: eliminar las entradas correlacionadas pero buscar las entradas correlacionadas con las salidas. )) Es decir, al menos tendremos una entrada correlacionada con la salida, luego todas las demás entradas tenemos que eliminarlas, ya que también están correlacionadas con la salida, y en consecuencia con las otras entradas... genial, ¿no?


No, no es genial.

Si la primera variable está correlacionada con la variable saliente con un coeficiente de, por ejemplo, 0,7 y la segunda con un coeficiente de 0,65, eso no significa que las dos variables estén altamente correlacionadas entre sí.

Ahora supongamos que el primero está correlacionado con 0,7 y el segundo con el coeficiente de -0,69.

 
Dmitry:


No, no está bien.

Si la primera variable está correlacionada con la variable saliente con un coeficiente de, por ejemplo, 0,7 y la segunda con un coeficiente de 0,65, eso no significa en absoluto que las dos variables estén altamente correlacionadas entre sí.

Ahora imagina el primero con un coeficiente de 0,7 y el segundo con un coeficiente de -0,69.


Y si además te imaginas que la correlación define "similitud" de una manera muy peculiar... Yo no le daría mucha credibilidad.

¿Estamos construyendo una red neuronal de alta tecnología y nos guiamos por la correlación a la hora de elegir los predictores? Eso está un poco mal o algo así... pero todo es "en mi opinión"... )

 
Maxim Dmitrievsky:

Y si además imagina que la correlación define la "similitud" de una manera muy peculiar... Yo no me fiaría mucho.


Entonces la segunda opción - poner todo lo que tienes en NS. Pero hay dos PEROS:

1. esperar que las variables no correlacionadas no degraden la calidad del modelo (existe tal cosa para la regresión).

2. sacrificar la dimensionalidad y el tiempo.

Razón de la queja: