Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 37

 
Yury Reshetov:



¿No sería mejor integrarlo en R?

Y más gente podrá trabajar y los puentes de mt5 con R parecen estar disponibles

 
Dr.Trader:

Nunca lo he probado, pero técnicamente también se podría tratar la variable objetivo como un predictor incluyéndola en el modelo pca. Entonces, en los nuevos datos no se conocerá su valor, por lo que pca puede rellenar estos valores que faltan.

Intenté predecir los componentes de la cabeza y no obtuve nada interesante...

También podrías probarlo, hay un paquete muy bueno y bien documentado para ello "Rssa".

 
Dr.Trader:

No, está bien. Dado que los predictores utilizados para cada uno de los componentes principales son conocidos, podemos descartar con seguridad los predictores que no se utilizan en los componentes principales.

¿Cómo que no se utilizan? El PCA es una transformación lineal. Las dimensiones que se pueden eliminar son las que se pueden obtener mediante una combinación lineal de las demás. Esto significa que cualquier predictor puede obtenerse mediante una combinación lineal de los componentes principales. Si se toma un intervalo del 95%, hay muchas posibilidades de que se pierda un buen predictor de forma estúpida debido a la escala, un intervalo inferior al 100% sólo se utiliza en la compresión de datos con pérdidas, de lo contrario sólo se cortan los componentes que son nulos.

 
mytarmailS:
Maldita sea, sospechaba que no es casualidad que estos "NA"-shows sean arrojados en la fecha, pero leí el manual, dice claramente PCA con una red neuronal, pero entonces todavía no está claro cómo este tipo del sitio consiguió esta bonita imagen con una buena separación por clases

Las fotos tienen un punto diferente allí... El artículo en sí no trata de la clasificación, sino de la agrupación. Si tienes datos, tienes que dividirlos en grupos de alguna manera. Ni siquiera sabes cuántos grupos tienes: dos, tres, diez... El autor utiliza un gráfico de los dos primeros componentes del PCA en el que lo importante es lo cerca que están los puntos de un grupo. Los colores son ya un análisis comparativo, y se asignan a partir de variables objetivo ya conocidas, que no se calculan, sino que simplemente se toman listas de la tabla. Si los grupos de puntos se distribuyen correctamente por colores, entonces todo está bien, el método parece funcionar y podemos probarlo con otros datos. Pero en realidad no hay ninguna predicción en el artículo, sólo agrupación y comparación con la clasificación conocida.

Puedes dibujar un gráfico similar en el artículo de mi post anterior. El resultado será un gráfico como este: http://i0.wp.com/www.win-vector.com/dfiles/YAwarePCA_files/figure-html/scaledplotest-1.png No hay una buena agrupación aquí, los datos de entrada son diferentes. Pero si usas la tabla iris como datos de entrada obtendrás algo similar a los gráficos del artículo que has dado.

 
Combinador:
El PCA estaba pensado originalmente para reducir la dimensionalidad de las series originales. Eso es todo. Utilizarlo para seleccionar predictores es un delirio.
Podrías refutar PROPIAMENTE el contenido del artículo que he enlazado. En este punto elDr.Trader: ha intentado utilizar este material. Para usarlo de forma muy específica. El resultado es negativo. ¿Tal vez pueda darnos también su opinión sobre el tema?
Principal Components Regression, Pt. 3: Picking the Number of Components | R-bloggers
Principal Components Regression, Pt. 3: Picking the Number of Components | R-bloggers
  • Nina Zumel
  • www.r-bloggers.com
In our previous note we demonstrated Y-Aware PCA and other y-aware approaches to dimensionality reduction in a predictive modeling context, specifically Principal Components Regression (PCR). For our examples, we selected the appropriate number of principal components by eye. In this note, we will look at ways to select the appropriate number...
 
mytarmailS:

¿No sería mejor integrarlo en R?

Y más gente podrá trabajar y los puentes de mt5 con R parecen estar disponibles

A juzgar por el hecho de que Dr.Trader ya se estrelló al intentar portar la antigua libVMR a R y no tenía suficiente memoria para una máquina nuclear grande y pleno rendimiento para una pequeña (redujo el número de ciclos en 100 veces), dudo que haya gente dispuesta a cometer los mismos errores.


Por lo tanto, es mejor no empezar a hablar de portar a R para tales tareas todavía - este fastidio no lo hará.

 
Yury Reshetov:

A juzgar por el hecho de que Dr.Trader ya se estrelló al intentar portar la antigua libVMR a R y no tenía suficiente memoria para una máquina nuclear grande, así como un rendimiento completo para una pequeña (el número de ciclos se redujo en 100 veces), es poco probable que haya gente dispuesta a pisar el mismo rastrillo?


Por lo tanto, es mejor no respirar una palabra sobre la portación en R como esta - este clunker es demasiado lento.

Me refería a crear un paquete para "R" .

"R" está compuesto en un 70% por paquetes escritos en otros lenguajes (C++, C, fortran, java...) por lo que la velocidad de procesamiento no debería resentirse, ¿o me estoy perdiendo algo?

el famoso paquete "h2o" está escrito en java

 
mytarmailS:

Me refería a crear un paquete para "R".

"R" se compone de un 70% de paquetes escritos en lenguajes "extranjeros" (C++,C,fortran,java...) por lo que la velocidad de procesamiento no debería resentirse, ¿o me estoy perdiendo algo?

el famoso paquete "h2o" está escrito en java

No lo sabía. Intentaré buscar instrucciones para crear paquetes en Java.
 
Yury Reshetov:


Más concretamente en el archivo del informe:

/**
* La calidad del modelado en fuera de muestra:
*
* VerdaderosPositivos: 182
* VerdaderosNegativos: 181
* FalsosPositivos: 1
* FalsosNegativos: 1
* Total de patrones en fuera de muestra con estadísticas: 365
* Total de errores en fuera de muestra: 2
* Sensibilidad de la habilidad de generalización: 99.4535519125683%
* Especificidad de la capacidad de generalización: 99,45054945054946%
* Capacidad de generalización: 98,90410136311776%
* Indicador de Reshetov: 8,852456238401455
*/

Lo siento, no lo creo, es demasiado gráfico. ¿Podría repetir el experimento, por favor? He adjuntado otro archivo, ahí los datos son para otro periodo de tiempo. El entrenamiento del modelo debe estar en train.csv, la prueba en test_notarget.csv. Estoy interesado en los resultados predichos para el archivo test_notarget.csv. El archivo para test no contiene la variable target, para ser justos. Pero hay un archivo más con contraseña con los resultados para la prueba test.csv, voy a dar la contraseña para la comparación a cambio de los resultados previstos.

Archivos adjuntos:
forex_test.zip  2699 kb
 
Combinador:

¿Cómo que no se utilizan? El ACP es una transformación lineal. Dimensiones removibles: aquellas que pueden obtenerse mediante una combinación lineal de las demás. Esto significa que cualquier predictor puede obtenerse mediante una combinación lineal de los componentes principales. si se toma un intervalo del 95%, hay muchas posibilidades de perder un buen predictor de forma estúpida debido a la escala, un intervalo inferior al 100% sólo se utiliza en la compresión de datos con pérdidas, de lo contrario sólo se cortan los componentes que son cero.

No lo he expresado con precisión, pero has acertado. De lo que se trata exactamente es de tomar los componentes suficientes para una precisión del 95% y descartar el resto. Ejemplo: hay 10000 predictores, lo que significa que se pueden crear 10000 componentes para garantizar una precisión del 100%. Podemos entonces descartar los 9.900 componentes para dejar 100, pero la precisión se reducirá sólo un 5%, del 100% al 95%. Hay que analizar el resto de los 100 componentes y eliminar los predictores que no se utilizan en ellos. Una pérdida del 5% no es un problema, porque lo importante es predecir la variable objetivo, no recrear los datos originales sin pérdida.
Razón de la queja: