Discusión sobre el artículo "Redes neuronales: así de sencillo (Parte 17): Reducción de la dimensionalidad"
Ещё одна область использования методов понижения размерности — это визуализация данных. К примеру, у Вас есть данные описания состояний некой системы, представленные 10 параметрами. И Вам необходимо найти способ визуализировать эти данные. Для восприятия человеком наиболее предпочтительными являются 2-х и 3-мерные изображения. Конечно, можно сделать несколько слайдов с различными вариациями 2-3 параметров. Но это не даст полного представления о картине состояний системы. И в большинстве случаев различные состояния в различных слайдах будут сливаться в 1-ну точку. И не всегда это будут одни и те же состояния.
Por lo tanto, nos gustaría encontrar tal algoritmo, que nos ayudaría a traducir todos nuestros estados del sistema de 10 parámetros en un espacio de 2 o 3 dimensiones. Y al mismo tiempo dividir nuestros estados del sistema con la preservación de su ubicación mutua tanto como sea posible. Y, por supuesto, con una pérdida mínima de información.
Dmitry, ¡gracias por el artículo!
Después de leer estas líneas, me acuerdo inmediatamente del proceso de análisis de los resultados de la optimización, cuando miro un gráfico 3D y cambio los parámetros de cada uno de los ejes sucesivamente. Al fin y al cabo, no sólo quiero ver el mejor valor de un parámetro, sino también su influencia en otros parámetros.
¿Me ayudará en este caso el método de componentes principales? ¿Qué aspecto tendrá el gráfico tras la reducción de la dimensionalidad? ¿Cómo será posible extraer de él los valores de tal o cual parámetro en cada punto?
¿Ayudará en este caso el método de componentes principales? ¿Qué aspecto tendrá el gráfico tras la reducción de la dimensionalidad? ¿Cómo será posible extraer de él los valores de tal o cual parámetro en cada punto?
En el caso de posiciones explícitas de los ejes (cuando pueden determinarse sin ambigüedad), sí, ayudará, cuando haya varias variantes de ubicación, cercanas en valores, entonces los primeros cálculos darán el resultado de dirección de los ejes, lo que no siempre es cierto. En general, la reducción de dimensionalidad no funciona en distribuciones uniformes.
ZY, el artículo es digno de crédito, el autor es respetado.En el caso de posiciones explícitas de ejes (cuando se pueden determinar sin ambigüedad), sí, ayudará, cuando hay varias variantes de ubicación, cercanas en valores, los primeros cálculos darán el resultado de dirección de eje, lo que no siempre es cierto. En general, la reducción de la dimensionalidad no funciona en distribuciones uniformes.
Aparentemente, hay que estar en el tema para entender la respuesta.
Los parámetros de la estrategia se encuentran en los ejes, pueden tener valores muy diferentes, estar relacionados o ser independientes. Me gustaría analizar 1 gráfico y ver todas las relaciones a la vez.
"Reducir la dimensionalidad" puede llevarte rápidamente a un rincón bidimensional si no te das cuenta de que sólo funciona "en muestra" en la mayoría de los casos :)
pero el artículo es genial en términos de portar PCA a MQL, aunque es en alglibAl parecer, hay que estar en el tema para entender la respuesta.
Los parámetros de la estrategia se encuentran en los ejes, pueden tener valores muy diferentes, estar relacionados o ser independientes. Me gustaría analizar 1 gráfico y ver todas las relaciones a la vez.
No, el PCA no le dará todas las correlaciones a la vez, sólo le dará una media. Destacará las más fuertes. Si el resultado a largo plazo no depende de los parámetros, es decir, es constante, el ACP no le ayudará. Si la influencia de los parámetros en el resultado es constante por etapas o por ondas, tampoco será de ayuda, a menos, claro está, que el análisis se realice dentro de una onda/etapa).
¿Ayudará en este caso el método de componentes principales? ¿Qué aspecto tendrá el gráfico tras la reducción de la dimensionalidad? ¿Cómo será posible extraer de él los valores de tal o cual parámetro en cada punto?
Andrew, la situación se puede explicar con el gráfico presentado en el primer post. Con PCA estamos reduciendo la dimensionalidad a una sola línea. Es decir, a partir de 2 coordenadas, que multiplicamos por el vector de reducción de la dimensionalidad obtenemos un valor: la distancia desde "0" hasta el punto de la línea naranja. Multiplicando esta distancia por la matriz de reducción transpuesta, obtenemos las coordenadas de este punto en el espacio bidimensional. Pero al hacerlo, por supuesto, obtendremos un punto en la línea con cierta desviación del punto verdadero. Así, para cada punto en el espacio reducido podemos obtener las coordenadas en el espacio original. Pero con algún error respecto a los datos originales.
Andrew, la situación puede explicarse con el gráfico presentado en el primer post. Con PCA reducimos la dimensionalidad a una sola línea. Es decir, a partir de 2 coordenadas, que multiplicamos por el vector de reducción de la dimensionalidad obtenemos un valor: la distancia de "0" al punto de la línea naranja. Multiplicando esta distancia por la matriz de reducción transpuesta, obtenemos las coordenadas de este punto en el espacio bidimensional. Pero al hacerlo, por supuesto, obtendremos un punto en la línea con cierta desviación del punto verdadero. Así, para cada punto en el espacio reducido podemos obtener las coordenadas en el espacio original. Pero con algún error respecto a los datos originales.
Gracias por la respuesta.
Si el eje X es el valor del parámetro y el eje Y es el resultado de la corrida en dinero, se pierde mucha información después de la transformación.
Y lo más confuso es cómo se vería esto en un gráfico 3D. ¿Cómo se reducirá la dimensionalidad?
¿Y para 4d? ¿Cuál sería el resultado?
Probablemente se necesita una buena imaginación o una comprensión profunda de todos los procesos aquí )
Gracias por su respuesta.
Si el eje X es el valor del parámetro y el eje Y es el resultado de la ejecución en dinero, se pierde mucha información tras la conversión.
Y lo más confuso es cómo podría verse en un gráfico 3D. ¿Cómo se reducirá la dimensionalidad?
¿Y para 4d? ¿Cuál sería el resultado?
Supongo que se necesita una buena imaginación o una comprensión profunda de todos los procesos )
Este es un ejemplo simplificado en absoluto, por supuesto cuando tenemos 2 parámetros y un resultado este método no es muy necesario. Es cuando los parámetros son más de 5, entonces hay un problema de visualización. 4 parámetros pueden ser representados por vídeo (un parámetro como el tiempo) 3 parámetros imagen volumétrica. Y el resultado, la densidad o el color en la imagen volumétrica
de wiki no es una mala explicación
Formulación formal del problema CRA
El problema del análisis de componentes principales tiene al menos cuatro versiones básicas:
- aproximar los datos por colectores lineales de menor dimensión;
- encontrar subespacios de menor dimensionalidad, en laproyección ortogonal en la que la dispersión de los datos (es decir, ladesviación estándar del valormedio) sea máxima;
- encontrar subespacios de menor dimensionalidad, en la proyección ortogonal en los que la distancia RMS entre puntos sea máxima;
- para una variable aleatoria multidimensional dada, construir tal transformación ortogonal de coordenadas, como resultado de la cuallas correlaciones entre coordenadas individuales se vuelvan cero.
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Usted acepta la política del sitio web y las condiciones de uso
Artículo publicado Redes neuronales: así de sencillo (Parte 17): Reducción de la dimensionalidad:
Seguimos analizando modelos de inteligencia artificial, y en particular, los algoritmos de aprendizaje no supervisado. Ya nos hemos encontrado con uno de los algoritmos de clusterización. Y en este artículo queremos compartir con ustedes una posible solución a los problemas de la reducción de la dimensionalidad.
El análisis de componentes principales fue inventado por el matemático inglés Karl Pearson en 1901. Desde entonces, se ha usado con éxito en muchos campos de la ciencia.
Para comprender la esencia del método, proponemos realizar una tarea simplificada para reducir la dimensionalidad de un array bidimensional de datos a un vector. Desde un punto de vista geométrico, esto se puede representar como una proyección de los puntos de un cierto plano sobre una línea recta.
En la siguiente figura, los datos iniciales están representados por puntos azules y se realizan dos proyecciones sobre las líneas naranja y gris con los puntos del color correspondiente. Como podemos ver, la distancia promedio de los puntos iniciales hasta sus proyecciones naranjas será menor que las distancias similares hasta las proyecciones grises. En este caso, entre las proyecciones grises, podemos notar la superposición de las proyecciones de los puntos entre sí. Por lo tanto, la proyección naranja resulta preferible para nosotros, ya que separa todos los puntos individuales y sufre una menor pérdida de datos al reducir la dimensionalidad (la distancia de los puntos hasta sus proyecciones).
Esa línea se llama componente principal. De ahí el nombre del método de análisis de componentes principales.
Desde un punto de vista matemático, cada componente principal es un vector numérico con un tamaño igual a la dimensión de los datos originales. El producto del vector de datos iniciales que describe un estado del sistema por el vector correspondiente del componente principal da precisamente el punto de proyección del estado analizado en la línea recta.
Según la dimensionalidad de los datos de origen y los requisitos para la compresión de los datos, podrá haber varios de estos componentes principales, pero no más que la dimensionalidad de los datos de origen. Al visualizar una proyección volumétrica, habrá 3 de ellos. Al comprimir los datos, parten de un error permitido, por lo general teniendo una pérdida de hasta el 1% de los datos.
Probablemente deberíamos prestar atención a que esto resulta visualmente similar a la regresión lineal. Pero estos son métodos completamente distintos y dan resultados diferentes.
Autor: Dmitriy Gizlyk