¿Hay algún patrón en el caos? ¡Intentemos encontrarlo! Aprendizaje automático a partir de una muestra concreta. - página 7

 
Aleksey Vyazmikin #:
Puedo decirle qué predictores utilizó uno de los modelos - compruebe si se entrenó con éxito (no tengo casi ninguna duda) - ¿es necesario?

Puedes poner los números de las columnas entre comas. Sería interesante comparar.

 
elibrarius #:

Puedes poner los números de columna entre comas. Es interesante comparar.

¿La primera columna es un cero o un "1"? :)

Aquí está el recuento de ceros

1,225,345,625,702,725,779,798,841,1104,1118,1268,1337,1357,1639,1737,1922,1937,2027,2043,2125,2239,2354,2474,2475,2507,2796,2816,2953,3012,3207,3228,3378,3671,3717,3726,3734,3864,3927,3982,4522,4560,5007,5029,5129,5313,5359,5548
 

Aquí hay otra variante - me gusta aún más, ya que es un resultado estable en todas las muestras.

606,1048,1060,1083,1095,1103,1108,1110,1137,1198,1347,1353,1511,1525,1526,2055,2581,2582,3078,3153,3273,3341,3676,3690,3695,3839,3919,3967,4397,4433,5052,5364,5579



Saldo

 
Aleksey Vyazmikin #:

¿La primera columna es cero o "1"? :)

Es cero.

Tengo 0. Intentaré enseñarlo mañana.
 
elibrarius #:
Estoy a 0. Intentaré entrenarlo mañana.

Debería funcionar - hay pocos predictores. Aunque, para la selección usé mi propio método, creando tablas cuánticas forzadas, y luego el algoritmo hizo una selección a partir de ellas.

La cuestión aquí es cómo puedes definir los atributos del predictor para aprender a seleccionarlos antes de entrenar....

 
Aleksey Vyazmikin:

Есть ли закономерность в хаосе?


El propio enunciado de la pregunta es erróneo! La propia definición de "CAOS" es un estado en el que las regularidades están FUERA....

No hay que partir del CAOS, sino de la búsqueda de un estado similar al MERCADO.

Y no será el caos, sino algún estado intermedio entre el caos y los datos ordenados.....

Y buscar patrones en el caos es una tontería.... ( lea la definición de "caos" )....

 
El mercado es un completo caos, pero hay que ser capaz de ver en él un sistema. O, para ser más precisos, conducir el mercado hacia el lecho de Procusto del sistema.
 
webgopnik #:
El mercado es un completo caos, pero hay que ser capaz de ver en él un sistema. O, para ser más precisos, conducir el mercado hacia el lecho de procrustes del sistema.

Es un poco como la expresión: "¡Convierte la mierda en caramelo!". - sabiduría popular...


En realidad, todo es exactamente lo contrario: ¡el mercado es un SISTEMA! Y hay que curar el cerebro del caos para entender este sistema....

 
Aleksey Vyazmikin #:

Debería funcionar: hay pocos predictores. Aunque, para el cribado utilicé mi propio método, creando tablas cuánticas forzadas, y luego el algoritmo hizo una selección a partir de ellas.

La cuestión aquí es cómo se pueden definir los atributos del predictor para aprender a seleccionarlos antes de la formación....

Por cierto, tus datos se pueden referir realmente a Big Data...

250 millones de celdas en una tabla.

¿Cuánto tarda catbust en entrenar 1 modelo en un conjunto de datos completo?

 
elibrarius #:

Por cierto, sus datos - realmente se puede atribuir a Big Data.....

250 millones de celdas en una hoja de cálculo.

Sí, hay una gran cantidad de datos, y tengo la intención de añadir más - por lo que se requiere el desarrollo de una metodología de selección de pre-entrenamiento.

elibrarius

¿Cuánto tarda catbust en entrenar 1 modelo en un conjunto de datos completo?

Acabo de entrenarlo, y diré que depende mucho de la configuración, especialmente del número de divisiones en las tablas cuánticas.

Acabo de empezar un experimento, donde la formación va con la configuración predeterminada de la tarjeta de vídeo - una pasada, sin tener en cuenta la evaluación del modelo y la prueba en la muestra de examen, tarda 2-3 minutos - dependiendo del número resultante de los árboles en el modelo. En mi ya bastante anticuado procesador FX-8350, es aproximadamente un 60% más lento.

Creo que la velocidad es bastante aceptable, suelo entrenar 100 modelos con una semilla fija, lo que promediaría la eficacia del método.

Si entrenas hasta el "final", el programa estima el tiempo hasta 2 horas.

Razón de la queja: