Discusión sobre el artículo "Remuestreo avanzado y selección de modelos CatBoost con el método de fuerza bruta" - página 8

Nuevo comentario
 
Valeriy Yastremskiy:

Parece que tenemos ideas diferentes sobre el bousting aleatorio. Árbol decisivo, se trata de características seleccionadas de un conjunto aleatorio. La cuestión es que los conjuntos son aleatorios, pero la selección / agrupación en malos buenos estaba originalmente allí. Es como lanzar una aguja, medir ángulos y calcular el número de pi)

de la wiki

  1. Construyamos unárbol de decisión que clasifique las muestras de la submuestra dada, y durante la creación del siguiente nodo del árbol elegiremos un conjunto de características en base a las cuales se realiza la partición (no de todas lasM características , sino sólo dem elegidas al azar ). La selección de la mejor de estasm características puede hacerse de diferentes maneras. El código original de Breiman utiliza elcriterio de Gini, que también se emplea en el algoritmo de árbol decisivoCART. Algunas implementaciones del algoritmo utilizan en su lugar elcriterio de ganancia de información. [3]
No le entiendo.
Yo también he oído hablar de Random boosting por primera vez.
Me refería a random forest.
 
Maxim Dmitrievsky:

Sí, hay muchos árboles, pero cada uno intenta formarse mejor en rasgos diferentes. Esto no es lo mismo que agrupar varios bosques (incluidos los malos).

En un bosque aleatorio, los árboles se promedian.
Sin embargo, combinar bosques de casos basados en los mismos atributos equivale a 1 bosque con el número de árboles = el número de árboles de todos los bosques que se van a combinar. La única diferencia será una inicialización diferente del HCS.
[Eliminado]  
elibrarius:
Los árboles de un bosque de casos se promedian.
Sin embargo, la fusión de bosques de casos basados en las mismas características equivale a 1 bosque con el número de árboles = el número de árboles de todos los bosques fusionados. La única diferencia será la distinta inicialización del HCS.

La diferencia es que cada árbol sin poda es capaz de recordar perfectamente el conjunto de datos, lo que provoca su reentrenamiento. Un conjunto de árboles está en contra del sobreentrenamiento, porque se produce cierto promediado. Pero cada árbol es bueno por sí solo.

Si se reúnen clasificadores, la cosa cambia. Promediar con un mal clasificador degrada el resultado global.

 
Maxim Dmitrievsky:

La diferencia es que cada árbol sin podar es capaz de recordar perfectamente el conjunto de datos, lo que provoca su reaprendizaje. Un conjunto de árboles está en contra del sobreaprendizaje, ya que se produce cierto promediado. Pero cada árbol es bueno por sí solo.

Si se reúnen clasificadores, la cosa cambia. Promediar con un mal clasificador degrada el resultado global.

Además de la poda, hay un límite en la profundidad y en el número de ejemplos en la hoja.

Un solo árbol también es un clasificador.

Espero que encuentres tiempo para comparar la media y los mejores resultados en la muestra del examen. No para discutir teóricamente, sino para confirmar con la práctica una de las variantes.

 
elibrarius:
No le entiendo.
También es la primera vez que oigo hablar de Random boosting.
Me refería a random forest.

Pido disculpas, error tipográfico. Bosque por supuesto, bosque. Por cierto, se implementó por primera vez en fortran 77 (con oop) en 1986, cuando aquí la gente aún estaba aprendiendo fortran 4 (sin oop).

Pero eso no cambia el punto. El muestreo de las mejores características, árboles en un conjunto mejora el resultado. Pero al mismo tiempo la agrupación en conjuntos buenos malos se realiza a partir de un conjunto aleatorio de características, no del conjunto completo, lo que reduce los recursos necesarios, y al mismo tiempo, como ha demostrado la práctica, no empeora significativamente el resultado.

[Eliminado]  
elibrarius:

Además de la poda, hay un límite de profundidad y un límite en el número de ejemplos por hoja.

Un árbol es también un clasificador.

Espero que encuentre tiempo para comparar la media y los mejores resultados en la muestra del examen. No para discutir teóricamente, sino para confirmar con la práctica una de las variantes.

20 modelos entrenados

Iteration:  0 R^2:  0.8235250920362135
Iteration:  1 R^2:  0.6105081195352418
Iteration:  2 R^2:  0.5999893279334669
Iteration:  3 R^2:  0.7034867465493326
Iteration:  4 R^2:  0.49771677587528107
Iteration:  5 R^2:  0.8190243407873834
Iteration:  6 R^2:  0.9160173823652586
Iteration:  7 R^2:  0.809572709204347
Iteration:  8 R^2:  0.8537940261267768
Iteration:  9 R^2:  0.7244418893207643
Iteration:  10 R^2:  0.8809333905804972
Iteration:  11 R^2:  0.7920488879746739
Iteration:  12 R^2:  0.8377299883565552
Iteration:  13 R^2:  0.8667892348319326
Iteration:  14 R^2:  0.6321639879122785
Iteration:  15 R^2:  0.7561855032577106
Iteration:  16 R^2:  0.4121119648365902
Iteration:  17 R^2:  0.7421029264382919
Iteration:  18 R^2:  0.836331050771787
Iteration:  19 R^2:  0.7477743928781102

Los mejores:

Los 20:


[Eliminado]  

50 modelos


[Eliminado]  

100 modelos

mejor

todos


[Eliminado]  

Una vez más, en 50 modelos:

Iteration:  0 R^2:  0.797041035933919
Iteration:  1 R^2:  0.6824496839528826
Iteration:  2 R^2:  -0.10034902026957526
Iteration:  3 R^2:  0.328548941268331
Iteration:  4 R^2:  0.057993335625261544
Iteration:  5 R^2:  0.43595119223755463
Iteration:  6 R^2:  -0.1461644857089356
Iteration:  7 R^2:  -0.9017316279265075
Iteration:  8 R^2:  0.0031339532771327283
Iteration:  9 R^2:  -0.6090350854501592
Iteration:  10 R^2:  -0.7554715262958651
Iteration:  11 R^2:  0.8889548573023011
Iteration:  12 R^2:  -0.6851507097155135
Iteration:  13 R^2:  -0.042098743896817226
Iteration:  14 R^2:  0.22006019984338276
Iteration:  15 R^2:  -0.4950383969975669
Iteration:  16 R^2:  0.2773014537990013
Iteration:  17 R^2:  0.4472756948107278
Iteration:  18 R^2:  0.3842534295398661
Iteration:  19 R^2:  -0.06660146376162235
Iteration:  20 R^2:  -0.13214701476491186
Iteration:  21 R^2:  -0.014549407007194204
Iteration:  22 R^2:  0.11446106552499291
Iteration:  23 R^2:  0.28201359760085487
Iteration:  24 R^2:  -0.32881820516653015
Iteration:  25 R^2:  -0.11531960758010862
Iteration:  26 R^2:  -0.22343090109420405
Iteration:  27 R^2:  -0.2359542081469308
Iteration:  28 R^2:  -0.2601186685105703
Iteration:  29 R^2:  0.7814611177095688
Iteration:  30 R^2:  -0.25351714267240644
Iteration:  31 R^2:  0.23253274050003103
Iteration:  32 R^2:  -0.06336213642832789
Iteration:  33 R^2:  0.8253438383511618
Iteration:  34 R^2:  0.2634214576140671
Iteration:  35 R^2:  0.1234251060806747
Iteration:  36 R^2:  0.5421316161448162
Iteration:  37 R^2:  0.2050233417898205
Iteration:  38 R^2:  0.4735349758266585
Iteration:  39 R^2:  -0.3067801197806268
Iteration:  40 R^2:  0.578989248941286
Iteration:  41 R^2:  0.2660816711693378
Iteration:  42 R^2:  0.19419203781618766
Iteration:  43 R^2:  -0.5900063179871913
Iteration:  44 R^2:  -0.4341693524447342
Iteration:  45 R^2:  0.593129434935225
Iteration:  46 R^2:  -0.6595885008415516
Iteration:  47 R^2:  -0.41482641919393526
Iteration:  48 R^2:  0.27611537596461266
Iteration:  49 R^2:  0.2459498592107655

Mejor

medias


[Eliminado]  

Una vez más.


123456789101112131415
Nuevo comentario