Discusión sobre el artículo "Los bosques aleatorios predicen las tendencias" - página 9

Nuevo comentario
 
Reshetov:
Ahora lo has arruinado todo. ¿Y cómo es que tu alta IA no reconoció inmediatamente una suma trivial?
 
gpwr:

faa1947, por favor, muestre cómo funciona su modelo en el siguiente ejemplo. La primera columna es la serie modelizada, la segunda y la tercera son los predictores. ¿Cuál es el poder predictivo de estos predictores?

-0.35742 0.461646 -0.81907
0.431277 0.004545 0.426731
-0.00018 -0.4037 0.403528
-0.08575 0.90851 -0.99426
0.773826 0.008975 0.764852
0.426905 -0.96485 1.391757
0.253233 0.487955 -0.23472
0.20994 0.880554 -0.67061
-0.09929 0.160276 -0.25956
0.332911 -0.08736 0.420268
0.032258 0.360106 -0.32785
0.253027 -0.06859 0.321621
-0.66668 -0.54985 -0.11683
-0.5476 -0.13231 -0.41529
-0.75652 0.536488 -1.29301
-0.66109 -0.87314 0.212052
-0.09993 -0.86293 0.763
0.014625 0.715032 -0.70041
-0.48345 -0.62666 0.143206
-0.03596 0.935653 -0.97161
-0.17023 0.678024 -0.84826
0.293376 0.079529 0.213847
0.002922 0.754594 -0.75167
0.329194 -0.05535 0.384546
0.639423 -0.41358 1.053007
0.431631 -0.60334 1.034973
0.59125 0.497989 0.093262
0.266098 -0.79645 1.062549
-0.02624 0.643164 -0.6694
0.055014 -0.46214 0.517154
0.436132 -0.89992 1.336052
-0.30143 0.628619 -0.93005
-0.12168 0.886467 -1.00814
-0.10851 -0.0507 -0.0578
-0.74573 -0.50921 -0.23653
-0.574 0.244825 -0.81883
-0.87313 0.336188 -1.20932
-0.00344 0.117363 -0.1208
-0.20265 0.424326 -0.62697
0.177873 -0.17967 0.357541

No soy un matemático generalista. Intento razonar de forma muy concreta, y por motivos de trading no es difícil conseguir una muestra de 10000 líneas. No sé sacar ninguna conclusión sobre 40 líneas y no veo la necesidad de aprender, aunque todo lo que hablo es aplicable a esas muestras. Para la medicina 40 líneas es normal.

1. En general, escribo sobre el sobreentrenamiento del modelo dentro del cual surgió la "capacidad predictiva".

2. Me refiero a la predicción de valores nominales "largo-corto". Se trata de modelos de clasificación. Su ejemplo, los modelos de regresión no lo hago .

Estoy dispuesto a continuar.

Necesito una cotización en la que puedo ejecutar un ZZ y tienen múltiples rupturas. A partir de ahí necesito un archivo bastante grande.

Además del propio cotir, varios predictores, incluso uno. Voy a responder a la pregunta: ¿este predictor tiene poder predictivo de longs-shorts.

Y por supuesto se necesita un archivo - ¿o sugieres escribir todo a mano?

 

TheXpert:

Reshetov:

Se revela el secreto de la "alta generalizabilidad" de su muestra: el valor de la primera columna es la suma de los valores de las otras dos columnas.


Ahora lo has estropeado todo ) . ¿Y cómo es que tu alta IA no reconoció una suma trivial a la primera?

Y no está diseñada para reconocer sumas, porque construye modelos para clasificación binaria, y la tarea es de la sección de regresión múltiple.

Aunque el modelo es para clasificación binaria, pero aún así, la expresión

double x0 = 2.0 * (v0 + 0.96485) / 1.900503 - 1.0;

double x1 = 2.0 * (v1 + 1.00814) / 2.399897 - 1.0;

y = 0.12981203254657206 + 0.8176828303879957 * x0 + 1.0 * x1 -0.005143248786272694 * x0 * x1;

se simplifica a: y ~ v0 + v1.

Y entonces sólo queda probar la hipótesis en una hoja de cálculo.

 

Buenas tardes, SanSanych.

Sobre el tema del infraentrenamiento, sobreentrenamiento, puedes consultar el borrador del libro aquí http://www.iro.umontreal.ca/~bengioy/dlbook/.

La sección 5.3.3 describe todo muy bien. En general, todo el libro es muy útil, sobre todo escrito por corifeos.

Suerte

 
vlad1949:

Buenas tardes, SanSanych.

Sobre el tema del infraentrenamiento, sobreentrenamiento, puedes consultar el borrador del libro aquí http://www.iro.umontreal.ca/~bengioy/dlbook/.

La sección 5.3.3 describe todo muy bien. En general, todo el libro es muy útil, sobre todo escrito por corifeos.

Suerte

Buenas tardes.

Gracias por el enlace.

Tengo un conjunto completo de herramientas y una selección de literatura sobre el tema. Pero no facilita la aplicación práctica.

Si lo desea, puedo compartir con la esperanza de reunir todo este conjunto de herramientas a la automaticidad.

 
faa1947:

Buenas tardes.

Gracias por el enlace.

Tengo un juego completo de herramientas y una selección de literatura sobre el tema. Pero eso no facilita la aplicación práctica.

Si lo desea, puedo compartir con la esperanza de reunir todo este conjunto de herramientas para el automatismo.

Resuelvo este problema programáticamente. Los resultados son buenos.

Suerte

 
faa1947:

No soy un experto matemático universal. Intento razonar de forma muy concreta, y en base al trading no es difícil conseguir una muestra de 10000 líneas. No sé sacar ninguna conclusión sobre 40 líneas y no veo la necesidad de aprender, aunque todo lo que hablo es aplicable a este tipo de muestras. Para la medicina 40 líneas es normal.

1. En general, estoy escribiendo sobre el sobreentrenamiento del modelo dentro del cual surgió la "capacidad predictiva".

2. Me refiero a la predicción de valores nominales "largo-corto". Se trata de modelos de clasificación. Su ejemplo, los modelos de regresión no lo hago .

Estoy listo para continuar.

Necesito una cotización en la que puedo ejecutar un ZZ y tienen múltiples rupturas. A partir de ahí necesito un archivo bastante grande.

Además del propio cotir, varios predictores, incluso uno. Voy a responder a la pregunta: ¿este predictor tiene poder predictivo de largos-cortos.

Y, por supuesto, se necesita un archivo - ¿o sugieres escribir todo a mano?

Ya veo. Es bastante fácil comprobar si el modelo está sobreentrenado comparando su comportamiento en la muestra de entrenamiento y fuera de ella. Pero cómo hacer que el modelo no esté sobreentrenado depende de nuestra capacidad para determinar qué predictor-entradas son relevantes para la serie modelada y cuáles no, lo cual es mucho más difícil que determinar el sobreentrenamiento. La capacidad de generalización de un modelo depende de su sobreentrenamiento. El ejemplo que he puesto es muy sencillo. La serie y que se modela es una onda sinusoidal ruidosa. El primer predictor x1 son números aleatorios. El segundo predictor x2 es la diferencia x2 = y-x1. En otras palabras, el modelo se describe con precisión mediante la suma de predictores y = x1+x2. El hecho de que se negara a aplicar su método a este sencillo ejemplo sólo hace sospechar que su método no es capaz de determinar la relevancia de los datos, y determinar esta relevancia es precisamente el objetivo principal de identificar el sobreentrenamiento y eliminarlo. Los problemas reales de modelización son mucho más complejos que mi ejemplo: incluyen tanto datos relevantes como muchos más datos irrelevantes. Separar unos de otros es increíblemente difícil. Una red neuronal con todas las entradas se entrenará para tener conexiones con las entradas relevantes y no relevantes y, por tanto, se reentrenará. Dado que aparentemente no sabes cómo determinar la relevancia de los datos, no tengo ningún interés en tus artículos y libros. Buena suerte.
 
gpwr:

Es bastante fácil comprobar si el modelo está sobreentrenado comparando su comportamiento en la muestra de entrenamiento y fuera de ella.

Esto es una gran ilusión y, según tengo entendido, todavía no está pagado por usted. El modelo dado en el artículo tiene resultados igualmente buenos en tres muestras fuera del entrenamiento - pero este modelo está sobreentrenado.

Y cómo hacer que el modelo no esté sobreentrenado depende de nuestra capacidad para determinar qué predictor-entradas son relevantes para la serie modelada y cuáles no, lo cual es mucho más difícil que determinar el sobreentrenamiento.

En primer lugar, lea atentamente el artículo: la tabla 3 muestra la importancia de los predictores en la predicción de la variable objetivo.

Y luego aprenda la matriz, por ejemplo, estudie paquetes especializados para seleccionar predictores varSerf, Boruta, FSelector. Y el paquete CORElearn tiene 35 (!) algoritmos diferentes para seleccionar los predictores que importan para la variable objetivo.

Desde mi experiencia en la selección de predictores que importan para la variable objetivo.

1. formamos un conjunto bastante grande de predictores, por ejemplo, 50 piezas con el número de barras 15000.

2. Con la ayuda de uno de los algoritmos mencionados anteriormente seleccionamos predictores en estas 15 mil barras - por lo general obtenemos de 15 a 20 piezas, que se utilizan en la construcción de modelos con más frecuencia que en el 20% de los casos.

3. A continuación, tomamos una ventana más pequeña, por ejemplo 2000 barras y empezamos a moverla una barra a la vez, seleccionando predictores significativos de los 20 de 50 previamente seleccionados.

4. La lista específica de predictores significativos cambia todo el tiempo.

Dado que aparentemente no sabe cómo determinar la relevancia de los datos, no tengo ningún interés en sus artículos y libros.

La eficacia del uso de estos paquetes en sus manos aumentará enormemente si gasta una pequeña cantidad de dinero en mi libro, que explica por qué es necesario y cómo entenderlo y ejemplos reales sobre datos reales.

Y el efecto será aún mayor si usted y yo intentamos juntos crear un modelo no entrenado sobre sus predictores. El éxito no está garantizado, pero está garantizado que no escribirás posts tan superficiales después de comunicarte conmigo. Además, serás mucho más cuidadoso con las cuentas reales.

 
faa1947:

1. formar un conjunto bastante grande de predictores, por ejemplo, 50 piezas con el número de barras 15000.

Bien, ahora está claro por qué gana dinero vendiendo su libro y no operando.

 
faa1947:

Estas son grandes ilusiones y, como me doy cuenta, aún no pagadas por usted. El modelo dado en el artículo tiene resultados igualmente buenos en tres muestras fuera de entrenamiento - pero este modelo está sobre-entrenado.

Sobreentrenamiento es un término bien establecido y bastante específico. Usted no sólo lo está sustituyendo, sino que además no está explicando qué es a su entender.

Recuerda mucho a Sulton ) en su forma de hablar.

1234567891011121314
Nuevo comentario