Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 2552

 
Vladimir Perervenko #:

Hay otro problema con el uso de predictores: su deriva.

¿Es la deriva lo mismo que la no estacionariedad, tal y como yo lo entiendo?

¿Qué pasa si entrenamos un modelo que toma un precio como entrada y produce una serie estocástica máxima que se correlaciona con el precio? ¿Has probado algo así?

 
Vladimir Perervenko #:

Hay otro problema con el uso de predictores: su deriva. Y este problema debe identificarse y tenerse en cuenta tanto en las pruebas como en el funcionamiento. Hay una traducción del artículo en el apéndice (busque otros en la web) y hay un paquete de derivación. No es el único. Pero la cuestión es que, al seleccionar los predictores, hay que tener en cuenta no sólo su importancia, sino también su deriva. En el caso de las derivas altas las descartamos o las transformamos, en el caso de las derivas bajas debemos tenerlas en cuenta (corregirlas) durante las pruebas y el funcionamiento.

Estoy de acuerdo, la no estacionariedad (deriva) complica mucho las cosas. Por desgracia, es mucho más complicado que en el ejemplo del spam. Pero es necesario tenerlo en cuenta.

 
elibrarius #:
El color de una vela, incluso con un error del 30%, puede ser un perdedor. No sabemos cuánto beneficio podemos obtener de ello... el color se suele adivinar bien en los movimientos lentos del precio (overnight), y 1 vela diurna fuerte no adivinada puede valer por 10 pequeñas nocturnas. Creo que adivinar el color de las velas es de nuevo un resultado aleatorio (debido a las dimensiones aleatorias).
Por eso hice la clasificación con TP, SL. Si son iguales, entonces el 52% de las operaciones exitosas ya son rentables. Si TP=2*SL. Entonces >33% de las operaciones exitosas serán rentables. Lo mejor que he tenido es un 52-53% de operaciones exitosas con TP=SL durante 2 años. Pero en general, estoy pensando en utilizar la regresión con TP/SL fijo. Para ser más precisos, de alguna manera hacer una clasificación sobre la regresión.

Sí, eso me recuerda que un objetivo de este tipo no me parece muy eficaz, ya que no tiene en cuenta la volatilidad.

¿Estoy en lo cierto al suponer que se abre una posición prácticamente cada barra para preparar una muestra?

 
SanSanych Fomenko #:

En principio, no hay, ni puede haber, métodos matemáticos que hagan de la basura un caramelo. O hay un conjunto de predictores que predice al profesor, o no lo hay.

Y los modelos no juegan prácticamente ningún papel, como tampoco las validaciones cruzadas y otras perversiones computacionalmente intensivas.


PS.

Por cierto, la "importancia" de los predictores en el modelo no tiene nada que ver con la capacidad de predecir al profesor.

Está usted muy equivocado: no existen métodos perfectos de construcción de modelos capaces de seleccionar los predictores "correctos" por sí solos. O tal cosa no la conozco.

Tal vez no se pueda describir el mercado a la perfección, pero aplicando el muestreo y el análisis de los predictores se puede mejorar significativamente el resultado del modelo, aunque con un vistazo a los datos para los que se realiza el entrenamiento.

La cuestión es cómo seleccionar eficazmente los predictores y controlar sus cambios anormales al aplicar el modelo.

 
Vladimir Perervenko #:

Hay tres opciones para tratar las muestras de ruido: eliminar, volver a dividir (corregir el marcado) y separar las muestras de ruido en una clase aparte. En mi experiencia, alrededor del 25% de la muestra es "ruido". La mejora de la calidad es de aproximadamente un 5%, depende de los modelos y de la preparación de los datos. Lo aplico de vez en cuando.

Hay otro problema cuando se utilizan predictores: su deriva. Y este problema debe identificarse y tenerse en cuenta tanto en las pruebas como en el funcionamiento. La traducción adjunta del artículo (buscar otros en la red) y hay un paquete de deriva. No es el único. Pero la cuestión es que al seleccionar los predictores hay que tener en cuenta no sólo su importancia, sino también su deriva. Para los de alta deriva descartar o transformar, para los de baja deriva tenerlos en cuenta (hacer correcciones) al probar y trabajar.

Buena suerte

Según tengo entendido, los autores del artículo proponen analizar precisamente la distribución de los valores de los predictores a lo largo de la ventana y, si es muy diferente, señalar una anomalía. Si lo he entendido bien, el ejemplo toma una ventana de 1000 indicadores - es una ventana grande, pero aparentemente defendible estadísticamente. Pregunta, ¿qué métrica se utiliza para comparar las dos distribuciones y detectar un cambio significativo en ella?

Otras reflexiones, el cambio en sí mismo puede ser predicho por algún otro predictor, digamos que tenemos un cambio de tendencia global en las semanas causado por un cambio en el tipo de interés - en todas las muestras tales cambios son pocos - dejemos 3 y el modelo puede simplemente no recoger estos predictores, pero si combinamos los dos predictores, el cambio "anormal" se presta a la interpretación. Así llego a la idea de que la deriva en sí misma no es una razón para descartar un predictor, sino una razón para buscar un factor que lo explique, es decir, para tratar de encontrar un predictor correlativo y combinarlo, creando un nuevo predictor.

A su vez, diré brevemente sobre mi método: divido los predictores en "cuantos" (segmentos) y estimo la respuesta binaria de los cuantos a través de su poder de predicción. Haciendo un corte transversal de tales estimaciones a lo largo de la historia, consigo escoger buenos conjuntos de cuantiles que pueden servir como predictores individuales, así como utilizarse para seleccionar predictores de referencia. Este enfoque también mejora los resultados. En consecuencia, la estimación de la estabilidad del comportamiento cuántico, y su selección, en las muestras de control mejora esencialmente los resultados del entrenamiento del modelo en CatBoost, y aquí me pregunto si es permisible utilizarlo o ya es autodestructivo.

 
Aleksey Vyazmikin #:

Sí, eso me recuerda que no creo que la focalización sea muy efectiva porque no tiene en cuenta la volatilidad.

Estoy de acuerdo. Por la noche, una operación puede durar varias horas, mientras que durante el día puede terminar en 5 minutos. Así que estoy pensando en cómo adjuntar un modelo de regresión a la clasificación. No puedo predecir las cifras 0,1,2 "con una figura de palo". Necesitamos algo más inteligente.

¿Entiendo correctamente que se abre una posición prácticamente cada barra para preparar una muestra?

Sí, si hay una clase de compra/venta prevista. También hay una clase - espera.

 
elibrarius #:

Estoy de acuerdo. Un acuerdo puede durar horas por la noche, pero durante el día puede terminar en 5 minutos. Por eso me pregunto cómo adjuntar un modelo de regresión a la clasificación. No puedo predecir el número 0,1,2 "con una figura de palo". Necesitamos algo más inteligente.

Regresión logística
 
SanSanych Fomenko #:

Llevo unos años sin entrar en el foro y sigue ahí, como en la canción: "Lo que fuiste, lo que te has quedado, águila esteparia, cosaco gallardo...".

La estadística comienza con un axioma que, al serlo, no se discute:


"Basura que entra, basura que sale".


En principio, no hay ni puede haber métodos matemáticos que puedan hacer un dulce de la basura. O hay un conjunto de predictores que PREVENGAN al profesor, o no lo hay.

Y los modelos no juegan prácticamente ningún papel, como tampoco las validaciones cruzadas y otras perversiones computacionales.


PS.

Por cierto, la "importancia" de los predictores en un modelo no tiene nada que ver con la capacidad de predecir a un profesor.

Siempre hay quien, como el camarada Sukhov, piensa: "Mejor torturar, claro")

Estoy de acuerdo en que encontrar los predictores adecuados es más importante que el modelo específico. Y es mejor construirlos basándose principalmente en un estudio del dominio del tema, en lugar de confiar sólo en el poder de los algoritmos de MO (y construir predictores de forma ininterpretable a partir de barras).

No menos importante que los predictores es la función de pérdida, que debe estar bien ajustada al área temática y al problema a resolver.

 
Ni siquiera sé si trabajar con AMO puede llamarse búsqueda de patrones, más bien es una simple aproximación/ajuste a la función objetivo.
¿Puede el AMO inventar algo ingenioso?
 
mytarmailS #:
¿Puede AMO idear algo ingenioso?

No, es una base de datos de historia memorizada. ¿Qué es una hoja en un árbol? 10-20-100-1000 ejemplos/cadenas del pasado, seleccionados de alguna manera como similares. Respuesta de la hoja: para la clasificación - % de la clase más frecuente o sólo la clase más frecuente, para la regresión - media aritmética de todos los valores.

Además, si se trata de un bosque, promedia el valor de todos los árboles del bosque. Si se trata de boosting, suma los valores de todos los árboles (cada árbol sucesivo corrige la suma de todos los árboles anteriores para obtener la respuesta más precisa).
Razón de la queja: