¿Hay algún patrón en el caos? ¡Intentemos encontrarlo! Aprendizaje automático a partir de una muestra concreta. - página 17

 
Valeriy Yastremskiy #:

Aparte de la hora de inicio de algo y la hora de finalización (sesiones, calendario), no se me ocurre nada. ¿A qué te refieres?

Pues a los posibles más obvios. La volatilidad estaba en la figura, hay otros factores a considerar

A grandes rasgos, hay que coger alguna métrica de mercado y chuparse los dedos, supongo. No en una pila. Todo el mundo quería amontonarse, pero resulta que no funciona así.
 
Maxim Dmitrievsky #:
Por qué, es sólo el más obviamente posible. La volatilidad estaba en la cifra, hay otros factores a considerar

A grandes rasgos, deberíamos tomar alguna métrica de mercado y chuparla, supongo. No en una pila. Todo el mundo quería pila, pero resulta que no funciona de esa manera.
Con las métricas de precios discretos no es fácil de hacer todo, por separado pierde la conexión y el significado a menudo. La anchura del canal o la volatilidad y la velocidad de cambio de los precios. Parece simple, pero no hay concepto)))) en mi cabeza).
 
Valeriy Yastremskiy #:
Con las métricas de precios discretos, no todo es sencillo, de forma aislada se pierde a menudo la conexión y el significado. La anchura del canal o la volatilidad y la velocidad de cambio del precio. Parece simple, pero no hay concepto)))) en mi cabeza))

Primero debemos definir lo que queremos de la MO. Sólo la clasificación o alguna selección, es decir, para hacer una herramienta como un optimizador estándar, donde se establecen diferentes funciones de destino.

A continuación, utilizarlo para manipular los indicadores (atributos). A menudo de forma tonta, por fuerza bruta, hasta que se nos ocurra algo interesante (como el Grial).

Una vez que hemos aprendido algo, empezamos a profundizar.

Creo que escribo cosas obvias, pero resultan serlo sólo para mí :D

 
Renat Akhtyamov #:

La cuestión de la rama es ciertamente interesante....

Por eso me lo preguntaba.

Tal vez se pueda identificar un patrón.

Sugiero analizar varias barras seguidas, por ejemplo 3-4.

A continuación, mueva una barra desde el principio de esta muestra de 3-4 bares y analizar de nuevo.

Como si se superpusiera una muestra sobre otra.

Es posible encontrar un patrón

como este:


¿Qué va a hacer? Las barras siempre serán diferentes. A menos que lo vincules a la escala actual. Creo que una teoría ligeramente diferente debe ser el enfoque, por ejemplo, el color (polaridad). Estacionariedad se produce, pero de una manera ligeramente diferente y también se destruye fácilmente.
 

Mientras tanto, tengo este modelo de la primera muestra en este hilo.

Saldo

Por desgracia, falla en la muestra de prueba - bueno, obviamente las muestras son diferentes.

 

En el proceso de búsqueda de una forma de entrenar un modelo, se probaron distintos enfoques, se crearon más de 100.000 modelos y se inventaron nuevos enfoques que antes habían mostrado un buen potencial. Se utilizaron distintos métodos de transformación de muestras y selección de predictores. Estos métodos se combinaron entre sí.



Métodos de transformación de muestras y selección de predictores.

Transformación de la muestra:

  • 1. Sin transformación.
  • 2. Selección de transacciones por tipo de dirección (vector) - sin selección, compra, venta - con guardado en muestras separadas.
  • 3. Desplazamiento de la función objetivo en función del resultado financiero.
  • 4. Método "Drop" - exclusión de filas de la muestra por quantum fuerte de predictor tipo FP - 10-30 iteraciones consecutivas de estimación de quantums de muestra con cambio de la muestra en cada iteración:

( a ) Exclusión por el mejor cuanto sin tener en cuenta el vector en el tren de muestras si éste es mayor que un determinado porcentaje de desviación de la media del objetivo en la muestra, en caso contrario se evalúa adicionalmente en las muestras teniendo en cuenta el vector y se selecciona la mejor variante.

b ) Igual que" a", pero no se toman los segmentos cuánticos que mostraron en la muestra de prueba desviación en la dirección de probabilidad decreciente para TN.

c ) Igual que" a", pero la selección de la estimación se realiza sobre la muestra" test".

Selección del predictor:

  • 1. método de cuantificación :

(a ) Selección de predictores por estadística con selección de tablas de cuantiles para cada predictor.

( b) Selección de cuantiles por estadística con muestreo binario.

(c) Combinación de segmentos cuantílicos de submuestras con vectores diferentes para formar una muestra binaria conjunta.

d ) Selección de predictores por estadística con selección de tablas de cuantiles basada en cuantiles binarios.

  • 2)Exclusión de predictorescon fuerte correlación.
  • 3) Agrupación de los predictores por campo de respuesta similar con selección del predictor dominante por campo - sólo después de la conversión de los predictores en binarios.
  • 4. Selección por frecuencia media de uso de predictores en modelos CatBoost sobre muestra de entrenamiento dividida en 8 partes. Utilizamos 5 estrategias de aprendizaje y más de 20 métodos de selección de predictores basados en las estadísticas obtenidas.
  • 5. Selección resumida de predictores para cada muestra después de realizar el método"Drop".
 

Un nuevo récord, y esta vez la muestra de la prueba también está en el lado positivo.

Saldo

Modelo

 

Voy a escribir cómo se obtuvo el modelo - probablemente para mí, ya que nadie está interesado en cómo obtener algo de una muestra compleja.

Por lo tanto, lo primero que hice aquí fue cambiar el objetivo de acuerdo con el principio de que si el beneficio es inferior a 50 pips, es un resultado negativo, es decir, "0" en lugar de "1" antes. Quedan menos del 20% de marcas positivas, pero permitió seleccionar movimientos de tendencia más pronunciados.

Después seleccioné divisiones de las tablas quant para cada predictor. Utilizamos unas 900 tablas para el muestreo, seleccionamos escisiones desplazando la probabilidad del 5% y evaluamos la estabilidad de la generación de señales en la escisión cuántica.

El siguiente paso consiste en combinar los segmentos cuánticos seleccionados. Utilicé el método con elemento aleatorio y evalué el resultado según el criterio - "cuantos más segmentos, mejor" - No estoy seguro de que el método sea perfecto, y quizás debería mejorarse - tengo que pensar en el algoritmo.

De este modo obtuve una tabla cuántica combinada para los predictores. Los predictores sin segmentos exitosos obtuvieron sólo un separador "0,5" en la tabla cuántica.

Entrené 100 modelos con Seed de 8 a 800 en pasos de 8.

De las variantes obtenidas seleccioné el mejor modelo, analicé los predictores que utilizaba - resultó que eran 77.

Intenté entrenar otros 100 modelos, pero sólo con estos predictores, también con Seed de 8 a 800 con paso 8. El resultado de los mejores modelos fue ligeramente peor que el último modelo. Y esto me desconcertó, por supuesto.

Decidí que debía probar Seed con un paso menor y en un volumen mayor, porque sus predictores pueden obtener mejores resultados - está demostrado. Entrené 10000 modelos, con Seed de 1 a 10000 con paso 1.

El gráfico siguiente muestra el resultado financiero de los modelos, ordenados del mejor al peor.

Alrededor del 25% de los modelos no eran rentables, lo que ya no es tan malo, y el beneficio medio es de 2116,65. El 38% de los modelos tienen beneficios superiores o iguales a 3000 puntos.

No está del todo claro por qué los resultados de la muestra de prueba no guardan correlación con las muestras del examen: ¿se trata de una peculiaridad de la submuestra o podría haber otras razones?

El gráfico siguiente muestra los resultados de la muestra de prueba -ordenados del mismo modo que antes- por el resultado financiero de la muestra de examen.

Y para mayor claridad, el gráfico de dispersión - parece aleatorio.

Pensé que era una cuestión de indicadores - puntos, no indicadores estadísticos binarios, pero como se puede ver en el gráfico siguiente, el indicador de precisión entre las dos muestras también es independiente.


Sin identificar la dependencia de los resultados en la muestra de examen en las muestras de prueba y entrenar es difícil seleccionar un modelo - Creo que tenemos que desarrollar criterios de evaluación adicionales - métricas el modelo puede.

El nuevo modelo (me di cuenta de dos) utiliza menos de 50 predictores. Creo que repetir el proceso - eventualmente habrá suficientes predictores para construir un modelo.

Qué hacer después - podemos entrenar el modelo en la muestra completa utilizando sólo los predictores seleccionados y luego ver cómo su agregado se comporta en los nuevos datos.

Además, me gustaría intentar encontrar algunas características especiales en los predictores seleccionados que aumenten la probabilidad de su selección sin entrenamiento - por analogía, como se hizo con la selección de segmentos cuánticos de las tablas.

 
Aleksey Vyazmikin #:

A continuación, seleccioné divisiones a partir de tablas cuánticas para cada predictor. Utilizamos unas 900 tablas para el muestreo, seleccionamos divisiones desplazando la probabilidad del 5% y evaluamos la estabilidad de la generación de señales en la división cuántica.

El siguiente paso consiste en combinar los segmentos cuánticos seleccionados. Utilicé el método con elemento aleatorio y evalué el resultado según el criterio - "cuantos más segmentos, mejor" - No estoy seguro de que el método sea perfecto, y tal vez habría que mejorarlo - tenemos que pensar en el algoritmo.

Es esencialmente la selección de las hojas con > 55% de probabilidad ?

Aleksey Vyazmikin #:

Intenté entrenar 100 modelos más, pero sólo en estos predictores, también con Seed de 8 a 800 con paso 8. El resultado de los mejores modelos fue ligeramente peor que el último modelo. Y esto me desconcertó, por supuesto.

Al parecer, el azar de Seed-a no coincidía completamente con la variante del azar de la mejor muestra. De ahí los resultados diferentes/peores.

Aleksey Vyazmikin #:

No está claro por qué los resultados de la muestra de prueba no se correlacionan con las muestras de examen - ¿es una peculiaridad de la submuestra, o puede haber otras razones?

El gráfico siguiente muestra los resultados de la muestra de prueba -ordenados del mismo modo que antes- por el resultado financiero de la muestra de examen.

Es como con el entrenamiento normal que se re-entrena/ajusta al traine. En este caso, se ha realizado un ajuste al examen. Cualquier ajuste, tanto para la prueba como para el examen, como podemos ver en tu prueba lleva a un resultado aleatorio.

No creo que debas coger los mejores entrenamientos o exámenes. Necesitas algo estable, aunque con un resultado mucho peor que el mejor traine o exam-e.

Cuando trabajaba con Darch, había una selección en ambas muestras err = err_ oob * k+ err_trn * (1 - k); donde k=0.62 (recomendado, pero se puede cambiar)
Es decir err = err_ oob * 0.62+ err_trn * 0.38;
Pero este es un parámetro innecesario para la selección con el aumento del tiempo de cálculo.

Según mis experimentos con el muestreo en H1 - había algo estable, pero poco ganando. 10000 operaciones, pero sólo 0,00005 por operación. Esto tampoco es interesante, ya que los spreads/deslizamientos, etc. se comerán estos 5 pts en el trading regular.

Tienes 400 operaciones pero 40 puntos en el examen. Y en el examen, como yo - cerca de 0 (al azar).

Hay muchos enfoques, pero nadie ha encontrado uno que funcione.
 
elibrarius #:

Es básicamente una selección de hojas con >55% de probabilidad?

No, se trata, digamos, del rango numérico de un predictor que se selecciona. El 5% es relativo al valor del porcentaje "1" en el tren de muestras.

elibrarius #:

Aparentemente el aleatorio de Seed-a no coincidía completamente con la variante aleatoria de la mejor muestra. De ahí los resultados diferentes/peores.

El aleatorio es fijo :) Parece que esta semilla se calcula de una manera complicada, es decir, todos los predictores permitidos para la construcción del modelo están probablemente involucrados, y cambiar su número también cambia el resultado de la selección.

elibrarius #:

Es como con el aprendizaje normal que se reentrena/ajusta a la traina. En este caso, se ha hecho un ajuste al examen. Cualquier ajuste, tanto para la prueba como para el examen, como vemos en tu prueba lleva a un resultado aleatorio.

¿Por qué es un ajuste, o más bien qué es lo que usted considera un ajuste? Tiendo a pensar que la muestra del test difiere del examen más que el examen del tren, es decir, que hay diferentes distribuciones de probabilidad de los predictores. Y esto puede tratarse seleccionando los predictores más estables, que dan resultados aceptables en todas las muestras, o cambiando la distribución de probabilidad mediante una característica externa (es decir, otro predictor); no conozco este tipo de modelos, pero me gustaría intentarlo. Se podría obtener un efecto similar utilizando el entrenamiento recurrente en hojas seleccionadas de diferentes árboles o incluso en modelos completos. Tal vez las neuronas recurrentes pueden hacer esto - No sé acerca de ellos.

Hasta ahora trato este método como una forma de seleccionar predictores sobre los que construir el modelo combinado, y como puntos de referencia para identificar otros efectivos antes del entrenamiento real.

elibrarius #:

No creo que debas coger los mejores entrenamientos o exámenes. Necesitas algo estable, aunque con un resultado mucho peor que el mejor traine o exam-e.

Cuando trabajaba con Darch, había una selección en ambas muestras err = err_ oob * k+ err_trn * (1 - k); donde k=0.62 (recomendado, pero se puede cambiar)
Es decir err = err_ oob * 0.62+ err_trn * 0.38;
Pero es un parámetro innecesario para la selección con un tiempo de cálculo creciente.

¿Cuál es la métrica que es err_?

elibrarius #:

Tienes 400 operaciones, pero a 40 ptos en el examen. Bueno, en el examen, como yo - cerca de 0 (al azar).

Hay un montón de enfoques, pero nadie ha encontrado una productiva todavía.

El eje X es el valor de la matriz de expectativas en la muestra de prueba, es decir, en general, sí, pero hay algunos casos de éxito.