Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 3175
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
¿Qué significan estos intervalos?
Ahora mismo me estoy imaginando este esquema en ellos.
El primer punto parece extraño. A la "prueba hacia adelante" en el probador. ¿Es mejor que sólo la optimización sin filtrar, pero en un intervalo combinado: tren + prueba?
En medicina, un grupo de 60 pacientes aproximadamente igual de enfermos se divide aleatoriamente en tres grupos, el primer grupo se trata con un nuevo medicamento, el segundo con uno antiguo, el tercer grupo no se trata, se les da un placebo. Y si el primer grupo obtiene mejores resultados que el segundo y el tercero, se reconoce que el fármaco es bueno y se repite el experimento en un gran número de veces, es decir, se monitoriza, y luego se deja en libre flotación.
Parece lógico que disminuya la probabilidad de falsos positivos y negativos, pero para mí no es la panacea contra los errores.
Y no entiendo ni reconozco la valoración categórica de los resultados en estudios ruidosos en todos)))).
No, no puedes.
El carácter del patrón (superficie) sólo nos habla de las características del vehículo según un determinado criterio de optimización. Si tomamos otro criterio, el patrón será diferente. La incomprensión de esto lleva a la idea errónea de que la optimización (el entrenamiento) no debe llevarse a cabo hasta el máximo global, sino todo lo contrario. La elección de un criterio de optimización adecuado a la estrategia es la clave para un entrenamiento correcto.
Todo esto ya se ha debatido muchas veces.
Y cada uno se ha quedado en su opinión. Según me parece, usted es el único.
Tienes que buscar mesetas, no picos individuales, que debido a la aleatoriedad del proceso nunca volverán a aparecer.
En medicina, un grupo de 60 pacientes aproximadamente igual de enfermos se divide al azar en tres grupos, el primero se trata con un nuevo fármaco, el segundo con uno antiguo, el tercero no se trata, se les da un placebo. Y si el primer grupo obtiene mejores resultados que el segundo y el tercero, se reconoce que el fármaco es bueno y se repite el experimento en un gran número de veces, es decir, se monitoriza, y luego se deja en libre flotación.
Parece lógico que disminuya la probabilidad de resultados falsos positivos y negativos, pero para mí no es la panacea contra los errores.
Y no entiendo ni reconozco la valoración categórica de los resultados en estudios ruidosos en todos)))).
Dividir el archivo en diferentes secciones, y en el ejemplo que diste, incluir aleatoriamente a los pacientes en el grupo, que corresponde a mi muestra, funciona sólo si los predictores son relevantes para la variable objetivo. es decir, no es basura. En medicina, averiguar la relación de un fármaco (predictor) con una enfermedad se hace comprendiendo la fisiología del proceso de introducción del fármaco en el organismo. Tenemos que disponer de otros métodos para determinar la relación entre el predictor y la variable objetivo - todo esto es preprocesamiento, que se hace ANTES de entrenar el modelo y este paso es obligatorio.
Del mismo modo, la arquitectura de prueba es obligatoria y debe realizarse ANTES del sobreentrenamiento del modelo.
Y cada uno se queda con su opinión. Me parece que eres único.
Tienesque buscar mesetas, no picos individuales, que debido a la aleatoriedad del proceso nunca volverán a aparecer.
Realmente no me importa estar en el único número, sólo demuestra que hay realmente pocas personas que entienden la problemática))))
si mesetas o picos - depende de la superficie del criterio de optimización, el criterio! ¿por qué crees que a menudo utilizan el criterio - error en MO? Debido a que la superficie es monotónica))) es decir, siempre tratan de elegir un criterio de este tipo, que es lo más monótono posible y tiene una global si es posible.
así que no debemos buscar una meseta, sino un criterio con una hipersuperficie lo más monótona posible.
Por cierto, el criterio de error tiene exactamente un global con el valor 0. Y el hecho de que haya que dejar de entrenar sin alcanzar el global es otra cuestión y no tiene nada que ver con la superficie del criterio.
Se podría concluir que llevas años haciendo esto. O podrías hacer una búsqueda aleatoria, que es lo que estás haciendo ahora.
Acabo de escribir que la búsqueda aleatoria es un enfoque improductivo.
Yo utilizo la aleatorización con un elemento de aleatoriedad en la selección de predictores cuando pruebo el potencial de muestreo, y lo he estado utilizando durante años en CatBoost.
La aleatorización no da ninguna justificación para esperar que el modelo siga funcionando, porque las respuestas del predictor han sido aleatorizadas en él.
En mi humilde opinión, parece pi-hacking, sobre el que Maxim escribió recientemente. A menos que algunos stat-pruebas se utilizan para determinar la importancia de los cuantos asignados, es definitivamente él.
Una vez di un ejemplo simple cuando la mejor hora de la semana para el comercio fue seleccionado en SB (cuando obviamente no existe). Sólo había 5*24=120 variantes, pero bastaba con que siempre se encontrara tal hora (el intervalo de tiempo era de medio año, creo). Ahí también hay "estabilidad de muestreo".
¿Qué pruebas de significación sugieres? No digo que el algoritmo de selección de segmentos cuánticos sea perfecto, al contrario, hay mucha basura y quiero mejorarlo.
No entiendo, ¿en base a qué indicios decidiste que es una especie de "pi-hacking"- y qué parte exactamente, selección de segmentos cuánticos o cribado de cadenas, que están bien y sin entrenamiento cribadas por segmentos cuánticos (es decir, gráficos que construí)? Sí, el método es un poco diferente del enfoque común para la construcción de modelos de madera, pero en realidad no mucho, el concepto se mantiene.
En cuanto al ejemplo en SB, hay dos consideraciones aquí:
1. Si el proceso es desconocido y sólo hay datos, entonces uno puede asumir un patrón que hay alguna mejor hora para el comercio. ¿O hay alguna consideración para rechazar esta hipótesis?
2. Si estas observaciones se distribuyeron de manera relativamente uniforme en el tiempo (historial de eventos), entonces esto es más como un error del generador de números aleatorios.
En el entrenamiento, utilizo muestras a lo largo de un periodo amplio, normalmente de al menos 10 años.
Dividir el archivo en diferentes secciones y, en el ejemplo que has puesto, incluir aleatoriamente a los pacientes en un grupo, que corresponde a mi muestra, sólo funciona si los predictores son relevantes para la variable objetivo, es decir, si no es basura. En medicina, averiguar la relación de un fármaco (predictor) con una enfermedad se hace comprendiendo la fisiología del proceso de introducción del fármaco en el organismo. Tenemos que disponer de otros métodos para determinar la relación entre el predictor y la variable objetivo: todo esto es preprocesamiento, que se hace ANTES de entrenar el modelo y este paso es obligatorio.
Del mismo modo, la arquitectura de prueba es obligatoria y debe realizarse ANTES del sobreentrenamiento del modelo.
Desgraciadamente, no. La fagocitosis es visible en un microscopio, pero más allá de la ciencia de la medicina, donde el microscopio no ayuda, es hipótesis confirmadas por experimentos adecuados)
Y por cierto, los pacientes no saben en qué grupo están.))))
En general, las condiciones similares, sin entender las relaciones de causa y efecto buscar estas relaciones.
Varía, por supuesto. Pero muy a menudo se puede ver un colapso justo después de la Muestra. Quizá sea una distorsión cognitiva, cuando prestas más atención a algo y tienes la impresión de que ocurre demasiado a menudo.
Si ocurre a menudo, entonces no debería ser cuestión de que los patrones globales cambien, de lo contrario el punto de ruptura se situaría en torno a la misma fecha.
Pero puede que, por pura estadística, la frecuencia de su aparición cambie. Es decir, los antiguos siguen funcionando, pero también hay otros nuevos para el modelo, que antes no se encontraban por varias razones -la más importante, no estaban presentes durante el entrenamiento-. Por ejemplo, la volatilidad ha cambiado significativamente, y el código (predictores condicionales) tiene algunos valores fijos, o hay pocas observaciones para dicha volatilidad - era estable todo el tiempo durante el entrenamiento o en otros rangos. En otras palabras, nuevas observaciones crecen en la muestra (si se recogen nuevos datos) - aquí necesitamos un mecanismo para detectar la aparición de tales eventos.
Lo contrario también puede ocurrir - cuando una estrategia se construye sobre eventos raros, y la tendencia dura más de un año. Recientemente me dieron un vistazo a tal milagro de la construcción de EA.
La persona sólo había visto la historia del comportamiento de la EA desde 2016 inicialmente (crecimiento del oro) y se quejó de que algo se había roto y era necesario optimizar el desglose gráfico correcto con la ayuda de MO.
Bajo el capó resultó que una docena de indicadores, cada uno de los cuales dio un promedio de 100 señales, es decir, en realidad se encontraron emisiones detectadas por diferentes indicadores en la historia y combinados en un grupo común. ¿Seguirán repitiéndose estos valores atípicos en el historial con el mismo resultado probabilístico?
Sí, hay valores atípicos que no lo son, aunque estadísticamente lo sean, pero cómo separarlos de los demás es una incógnita.
El gráfico muestra tres años de comercio diario.
Para las garrapatas, parece mucho, pero yo uso un rango más grande - de 10 años en los minutos y las señales son inicialmente no tan frecuentes - hay una señal de base.
Lo que no hice fue hacer un gráfico para cada rango. Conté los datos estadísticos, pero no miré el gráfico en sí.
Mira la dinámica de los patrones - a menudo pueden ser grupos que estaban en un intervalo de tiempo relativamente corto - en relación con la muestra, es bueno si las observaciones del patrón tienden a repetirse en todo el intervalo.
Otro matiz, con el mismo CatBoost - allí alrededor del 50% de las hojas mueren en los nuevos datos, es decir, dejan de producirse los patrones sobre los que se construyó el modelo.
No entendí el resaltado.
Las otras dos muestras son test y examen, a continuación de la muestra sobre la que se hizo el entrenamiento.
Entonces preguntaste por qué usarlas - inicialmente test se usó para controlar el sobreentrenamiento en CatBoost, es decir, cuando los nuevos patrones no dan mejoras en la muestra test - se paran las iteraciones de mejora. Y examen - simplemente ya prueba independiente del modelo. Lo ideal sería aprender a seleccionar un modelo que tenga éxito en el examen mediante entrenamiento y prueba - este es un tema aparte.
Y, por supuesto, si la tarea de selección del modelo se resuelve, entonces la muestra para la formación se puede aumentar, si es necesario, o al menos desplazar las muestras de entrenamiento y prueba más cerca de la fecha actual.
¿Qué pruebas de significación propone? No digo que el algoritmo de selección de segmentos cuánticos sea perfecto, al contrario, entra mucha basura y quiero mejorarlo.
No entiendo, ¿en base a qué indicios has decidido que es una especie de "pi-hacking"- y qué parte exactamente, selección de segmentos cuánticos o cribado de cadenas, que están bien y sin entrenamiento cribadas por segmentos cuánticos (es decir, gráficos que construí)? Sí, el método es un poco diferente del enfoque común para la construcción de modelos de madera, pero en realidad no mucho, el concepto se mantiene.
En cuanto al ejemplo sobre SB, hay dos consideraciones:
1. Si el proceso es desconocido, y sólo hay datos, entonces se puede tomar como un patrón que hay alguna mejor hora para el comercio. ¿O hay alguna consideración para rechazar esta hipótesis?
2. Si estas observaciones se distribuyeron de forma relativamente uniforme en el tiempo (historial de eventos), entonces esto se parece más a un error del generador de números aleatorios.
En el entrenamiento, utilizo muestras a lo largo de un periodo de tiempo prolongado, normalmente de al menos 10 años.
Puedo sugerir que se modifique mi experimento. Supongamos que hay diez cajas con números del 1 al 10, cien bolas blancas y cien bolas negras (los números 10 y 100 se toman condicionalmente). Las bolas se ordenan de alguna manera en las cajas, luego se mira cuántas bolas hay en cada caja y se intenta comprender si hay una regularidad en el algoritmo de ordenación - en las cajas con qué números hay un predominio de bolas de algún color.
Así, si cada bola (de ambos colores) se coloca al azar y con la misma probabilidad 0,1 en uno de los cajones, ¡al final no habrá uniformidad en la proporción de colores! Casi siempre habrá un cajón donde casi todo sea blanco y otro donde casi todo sea negro. Y la cuestión no está en absoluto en la calidad del DSP, puedes coger un DSP cuántico de verdad y todo será igual. Se trata de la propia naturaleza de la aleatoriedad probabilística. Siempre habrá irregularidad, pero el número de casillas donde se encontrará en la siguiente disposición es absolutamente impredecible. Lo mismo ocurre en el ejemplo anterior con la hora de la semana (la hora de la semana es el análogo del número de casilla).
Hay dos maneras de hacer esto. O bien intentar demostrar que la desigualdad en la práctica es mucho mayor de lo que sería en igualdad de probabilidades. Esto se hace mediante algún tipo de prueba estadística. O simplemente estar seguros de que la no uniformidad, aunque pequeña, se debe a alguna regularidad que sólo se manifiesta débilmente debido al ruido. Pero eso es cuestión de fe y práctica y si funciona, vale.
Espero que quede claro que los números de la caja (hora de la semana) son una analogía de tus cuantos.