Evaluación de la eficacia de los filtros en la construcción de un ATC - página 4

 
-Aleks-:

La disminución de las operaciones ciertamente conducirá a cambios en los índices estimados de la estrategia (conjunto), esa es la cuestión de cuánto es aceptable cambiarlos.

Por ejemplo, sin el filtro, la optimización para toda la gama de parámetros básicos da un beneficio medio de 100k y un 35% de pérdidas (pérdida de depósito) con una media de 500 operaciones. Después de utilizar el filtro, el beneficio medio es de 10k y un 5% de pérdidas con una media de 250 operaciones - el beneficio se redujo en 10 veces, y el porcentaje de malos resultados en sólo 7, mientras que el número de operaciones ha disminuido en 2 veces - ¿es bueno o malo? ¿Cuál es la mayor prioridad?

En estadística existe la comparación de muestras.

Supongamos que se realiza un experimento. Se trata de estudiar el efecto de algún factor. En este caso se trata del efecto de un filtro.

Se comparan dos muestras. La primera muestra es el conjunto inicial de resultados de todas las transacciones, la segunda muestra son los resultados filtrados.

La hipótesis nula es que el filtro no funcionó, la hipótesis alternativa es que el filtro sí filtró algo.

Alex, en mi opinión, pasa por alto el paso inicial de la estimación: dibujar las distribuciones de los resultados de todos los tratos y buscar los valores atípicos para luego eliminarlos. De lo contrario, un indicador como el "beneficio medio" no es representativo.
 

Dennis Kirichenko:

Alex, en mi opinión, falta el paso inicial de la estimación: construir las distribuciones de los resultados de todos los tratos y buscar los valores atípicos, para luego eliminarlos. De lo contrario, un indicador como el "beneficio medio" no es representativo.

¿Cómo propone buscar estas variaciones? Todavía no he entendido bien de qué se trata, pero sospecho que se trata de la normalización de los datos... Si se trata simplemente de cribar los resultados ilógicos, que no encajan en el marco de la teoría de la estrategia, se supone que este paso ya se ha dado, pero si se trata de excluir los resultados más destacados, entonces es necesario tener una justificación para su exclusión.

Mientras que yo, por el contrario, trato de no excluir variantes poco atractivas, pero aceptables, la idea es que el mercado es volátil (por regla general la variedad de su comportamiento se puede ver en diferentes instrumentos).

 
-Aleks-:

¿Cómo propone buscar estos valores atípicos? No entiendo muy bien de qué se trata, pero sospecho que se trata de la normalización de datos. Si se trata simplemente de filtrar los resultados ilógicos que no encajan en el marco de la teoría de la estrategia, entonces está implícito que este paso ya se ha dado, pero si se trata de excluir resultados muy destacados, entonces se necesita una justificación para su exclusión...

Así que hay un procedimiento estadístico. Sí, claro, nos deshacemos de elementos de la población, cuyos valores eran demasiado grandes o pequeños.
...Mientras que, por el contrario, intento no excluir opciones poco atractivas, pero aceptables, la idea es que el mercado es volátil (por regla general, la variedad de su comportamiento es visible en diferentes instrumentos).
Sí, volátil. Pero esa es otra cuestión. La idea aquí es sencilla: tenemos que evaluar si el filtro afectó o no al rendimiento de la estrategia.

Imho, metodológicamente es más correcto no buscar algunos indicadores para describir los resultados de la optimización y luego jugar con ellos, sino comparar 2 muestras - antes y después :-)

Y las muestras pueden estar compuestas por cualquier criterio de resultado. Más arriba escribí sobre los resultados de los acuerdos. Pero también puedes tomar otras... Por cierto, es una tarea interesante...
 
Dennis Kirichenko:
Así que hay un procedimiento estadístico. Sí, claro, deshacerse de los elementos de la población, cuyos valores eran demasiado grandes o pequeños. Sí, es variable. Pero esa es otra cuestión. La idea aquí es sencilla: tenemos que evaluar si el filtro afectó o no al rendimiento de la estrategia.

De hecho, lo hago promediando todos los indicadores, de esta forma se nivelan los valores atípicos, ¿no? Hago una convolución de los resultados de la optimización (con un desglose en dos atributos - pero es por claridad - uno de ellos puede ser eliminado - es decir, una de las opciones será obviamente peor) y comparar la convolución (hay valores máximos y mínimos de algunos indicadores y su estructura como porcentaje de valores atípicos - y todavía no ha mirado el archivo) sólo para nivelar el efecto de las emisiones. Además, en conjunto hago una comparación de 13 pares de divisas por separado comprando y vendiendo. Como resultado comparo 13*2*2=52 resultados promediados de la optimización. Si el filtro funciona globalmente, debería funcionar para todos los pares, es decir, debería haber una tendencia positiva.

Dennis Kirichenko:

Creo que es metodológicamente más correcto no buscar algunos indicadores para describir los resultados de la optimización y luego jugar con ellos, sino comparar dos muestras - antes y después :-)

Y las muestras pueden estar compuestas por cualquier indicador de resultados. Más arriba escribí sobre los resultados de los acuerdos. Pero también puede tomar otros... Por cierto, es una tarea interesante...

Las muestras no son todo, sino una parte: ¿qué atributo tomar para seleccionar esta parte?

Si realmente es interesante, estoy dispuesto a publicar para el análisis detallado de los resultados de la optimización - por ejemplo un par sin filtros y con filtros - datos comparables.



 
Так я это и делаю фактически путем усреднения всех показателей - таким образом выбросы нивелируются, разве нет? 
No. Se tienen en cuenta las emisiones. Y pueden afectar en gran medida a la media. Esto es fundamentalmente erróneo.

A continuación, es importante ver la forma de la distribución de la muestra. Si es muy diferente de lo normal, por ejemplo, tener un par de picos, no es bueno... así que eso es todo, en pocas palabras...

Las muestras no son todas, sino una parte: ¿qué atributo debe utilizarse para distinguir esta parte?

Si realmente está interesado, estoy dispuesto a publicar para el análisis detallado de los resultados de la optimización - por ejemplo, un par sin filtros y con filtros - datos comparables.

Se trata de un muestreo porque, por definición, no hay una población general completa. En definitiva, aquí es lo que hay, sólo vemos una parte del fenómeno (historia de la negociación).

Sí, puedes mirarlo.

Alex, primero necesitas 2 muestras(resultados de optimización):

1) estas son pasadas sin filtro;

2) estas son pasadas con filtro (sólo que aquí los parámetros del filtro no deben ser optimizados, sino que deben ser fijados).
 
Dennis Kirichenko:
No. Se tienen en cuenta los valores atípicos. Y pueden afectar en gran medida a la media. Y esto es fundamentalmente erróneo.

¿Y si las emisiones no son accidentales?

Dennis Kirichenko:

Sí, se puede ver.

Alex, primero necesitas 2 muestras(resultados de optimización):

1) estas son pasadas sin filtro;

2) estas son pasadas con filtro (sólo que aquí los parámetros del filtro no deben ser optimizados, sino que deben ser fijados).

El archivo contiene los resultados de la optimización sin filtro y con las posiciones de las variables de filtro 7 - separados en hojas separadas, por lo que no debería haber problemas con su análisis, y diferentes ajustes darán una respuesta a la pregunta de cuánto filtrar.

Escogió la peor opción - par EURUSD M15 para 2013-2015 - sólo compra.

Sin filtro:

Sin filtro

Con filtro: los límites del interruptor del filtro en 7 posiciones se distinguen en el gráfico:

Archivos adjuntos:
 

Dennis Kirichenko, ¿hay suficientes datos o su interés se ha desvanecido?

 
-Aleks-:

Dennis Kirichenko, ¿hay suficientes datos o su interés se ha desvanecido?

Lo miraré un día, lo siento, he estado muy ocupado...
 
Dennis Kirichenko:
Le echaré un vistazo el otro día, lo siento, he estado muy ocupado...

Bien, ¡creo que será interesante e informativo!

 
Veamos la columna "Beneficio neto", 1ª hoja Standart (aunque Standard es probablemente más correcto).

Primero vamos a calcular las estadísticas descriptivas. En particular, quiero saber si hay valores atípicos.





Hay valores atípicos. Se trata de las operaciones más deficitarias, con una pérdida superior a 58.351,76.

Histograma.



La idea es eliminar las emisiones y analizarlas más a fondo. Pero aquí hay bastantes valores atípicos. Y eliminarlos es más bien un truco metodológico. Según la forma actual, la distribución con valores atípicos no parece ser normal, lo que significa que hay algún factor que influye en el resultado más que otros.



Razón de la queja: