Оценка эффективности фильтров при построении АТС - страница 4

 
-Aleks-:

Уменьшение сделок непременно приведет к изменению оценочных показателей стратегии (сета), в этом и вопрос, на сколько допустимо их изменение.

К примеру, без фильтра оптимизация на всем диапазоне базовых параметров дает среднюю прибыль 100к и 35% сливов(утрата депозита) при этом среднее сисло сделок 500, после применение фильтра средняя прибыль составляет 10к и слив 5% при этом среднее сисло сделок 250 - прибыль сократилась в 10 раз, а процент неблагоприятных исходов только в 7, в то время как количество сделок уменьшелось в 2 раза - хорошо это или плохо? Какой из показателей приоритетней?

В статистике есть такая штука, как сравнение выборок.

Допустим, ставится эксперимент. Предмет - изучение воздействия какого-то фактора. В данном случае - воздействие фильтра.

Сравниваются 2 выборки. Первая - начальная совокупность результатов всех сделок, вторая - отфильтрованные результаты.

Нулевая гипотеза - фильтр не сработал, альтернативная - фильтр действительно отсеял что-то.

Алекс, имхо, пропущен начальный шаг в оценке - построение распределений результатов всех сделок и поиск выбросов, с последующим удалением оных. Иначе такой показатель, как "средняя прибыль", не репрезентативен.
 

Dennis Kirichenko:

 Алекс, имхо, пропущен начальный шаг в оценке - построение распределений результатов всех сделок и поиск выбросов, с последующим удалением оных. Иначе такой показатель, как "средняя прибыль", не репрезентативен.

Как предлагается искать эти выбросы? Пока не понял до конца о чём речь, но подозреваю, что о нормализации данных? Если просто об отсеивании нелогичных результатов, не укладывающихся в рамки теории стратегии, то подразумевается, что этот шаг уже сделан, если же речь об исключении сильно выделяющихся результатов, то тут нужно иметь обоснование их исключения.

Пока я наоборот пытаюсь не исключать мало привлекательные, но допустимые варианты, идея в том, что рынок изменчев (как правило многообразие его поведение видно на разных инструментах).

 
-Aleks-:

Как предлагается искать эти выбросы? Пока не понял до конца о чём речь, но подозреваю, что о нормализации данных? Если просто об отсеивании нелогичных результатов, не укладывающихся в рамки теории стратегии, то подразумевается, что этот шаг уже сделан, если же речь об исключении сильно выделяющихся результатов, то тут нужно иметь обоснование их исключения...

Так есть стат.процедура. Да, верно, - избавляемся от элементов совокупности, чьи значения были слишком большие или малые.
...Пока я наоборот пытаюсь не исключать мало привлекательные, но допустимые варианты, идея в том, что рынок изменчев (как правило многообразие его поведение видно на разных инструментах).
Да, изменчив. Но это уже другой вопрос. Тут мысль простая - нужно оценить, повлиял фильтр или нет на результативность стратегии.

Имхо, методологически правильнее искать не какие-то показатели для описания результатов оптимизации и потом с ними играть, а сравнить 2 выборки - до и после :-)

Причём выборки могут быть составлены из любых результативных показателей. Выше писал о результатах сделок. Но можно взять и другие... Кстати, интересная задачка...
 
Dennis Kirichenko:
Так есть стат.процедура. Да, верно, - избавляемся от элементов совокупности, чьи значения были слишком большие или малые. Да, изменчив. Но это уже другой вопрос. Тут мысль простая - нужно оценить, повлиял фильтр или нет на результативность стратегии. 

Так я это и делаю фактически путем усреднения всех показателей - таким образом выбросы нивелируются, разве нет? Я делаю свертку результатов оптимизации (с разбивкой на два признака - но это для наглядности - один из них можно убрать - т.е. один из вариантов будет заведомо хуже.) и уже сравниваю свертку (там есть и максимальные и минимальные значения некоторых показателей и их структура в виде процентов слива - а файл Вы так и не посмотрели? ) как раз что б нивелировать эффект выбросов. Кроме того, я в совокупности делаю сравнение сразу по 13 валютным парам отдельно по покупкам и продажам, в итоге сравнивается 13*2*2=52 усредненных результата оптимизации. Если фильтр глобально рабочий, то он должен работать на всех парах - т.е. должна быть положительная тенденция.

Dennis Kirichenko:
 
Имхо, методологически правильнее искать не какие-то показатели для описания результатов оптимизации и потом с ними играть, а сравнить 2 выборки - до и после :-)

Причём выборки могут быть составлены из любых результативных показателей. Выше писал о результатах сделок. Но можно взять и другие... Кстати, интересная задачка...

 Выборки - это не все, а часть - какой признак брать для выделения этой части?

Если действительно интересно, то готов выложить для детального разбирательства результаты оптимизации - к примеру одной пары без фильтров и с фильтрами - сопоставимые данные.

 



 
Так я это и делаю фактически путем усреднения всех показателей - таким образом выбросы нивелируются, разве нет? 
Нет. Выбросы учитываются. А они могут сильно повлиять на среднее. А это в корне неверно.

Потом, важно увидеть форму распределения выборки. Если она будет сильно отличаться от нормального, например иметь пару вершин, то это нехорошо... вот как-то так, если коротко...

Выборки - это не все, а часть - какой признак брать для выделения этой части?

Если действительно интересно, то готов выложить для детального разбирательства результаты оптимизации - к примеру одной пары без фильтров и с фильтрами - сопоставимые данные.

Выборка тут, потому что по определению нет всей генеральной совокупности. Короче, здесь, это то что есть - видим лишь часть явления (торговой истории).

Да, можно посмотреть.

Алекс, для начала от Вас  нужны 2 выборки (результаты оптимизации):

1) это проходы без фильтра;

2) это проходы с фильтром (только здесь параметры фильтра не должны оптимизироваться, а должны быть фиксированы).
 
Dennis Kirichenko:
Нет. Выбросы учитываются. А они могут сильно повлиять на среднее. А это в корне неверно.

А если выбросы не случайны?

 

Dennis Kirichenko:

Да, можно посмотреть.

Алекс, для начала от Вас  нужны 2 выборки (результаты оптимизации):

1) это проходы без фильтра;

2) это проходы с фильтром (только здесь параметры фильтра не должны оптимизироваться, а должны быть фиксированы).

 В файле результаты оптимизации без фильтра и с фильтром 7 позиций переменной фильтра - разбиты на отдельные листы, поэтому затруднений быть не должно с их разбором, а разные настройки дадут ответ и на тот вопрос до какой степени фильтровать.

Выбрал худший вариант - пара EURUSD M15 за 2013-2015 год - только покупка.

Без фильтра:

Без фильтра 

С фильтром - границы переключения фильтра в 7 положений различимы на графике:

 

Файлы:
 

Dennis Kirichenko , так достаточно данных или интерес у Вас угас?

 
-Aleks-:

Dennis Kirichenko , так достаточно данных или интерес у Вас угас?

На днях гляну, извиняюсь, был оч.занят...
 
Dennis Kirichenko:
На днях гляну, извиняюсь, был оч.занят...

Хорошо, думаю, это будет интересно и познавательно!

 
Смотрим на столбец "Чистая прибыль", 1-ый лист Standart (хотя наверное правильнее Standard).

Сначала вычислим описательную статистику. В частности, интересует, есть ли выбросы.





Выбросы есть. Касается самых убыточных проходов, с убытком более 58 351,76.

Гистограмма.



По идее, нужно удалить выбросы и анализировать далее. Но здесь выбросов достаточно много. И их удаление скорее методологический приём. По текущей форме распределение с учётом выбросов не похоже на нормальное, значит, есть какой-то фактор, более других влияющий на результат.



Причина обращения: