Фильтр поднял Profit Factor, но убрал половину сделок. Оставляем?

Коллеги, вопрос по проверке фильтров в тестере стратегий MT5.

Допустим, добавили в советник фильтр по волатильности. На одном и том же участке истории, при одинаковом размере позиции и одинаковом учёте издержек, получили:

  • Без фильтра: 400 сделок, Profit Factor 1,25.

  • С фильтром: 200 сделок, Profit Factor 1,50.

Цифры условные. Profit Factor вырос, но из этих двух цифр ещё не ясно, стала ли стратегия лучше. Я бы сначала сравнил обе версии на участке истории, который не использовался для выбора порога фильтра. Порог оставил бы прежним и посмотрел бы, сохранился ли выигрыш по чистой прибыли и просадке.

А с какой проверки вы бы начали?

  1. Сравнил бы обе версии на новом участке истории без перенастройки.

  2. Посмотрел бы, какой результат дали сделки, которые фильтр пропустил.

  3. Немного сдвинул бы порог фильтра и проверил, сохраняется ли эффект.

  4. Сравнил бы результат с несколькими случайными выборками по 200 сделок из исходного прогона.

  5. Начал бы с другой проверки.

Был ли у вас случай, когда фильтр улучшил отчёт, а вы всё равно решили его убрать? Какая проверка изменила ваше решение?

Идеальный вариант - это задушить систему так, чтобы давала снайперские входы. 
Затем добавить другие финансовые инструменты со своими зудушенными системами и получить частую прибыльную торговлю.
Но такого может быть и не бывает.

По существу: фильтр режет сделки в 2 раза, а улучшает в 0.4 раза. 

Оставил бы приоритет 400 сделок. С ними можно развернуться в других фильтрах. 

я бы выбросил и то и другое :-)

это-же тупость несусветная - перебирать фильтры независимо от стратегии

Maxim Kuznetsov #:

я бы выбросил и то и другое :-)

это-же тупость несусветная - перебирать фильтры независимо от стратегии

Хотелось бы понять вашу мысль. Вы считаете ошибкой сам перебор фильтров или то, что фильтр выбирают по отчёту, не объяснив, какую проблему стратегии он должен решать?

Для меня стратегия , это весь набор правил: когда входим, когда выходим, сколько рискуем и при каких условиях пропускаем сигнал. Фильтр, если он меняет решение о входе, тоже становится частью стратегии.

При этом у разных инструментов отличаются волатильность, спред и торговые сессии. Даже на одном активе переход с H1 на H4 меняет частоту сигналов и расстояние до стопа, если он рассчитывается по волатильности. Поэтому я бы не ожидал, что один и тот же порог везде даст сопоставимую статистику.

Вот где мне интересно ваше мнение: если логика входа и выхода остаётся прежней, а порог фильтра меняется под инструмент или таймфрейм, для вас это адаптация той же стратегии или уже другая стратегия?

Andrei Lukoianov #:

Хотелось бы понять вашу мысль. Вы считаете ошибкой сам перебор фильтров или то, что фильтр выбирают по отчёту, не объяснив, какую проблему стратегии он должен решать?

Для меня стратегия , это весь набор правил: когда входим, когда выходим, сколько рискуем и при каких условиях пропускаем сигнал. Фильтр, если он меняет решение о входе, тоже становится частью стратегии.

При этом у разных инструментов отличаются волатильность, спред и торговые сессии. Даже на одном активе переход с H1 на H4 меняет частоту сигналов и расстояние до стопа, если он рассчитывается по волатильности. Поэтому я бы не ожидал, что один и тот же порог везде даст сопоставимую статистику.

Вот где мне интересно ваше мнение: если логика входа и выхода остаётся прежней, а порог фильтра меняется под инструмент или таймфрейм, для вас это адаптация той же стратегии или уже другая стратегия?

попытка применять, а тем более перебирать внешние фильтры говорит о непригодности стратегии.

вот это вот :

Допустим, добавили в советник фильтр по волатильности

значит что советник упомоился и всё дальнейшее ради прибивания к истории
Maxim Kuznetsov #:

попытка применять, а тем более перебирать внешние фильтры говорит о непригодности стратегии.

Интересное мнение. Я бы разделил две ситуации: перебрать десяток фильтров и оставить тот, который дал лучший отчёт, или заранее сформулировать, какие сделки стоит пропускать и почему, а затем проверить это на данных, которые не использовались для настройки. Для вас обе ситуации одинаково говорят о непригодности стратегии? Если нет, где вы проводите границу?

Maxim Kuznetsov #:

попытка применять, а тем более перебирать внешние фильтры говорит о непригодности стратегии.

...верно.., - алгоритм остается тот же.., фильтры лишь оптимизируют выборку (подгонка по истории)...
Aeon_Ray #:
...верно.., - алгоритм остается тот же.., фильтры лишь оптимизируют выборку (подгонка по истории)...
Фильтр может быть частью стратегии, одним из его правил. 

Суть исследования - собрать по кусочкам все фильтры в одну стратегию и отделить подгоночные фильтры от перспективных. 

Разделять фильтр и торговую стратегию - это жонглирование терминами.
Ivan Butko #:
Фильтр может быть частью стратегии, одним из его правил. 

Суть исследования - собрать по кусочкам все фильтры в одну стратегию и отделить подгоночные фильтры от перспективных. 
... правила - это алгоритм... фильтр - это исключение из правил (не алгоритм)...
Aeon_Ray #:
... правила - это алгоритм... фильтр - это исключение из правил (не алгоритм)...
Жонглирование терминами продолжается

Если я заявлю, что торговая стратегия "Пересечение ЕМА", а потом в следующей редакции поста добавлю "Пересечение ЕМА и Стохастика", вы перестанете считать стохастик фильтром. 

Вот так и разбиваются убеждения, когда вскрываешь суть. 
Ivan Butko #:
Жонглирование терминами продолжается

Если я заявлю, что торговая стратегия "Пересечение ЕМА", а потом в следующей редакции поста добавлю "Пересечение ЕМА и Стохастика", вы перестанете считать стохастик фильтром. 

Вот так и разбиваются убеждения, когда вскрываешь суть. 

...на самом деле у вас два правила (ЕМА и стохастик)... это и есть алгоритм... 

ps. спорить о смыслах терминов неинтересно...