Неподгоночная система - основные признаки

 

Как известно, многие ТС хорошо подгоняются на репрезентативной выборке и сливают на форвардных тестах. Такие системы использовать в трейдинге нельзя.


Сегодня провел анализ разных ТС, которые у меня есть и вот что выяснилось:


Признаки рабочей системы в том, что она оптимизируется почти одинаково, как на выборке, так и на двойной выборке постоянным лотом. Например, берем 10 000 баров. Делим участок примерно пополам, т.е. по 5000 баров. Гоним оптимизацию на 5000 баров. Потом на 10000. Если профит фактор почти не изменился или изменился незначительно (стал независимым от длины выборки), то вероятность того, что система пройдет форвардный тест присутствует. Естественно, что сделок должно быть около 600 - 1000 на 10 000 баров (300 - 500 на 5000 баров).


Получается так, что если оптимизация ТС заметно ухудшается с увеличением тестовой выборки, то вероятность успешного форвардного теста крайне мала.


А некоторые ТС, например, на 300 сделках оптимизируются, а на 600 уже оптимизация не дает практически ничего, кроме глубокой просадки и копеешного матожидания. Такую систему можно сразу в топку.


Собственно и ответ по необходимой и достаточной длине выборки уже есть. Длина выборки должна быть такой, чтобы оптимизация постоянным лотом как на всей выборке, так и на ее половине выдавала почти одинаковый профит-фактор.


----------------------------


Фактически сие означает, что робастная ТС, как минимум должна быть (почти) стационарна на различных участках оптимизации при постоянном лоте по критериям: матожидание, профит фактор (процент профитных сделок, если фиксированы тейкпрофиты и стоплоссы). И при этом может быть абсолютно нестационарна по Z-score.


Т.е. на такие зависимости от Z-Score, как например, просадка или количество одновременных (без)убыточных сделок не следует обращать никакого внимания. Как правильно заметил Leov, подозрительно малая просадка может намекать на подгонку под историю. Проще говоря, малая просадка - это равномерное распределение профитных и убыточных сделок. А равномерность распределений в условиях нестационарности - нонсенс.

 
Sorento писал(а) >>

Прошу простить дилетанта.

Мысли вслух.

Оптимизируемые в смысле МТ тестера системы порочны по природе.

Другое дело, если часть расчётов параметров делается извне. или по данным недоступным МТ.

.. А ветка Супер! Спасибо!

И манифест!

Не согласен. В идее уже заложено ценное зерно.

 
По моей практики, превышение ТС-кой "разумной", реальной профитности в пунктах, ведёт к переоптимизации. Для каждого инструмента существует свой предел этой профитности. Вероятно, существует некий максимальный профит по каждому инструменту, который возможно заработать, ориентируясь конечно на долгосрочную перспективу,а не на случай или удачу "повезёт-не повезёт".
 

Я же не в качестве отвергания методов МГУА..

Тем более знаком с авторами в 70х. а наука идёт дальше

 
Reshetov >>:

Как известно...

Вариант дилетантского исполнения:

Выбираем для оптимизации короткий отрезок (допустим, 3 недели) за 2-3 недели до сегодняшнего дня, оптимизируем. Лучшие результаты прогоняем по всей доступной истории и смотрим. Если характер кривой до и после оптимизации схож с оптимизационным периодом, МТС имеет право на доработку. При оценке большее значение придаю просадке, чем профит фактору.

 

Я считаю, что ТС не является подгоночной, если в ней значения всех внешних переменных выбраны логически, а не в результате оптимизации. Напимер, Take Profit равный не const, а волатильности (знач. ATR) за N баров со старшего ТФ. Я считаю, что нужно проводить оптимизацию на большом интервале, далее проанализировать область наилучших значений оптимизированного параметра, и найти логическое обоснование, почему это именно эти значения. Например, в результате оптимизации получили лучшее МО и просадку при TP {10;15} . Почему это так?? Может это и есть ... (далее логическое обоснование).

Как вы считаете, это логично?

 
Неплохо было бы сформулировать все требования к подобной системе. Пока есть только одно. Хотелось бы услышать еще мнения. Опыт наверно коллективный большой. Нужно только желание поделиться своими знаниями. Иначе будет как всегда балаган.
 
granit77 >>:

Вариант дилетантского исполнения:

Выбираем для оптимизации короткий отрезок (допустим, 3 недели) за 2-3 недели до сегодняшнего дня, оптимизируем. Лучшие результаты прогоняем по всей доступной истории и смотрим. Если характер кривой до и после оптимизации схож с оптимизационным периодом, МТС имеет право на доработку. При оценке большее значение придаю просадке, чем профит фактору.

На коротком отрезке просадка может быть какой угодно. Она может быть и на выборке большой, а на форварде мелкой. Хорошая система, из просадки выскакивает также резво, как и попадает в нее.


На самом деле просадки - результат дисперсии. Т.е. серии прибыльных и убыточных сделок могут распределиться равномерно, а могут скучиваться. Тут как говориться дело случая, от робастой ТС никак не зависит. Если бы Z-Score был бы регулируемым, то ТС можно было бы делать на голом ММ. Т.е. под стационарный Z-score подобрать наиболее адекватный ММ - нет никаких проблем.


Поэтому я на просадку вообще никакого внимания не обращаю, а для оптимизации выбираю огромный размер депозита, чтобы маржинколлов даже при самом ужасном раскладе не было. Иначе ГА в тестере будет некошерно подбирать варианты.

 
Alex5757000 >>:

Я считаю, что ТС не является подгоночной, если в ней значения всех внешних переменных выбраны логически, а не в результате оптимизации.

Логично - поддерживаю. Вообще, оптимизация для нектр.-разных - это алхимическая колба. Сляпали ТС из дикого букета малопонятных аффтору индикаторов, вывели их параметры в экстерн и - считай шарманка. Как посчитает - смотрят. А вдруг грааль? Так, наверное, алхимики филосовский камень искали.

Естественно, есть вероятность (забыл - известная цифра), что обезьяна, случайно тыкая по клавишам, слабает "Войну и Мир".

===

Может, следует посмотреть на проблему вот с какой стороны: Для чего нужна оптимизация? А для чего - нет.

 
Reshetov >>:

Как известно,

Скользящее окно оптимизации... хотя и это не даёт полной гарантии. Но робастность (в смысле малой чувствительности работы системы к изменениям входных параметров, а цена это то же входной параметр) всё же повышает. Ну и, да, статистическая значимость у окна должна быть, хоть какая то.

 
Vinin >>:
Неплохо было бы сформулировать все требования к подобной системе. Пока есть только одно. Хотелось бы услышать еще мнения. Опыт наверно коллективный большой. Нужно только желание поделиться своими знаниями. Иначе будет как всегда балаган.

Знал бы прикуп, жил бы в Сочи.


Пока удалось выявить только вышеприведенные минимальные требования, благодаря которым можно заведомо отсеять ТС не способные проходить форвардные тесты.


Ну, разве что еще вполне резонное замечание от Leov, о том, что чрезмерно неадекватные значения матожидания при постоянном лоте, наводят на размышления о голимой подгонке.

Причина обращения: