Форвард тестирование стратегий - страница 2

 
Главная задача форвард-тестирования - подтвердить или опровергнуть факт, что некий набор параметров, давший хороший результат на некотором временном периоде, также даст хороший результат и на другом временном периоде.
 
stringo:
Главная задача форвард-тестирования - подтвердить или опровергнуть факт, что некий набор параметров, давший хороший результат на некотором временном периоде, также даст хороший результат и на другом временном периоде.

При этом не стоит забывать, что хороший вовсе не означает "лучший на подгонке". Ограничение в 25% для  "лучших на подгонке" (слишком оптимистичных) результатов не гарантирует, что тестер не проигнорирует хорошие параметры на подгонке, т.е. не оставит их "за бортом".

ИМХО, нужно оставить лишь фильтр отсеивающий только убыточные результаты бектеста, а остальные пропускать в форвард. Т.е. ограничение в 25% желательно убрать. Ведь, очень часто шибко граальные результаты на бектесте не проходят форвардное тестирование, а более приземленные результаты, наоборот, оказываются весьма перспективными. Поэтому ограничение в 25% заведомо неадекватно.

 
Reshetov:

При этом не стоит забывать, что хороший - не означает лучший на подгонке. Поэтому ограничение в 25% для рассмотрения лучших на подгонке (слишком оптимистичных) результатов не гарантирует, что тестер не проигнорирует хорошие параметры на подгонке.

ИМХО, нужно оставить лишь фильтр отсеивающий только убыточные результаты бектеста, а остальные пропускать в форвард. Т.е. ограничение в 25% желательно убрать. Ведь, очень часто шибко граальные результаты на бектесте не проходят форвардное тестирование, а более приземленные результаты, наоборот, оказываются весьма перспективными. Поэтому ограничение в 25% заведомо неадекватно.

Это - более интересное предложение.

Лимит 25 процентов - это нижний порог. Его убирать точно не будем. А вот если за пределами этого лимита остались ещё прибыльные результаты (смотрим по конечному балансу, независимо от критерия оптимизации), то такие результаты тоже запускаем на форвард.

 
stringo:

Это - более интересное предложение.

Лимит 25 процентов - это нижний порог. Его убирать точно не будем. А вот если за пределами этого лимита остались ещё прибыльные результаты (смотрим по конечному балансу, независимо от критерия оптимизации), то такие результаты тоже запускаем на форвард.

Ну да. Речь шла именно об этом. Но мы на разных языках говорим, т.е. о разных реализациях алгоритма, который выполняет одно и то же.

Отсеивать необходимо только все убыточные результаты на бектестах, а все профитные пропускать в форвард-тест.

Получается всего один фильтр, т.е. по профитности.

Это проще чем ставить два фильра, т.е. один просеивает зачем-то 25%, а второй после первого ищет в отсеянных профитные результаты. Зачем алгоритму выполнять двойную работу, если тоже самое можно получить за один присест?

 
dtringo:

Лимит 25 процентов - это нижний порог. Его убирать точно не будем.

Жаль.

Например, я использую свой критерий, и очень жёстко отсеиваю результаты по профит-фактору, кол-ву последовательных убыточных сделок, кол-ву сделок. В итоге, положительных результатов часто намного меньше 25% (где-то под 10%). Зачем ганять заведом пустые проходы??? (ну, товарищам как бы надо, но мне точно не надо, а пустой проход занимает время и ресурсы (например, мой гридер тестится около недели (4-7 дней - иногда ядра нужно отключать) на 12 агентах с PR > 160, время прохода колеблется от 120 до 1000 секунд. Зачем мне в среднем гонять 1500 лишних проходов, которые отнимут минимум 15тыс. секунд ресурса каждого ядра, а это более 4-х лишних часов тестирования) - хотелось бы от них избавиться)

 
notused:

Жаль.

Обсуждаемо. Полторы страницы уже написали.
 
stringo:
Обсуждаемо. Полторы страницы уже написали.

А что тут обсуждать? Добавить в интерфейс тестера стратегий выпадающий список с цифирями от 1% до 100% и не доводить дело до холивара. Ну или хотя бы с двумя цифирями: 25% и 100%.

А иначе, опять будет половинчатое решение, которое кого-то не устроит, и как следствие, начнутся упреки в сторону разработчиков. 

Чем меньше разработчики будут думать за трейдеров по пословице, согласно которой сытый голодного не разумеет, и больше предоставлять выбора этим самым трейдерам, тем меньше будет недоразумений.

 
Reshetov:

При этом не стоит забывать, что хороший вовсе не означает "лучший на подгонке". Ограничение в 25% для  "лучших на подгонке" (слишком оптимистичных) результатов не гарантирует, что тестер не проигнорирует хорошие параметры на подгонке, т.е. не оставит их "за бортом".

ИМХО, нужно оставить лишь фильтр отсеивающий только убыточные результаты бектеста, а остальные пропускать в форвард. Т.е. ограничение в 25% желательно убрать. Ведь, очень часто шибко граальные результаты на бектесте не проходят форвардное тестирование, а более приземленные результаты, наоборот, оказываются весьма перспективными. Поэтому ограничение в 25% заведомо неадекватно...

...Отсеивать необходимо только все убыточные результаты на бектестах, а все профитные пропускать в форвард-тест...

Юрий, возражаю. Уже забыл, когда гонял тестер, выбрав в качестве критерия Прибыль - только свой критерий оптимизации.

stringo:

Лимит 25 процентов - это нижний порог. Его убирать точно не будем. А вот если за пределами этого лимита остались ещё прибыльные результаты (смотрим по конечному балансу, независимо от критерия оптимизации), то такие результаты тоже запускаем на форвард.

Лучше оставьте, как есть.

 
Reshetov:

А что тут обсуждать? Добавить в интерфейс тестера стратегий выпадающий список с цифирями от 1% до 100% и не доводить дело до холивара. Ну или хотя бы с двумя цифирями: 25% и 100%.

А иначе, опять будет половинчатое решение, которое кого-то не устроит, и как следствие, начнутся упреки в сторону разработчиков. 

Чем меньше разработчики будут думать за трейдеров по пословице, согласно которой сытый голодного не разумеет, и больше предоставлять выбора этим самым трейдерам, тем меньше будет недоразумений.

А здесь - полностью поддерживаю.
 
Rich:

Юрий, возражаю. Уже забыл, когда гонял тестер, выбрав в качестве критерия Прибыль

Я тоже не гоняю по прибыли на балансе.

Но и не обращать внимания на убыточные результаты бектестов - это заведомая глупость. Лучше уж сразу прогнать подгонку участке, на которому у вас форвард и не заморачиваться, коли для Вас не важно, что там было не беках: профит или убыток.

Причина обращения: