Как написать робастного эксперта - страница 16

 
tol64:

Форвард тест это не метод избегания подгонки.

Не, все правильно. Форвард-тест это эффективный метод избегания подгонки.

Это метод оценки работы системы после оптимизации вне периода оптимизации. И не более того.

Вне оптимизации вообще. Т.е. вначале оптимизация, потом выбор результата, потом форвард. Один раз. Для оценки. Если больше одного раза, отрезок форварда можно считать в период оптимизации.
 
tol64:

Не только в моём. Изначально идея этого метода (форвард-тест) заключается именно в том, чтобы произвести оценку результатов на незнакомых для системы данных. А вот,что Вы делаете, чтобы избежать подгонки на периоде оптимизации? ))

Количество сделок важно, но опять же, для какого-то конкретного участка с определённым характером поведения цены, на котором была произведена оптимизация параметров. Но эта мысль тоже абстрактна и ни о чём конкретно не говорит, так как в принципе выражена вне контекста, какой-то конкретной системы и не даёт конкретного инструмента для оценки характера поведения цены, который является частью системы. ))

Этот метод нужен и он используется всеми в той или иной степени. Нужно ведь как-то, хотя бы приблизительно, оценить устойчивость работы системы. Просто многие спешат в бой и ломают много копий, проводя по сути форвард-тест на реальных счетах. Большая работа. )) 

 Честно говоря, я не понимаю разницы между моим подходом к форвард-тестированию и вашим. Похоже, что разница только в том, что я, в случае отсутствия результата на форвард-данных, выбрасываю результаты прошлой оптимизации, а вы, скрепя зубами, все равно их используете в реальной торговле? Или есть ещё какая-то разница? 

 Моя идея заключается в том, чтобы использовать форвард-тестинг поэтапно, так как у большинства торговых систем слишком много параметров, чтобы их можно было качественно оптимизировать за раз, приходится разделять оптимизацию на несколько простых (не долгих) этапов, каждый раз берется какая либо логически связанная группа параметров и после окончания оптимизации по этой группе проводится форвард-анализ результата. Если он отрицателен, производится откат к предыдущим параметрам, берется другая группа параметров и оптимизация начинается заново.

 Если вы будете доверять результатам с малым количеством сделок, ваши результаты чаще всего будут оказываться принятием желаемого за действительное. Не имеет значения, какая именно анализируется торговая система, если сделок не достаточно, скорее всего, результаты тестирования и оптимизации принимать во внимание нельзя.

 Без теста в реальном времени все равно никуда не деться. Форвард никак не заменит тест в реальном времени. Многие ошибаются, считая, что форвард может реально заменить тест системы в реальном времени. Но в действительности это три степени надежности: робот, показавший хороший результат при оптимизации на истории; робот, успешно прошедший после этого форвард и робот, который после всего этого успешно проторговал на реале существенное кол-во сделок. Только третий результат является достаточно надежным, чтобы можно было судить об успехе торговой системы. Так что форвард, вопреки расхожему мнению, никогда не заменит тестинг в реальном времени, однако значительно повысит вероятность успеха. Другими словами, даже если "тестерный грааль" успешно прошел корректный форвард, он все равно остается тестерным граалем, пока не проторгует в реальном времени достаточно для того, чтобы можно было судить о продолжении исторической тенденции.

 
AntFX:

 Честно говоря, я не понимаю разницы между моим подходом к форвард-тестированию и вашим. Похоже, что разница только в том, что я, в случае отсутствия результата на форвард-данных, выбрасываю результаты прошлой оптимизации, а вы, скрепя зубами, все равно их используете в реальной торговле? Или есть ещё какая-то разница? 

...

Илья, да, есть множество нюансов, в которых может быть разница. И на мой взгляд есть большая разница в том, какая используется торговая система. Чтобы быть уверенными с обеих сторон в том, что разницы нет, мы должны полностью рассматривать одно и то же, чего сейчас нет. Это моё мнение, но я не спорю. Тут даже поспорить не получиться, так как нет предмета, который можно было бы сравнить на Вашем и моём методе. Каждый высказывает мнение отталкиваясь от своих разработок.

С количеством сделок я изначально был согласен. Я вообще рассматриваю тысячи сделок на оптимизационном периоде и хочу довести их до десятков тысяч. Правда пока не проводил анализ, чтобы сделать выводы в целесообразности этого. То есть, десятки тысяч может быть уже будет лишним и не имеет смысла тратить ресурсы на это. Но это уже каждый должен выводы сделать сам конечно, в контексте своей системы. 

TheXpert:

Не, все правильно. Форвард-тест это эффективный метод избегания подгонки.

Вне оптимизации вообще. Т.е. вначале оптимизация, потом выбор результата, потом форвард. Один раз. Для оценки. Если больше одного раза, отрезок форварда можно считать в период оптимизации.

Вне оптимизации вообще конечно. Иначе это мухлёж какой-то получается. )) Я просто не согласен с определением форвард-теста. Моё определение в том, что это метод для оценки. Хотя по сути мы говорим об одном и том же.

Для того, чтобы уменьшить эффект подгонки я использую другие методы. Тоже количество сделок и соответственно количество данных для оптимизации параметров, разные характеры поведения цены того периода, на котором проводится оптимизация параметров (волатильность, кол-во трендов/флетов), количество результатов в прибыльной зоне и ещё некоторые. А в качестве контрольного я делаю форвард-тест на данных вообще другого символа. Вообще, потом можно вместе покурить, как допилю, но уже за кулисами. )) 

 

 
komposter:

Как по мне, пока не начнешь торговать на реале, ни какой рейтинг не поможет.

Готовься - не готовься, а сюрпризы будут ) 

Много интересного только что прочитал в Вашей статье "Как заказать написание советника и получить желаемый результат" там как раз про то что я спрашивал))) Очень хорошая статья спасибо.

Я понимаю что от вообще всех неожиданностей застраховаться невозможно, да и смысла нет страховаться от событий которые могут произойти раз в 10 лет. Имелась в виду наиболее вероятная "горячая десятка". 

 
          Может ошибаюсь, но (по моему скромному мнению) чем меньше параметров в советнике тем он робастнее =)
 
JohnyPipa:
          Может ошибаюсь, но (по моему скромному мнению) чем меньше параметров в советнике тем он робастнее =)
Можно  сделать советника вообще без изменяемых параметров и он будет робастно сливать. Суть не в количестве параметров, а в качестве входов для ТА.
 
Reshetov:
Можно  сделать советника вообще без изменяемых параметров и он будет робастно сливать. Суть не в количестве параметров, а в качестве входов для ТА.

Инвертируем его - бай меняем на селл, ТП на СЛ и т.д. и он будет робастно зарабатывать. =)

(если не пипсовка, которая сливает из-за спреда и большого количества сделок).

P.S. Наверное еще один из параметров робастности - это период времени, на котором он успешно сливает/зарабатывает.

P.S.S. И область исходных параметров, на которой сливает/зарабатывает (чем она больше, тем робастнее).

 
JohnyPipa:

P.S. Наверное еще один из параметров робастности - это период времени, на котором он успешно сливает/зарабатывает.

.

ничто не вечно 

 

Робастность (robustness)  --- устойчивость к грубым внешним воздействиям.

Робастный эксперт -- это семантическая ошибка. Следует вести речь о робастной системе. И эксперте - исполнительном элементе робастной системы. 

 
avtomat:

Робастность (robustness)  --- устойчивость к грубым внешним воздействиям.

Робастный эксперт -- это семантическая ошибка. Следует вести речь о робастной системе. И эксперте - исполнительном элементе робастной системы. 

Ага, а система эта - естественно динамическая и управляемая...
Причина обращения: