Оптимизация или подгонка?

Новый комментарий
 
Господа, у меня такой вопрос(извиняюсь заранее за то что он ламерский). Все говорят, что при создании и тестирования советника нужно избегать "подгонки под историю", мол в прошлом всё было не так, как будет в будущем. В любом случае что-то будет не так. Так вот вопрос мой состоит в том, где находится эта грань между подгонкой под историю и нахождением параметров, при которых советник будет давать наибольшую прибыль. Как говорится, что делать-то?
 
sayfuji:
Господа, у меня такой вопрос(извиняюсь заранее за то что он ламерский). Все говорят, что при создании и тестирования советника нужно избегать "подгонки под историю", мол в прошлом всё было не так, как будет в будущем. В любом случае что-то будет не так. Так вот вопрос мой состоит в том, где находится эта грань между подгонкой под историю и нахождением параметров, при которых советник будет давать наибольшую прибыль. Как говорится, что делать-то?

Вопрос не ламерский, вопрос серьёзный и всплывает на этом форуме не реже раза в месяц. Точного ответа не дано и дать невозможно, хотя высказывалось много здравых идей. Пользуйте поиск. Лично я использую форвард-тест и после оптимизации пытаюсь не брать локальный экстремум.

 
sayfuji:
Господа, у меня такой вопрос(извиняюсь заранее за то что он ламерский). Все говорят, что при создании и тестирования советника нужно избегать "подгонки под историю", мол в прошлом всё было не так, как будет в будущем. В любом случае что-то будет не так. Так вот вопрос мой состоит в том, где находится эта грань между подгонкой под историю и нахождением параметров, при которых советник будет давать наибольшую прибыль. Как говорится, что делать-то?

Есть оптимизация а есть подгонка

это разные понятия

зачастую путаются


1 пишем эксперт

2 берем участок допустим 01 01 2006 -31.12.2006 на нем ТЩАТЕЛЬНО подбираем параметры 2006-й

3 затем ЗАПУСКАЕМ эксперт на участке 01 01 2007 - 31.12.2007 2007-й



если грубо дать разницу между понятиями

прогон 2007 в этом случае будет считаться что вы искали ОПТИМИЗАЦИЮ на прошлом периоде

если вы покажете работу эксперта за период 2006 года это ПОДГОНКА


p.s.


--- грань - а так же - грааль тут как раз и ищут все! ---









 
YuraZ:

Есть оптимизация а есть подгонка

это разные понятия

зачастую путаются


1 пишем эксперт

2 берем участок допустим 01 01 2006 -31.12.2006 на нем ТЩАТЕЛЬНО подбираем параметры 2006-й

3 затем ЗАПУСКАЕМ эксперт на участке 01 01 2007 - 31.12.2007 2007-й



если грубо дать разницу между понятиями

прогон 2007 в этом случае будет считаться что вы искали ОПТИМИЗАЦИЮ на прошлом периоде

если вы покажете работу эксперта за период 2006 года это ПОДГОНКА


p.s.


--- грань - а так же - грааль тут как раз и ищут все! ---

Это вопрос, который мучает всех реально работающих трейдеров, я так думаю. И тут немножко сложнее - чем ты написал, на мой взгляд. Оптимизируя на 2006 годе и делая форвард-тесты(оос) на 2007, можно таким образом соптимизировать, что на форвард-тесте всё будет круто. То есть эквити на оос будет плавно подниматься до небес. А вот поставив на реал-тайм 2008, эта ТС также плавно сольёт. Вот это и есть ПОДГОНКА. То есть под ПОДГОНКОЙ я подразумеваю подгонку параметров ТС при оптимизации(на 2006) под данные, которая ТС не видела(2007) - но это не даёт гарантии работы на реале(2008). С другой стороны, при оптимизации ТС, получается не очень хорошая эквити на форвад-тесте(оос), зато на реале ТС шпарит как подорванная и эвити просто отличная. Поэтому я считаю, что оптимизируя на 2006, мы всегда сможем подобрать такие параметры на оос 2007 - что башню снесёт, а на реале 2008 депо упрётся в пол. Вот это и есть подгонка. Ну это на мой взгляд. Это то, с чем я сталкиваюсь всё время.

И вот тут возникает главный вопрос - когда нужно останавливать тренировку чтобы не было той самой подгонки? при каких показателях на форвард-тесте(оос) можно понять или быть уверенным, что на реале ТС не сольёт? Какое эквити на оос будет показывать об устойчивости ТС на реале?

Для меня, например, получить хорошее эквити у ТС на оос не проблема. Проблема - какая из этих ТС будет лучше работать в будущем, на реале?

 

Как я понял, подгонка состоит в выборе таких параметров, которые дают результат лишь на определённом участке времени, но с большой вероятностью означают слив как на других интервалах в прошлом, так и в будущем(ещё с большей вероятностью).

А вот оптимизация состоит в последовательном выборе оптимальных параметров эксперта на достаточно большом периоде в прошлом, и соответственно выявлении тенденций в будущем, естественно с тестом на реале.


Тогда встречный вопрос. В чём состоит форвардное тестирование. Тогда обычное тестирование в тестере МТ4 это бэк-тестирование? Если не трудно, объясните или киньте ссылку на матчасть по этому вопросу.

 
YuraZ:

1 пишем эксперт

2 берем участок допустим 01 01 2006 -31.12.2006 на нем ТЩАТЕЛЬНО подбираем параметры 2006-й

3 затем ЗАПУСКАЕМ эксперт на участке 01 01 2007 - 31.12.2007 2007-й



если грубо дать разницу между понятиями

прогон 2007 в этом случае будет считаться что вы искали ОПТИМИЗАЦИЮ на прошлом периоде

если вы покажете работу эксперта за период 2006 года это ПОДГОНКА

Добавлю что эксперт на этих участках (бэке и форварде) должен обязательно пройти все фазы рынка применительно к более сташему ТФ чем тот, на котором торгует эксперт. Если например взять участок оптимизации 2006г по EURUSD и участок тестирования 2007г, то глядя на W1 график, убедимся, что ап-тренд не прекращался и результаты (если совершено несколько десятков сделок) можно с большой долей вероятности считать подогнанными под историю.

 
sayfuji:

Как я понял, подгонка состоит в выборе таких параметров, которые дают результат лишь на определённом участке времени, но с большой вероятностью означают слив как на других интервалах в прошлом, так и в будущем(ещё с большей вероятностью).

Ну я бы сказал не так. Надо понимать, что вечный двигатель, как и вечную ТС сделать не возможно - рынок слишком изменчив. А поэтому не возможно сделать ТС которая будет торговать на всех участках - то есть всегда. Нас же интересует только ближайшее будущее. Насколько оно будет длинным - это другой вопрос. Так вот я и спрашиваю - по каким критериям оценивать работоспособность ТС в ближайшем будущем? Оценивать работоспособность ТС на всей истории, мне кажется бесполезно(это касается работы внутри дня, на днёвках другая история......)

 
Если стратегия рабочая, то она не проваливается.
Если стратегия с подгонкой, то прибыль на одном участке примерно равна убытку на другом и в среднем будет NULL.
(Умельцы такие стратегии вовремя инвертируют)
Если же стратегия с изъяном, то в среднем будет конкретный минус.
Об оптимизации чего рассуждаем?
 
Korey:
Если стратегия рабочая, то она не проваливается.

А вообще, что означает термин "стратегия рабочая"? Как я предполагаю она должна приносить прибыль. Если прибыль, то "стратегия рабочая" сколько должна приносить прибыли в месяц или год? И как определить на будущее - стратегия рабочая или нет?

 
YuraZ:

Есть оптимизация а есть подгонка

это разные понятия

зачастую путаются


1 пишем эксперт

2 берем участок допустим 01 01 2006 -31.12.2006 на нем ТЩАТЕЛЬНО подбираем параметры 2006-й

3 затем ЗАПУСКАЕМ эксперт на участке 01 01 2007 - 31.12.2007 2007-й



если грубо дать разницу между понятиями

прогон 2007 в этом случае будет считаться что вы искали ОПТИМИЗАЦИЮ на прошлом периоде

если вы покажете работу эксперта за период 2006 года это ПОДГОНКА

Хотелось бы только заметить, что если тест на outofsamples повторяется многократно до получения желательного результата, то это эквивалентно подгонке на всем периоде.

По теме http://forex.kbpauk.ru/showflat.php?Cat=0&Board=mts&Number=21720&page=0&fpart=1

123456
Новый комментарий
Причина обращения: