Форвард хуже бэктеста - насколько допустимо!? - страница 2

 
Paragormon:
Может подаваться не прошлое значение эквити, а соотношение прошлых бэков к прошлым форвардам. Я в историю пока дальше 2-х лет не тестил, но то, что это соотношение циклично -это уже заметно. Есть периоды, когда форварды мало отличаются или даже лучше. Любая ТС  -это и есть попытка прогнозировать форвард, просто на тесте форвард заменяет будущее. А если, к примеру ты знаешь, что приемлемое соотношение бэка и форфарда на тестах держалось, скажем,  три месяца, а потом столько же было плохим, то это может быть сигналом применять-не применять данную ТС. Просто можно сравнивать не производительность данной ТС, а цикличность ее адаптивности,точнее, цикличность адаптивности ее тестов , поскольку что конкретно привело к ее неадаптивности можно никогда и не разобраться.

Мне кажется, эта цикличность является случайной величиной, и предсказывать её бесполезно.  У нас есть цепочка:   оптимизация - форвард - оптимизация - форвард - и т.д.  На каждом форварде у нас могут быть совершенно разные параметры системы. По сути можно даже сказать, что перед нами уже совсем другая система.  Т.е. мы постоянно перескакиваем с одной системы на другую. Есть ли смысл пытаться прогнозировать цикличность результатов это чехарды... Я не вижу смысла.  Каждое соотношение бэка и форварда будет получено при разных параметрах. Так о каком сравнении можно говорить...

 
если форвард хуже бек теста больше, чем погрешность,  зачит рыночная закономерность не выявлена, вы просто подогнали параметры под историю. Важна не подгонка, а выявленте законлмерности. То есть если форвард не укладывается в разброс прибылей между разными бек тестами, значит такой оптимизации нельзя доверять.
 
В принципе оптимизация- черный ящик. Лучше измерять на истории параметры на основе которых вы меняете настройки и тогда это будет лучше оптимизации. Еще лучше проводить сразу проверку рыночных параметров на стабильность между разными окнами, тогда вы будете знать, вероятность вашего заработка. А если стабильности нет, то и торговать безсмысленно.
 
223231:
В принципе оптимизация- черный ящик. Лучше измерять на истории параметры на основе которых вы меняете настройки и тогда это будет лучше оптимизации. Еще лучше проводить сразу проверку рыночных параметров на стабильность между разными окнами, тогда вы будете знать, вероятность вашего заработка. А если стабильности нет, то и торговать безсмысленно.
223231:
если форвард хуже бек теста больше, чем погрешность,  зачит рыночная закономерность не выявлена, вы просто подогнали параметры под историю. Важна не подгонка, а выявленте законлмерности. То есть если форвард не укладывается в разброс прибылей между разными бек тестами, значит такой оптимизации нельзя доверять.

Во-первых мне не очень понятно погрешность чего нужно выявить, чтобы сравнить с ним отношение бэка и форварда.И с чего вдруг.  Собственно, об этом и топик. Погрешность -это стат расхождение,  ошибка как минимум двух стат рядов. Один ряд есть. А второй-это что? Погрешность нашего моделирования? Т.е. тест на тиках вы предлагаете сравнивать с тестом на минутках? Тест на минутках с реальной историей торгов?Но брокеры могут нас подвинуть, как правильно тут заметили, в обе стороны и это как раз то,что от советника не зависит и что мало имеет смысла обсуждать и тем более моделировать. Во-вторых суть оптимизации в том  и состоит, что мы берем часть истории и обучаем наш советник  на ее данных, просто особенность его обучения в том, что он, как правило, не имеет долговременной памяти (что, кстати, чаще хорошо, но иногда плохо). Т.е. ЛЮБОЙ результат-это проявление хоть какой-нибудь, но закономерности. И если мы не выявили превалирующей или нужной нам закономерности, то при чем тут погрешность? И вообще непонятно при чем тут подгонка. Форвард -он по определению для советника новость, это на бэке для него вечный день сурка. Т.е. обучающая подгонка параметров под историю, актуализация параметров и, если надо, изменение кода-это и есть суть оптимизации. Просто по той причине, что ничего достовернее истории у нас нет. Бэктест же-это проверка, насколько она прошла удачно. Просто у меня есть гипотеза, что степень этой удачности,  не хаотична, а циклична и, следовательно, это уже адаптивность и ее можно попытаться померить, вот и все. Надеялся, что сообщество накопило на эту тему данные. Похоже, не очень накопило.-(

Про рыночные параметры  и проверку на стабильность вообще ничего не понял чем это лучше оптимизации. Оптимизатор так и делает  -померил-поменял, померил- поменял. И вообще не понял что такое рыночный параметр, в каких килограммах он измеряется и в каких разных окнах он водится.

 
Paragormon:


Просто у меня есть гипотеза, что степень удачи не хаотична, а циклична и ее можно попытаться померить, вот и все. Надеялся, что сообщество накопило на эту тему данные. Похоже, не очень накопило.-(

Такую гипотезу запросто можно проверить, разложив функцию:

Удача = f(t), где: t - время

в ряды Фурье. Если амплитуды и фазы гармоник с меньшими номерами будут вести себя стабильно, то гипотеза станет закономерностью.

 
Прекрасно. Значит, фаз с меньшими номерами должно быть минимум две  Периодичность равна частоте форвардов. И сколько тогда надо замеров вообще для достоверности?
 
223231:
если форвард хуже бек теста больше, чем погрешность,  значит рыночная закономерность не выявлена, вы просто подогнали параметры под историю.
Выявлена но с шумом. Шум как раз дает ухудшение. Чем хуже форварды тем больше шума.
 
Секундочку, а почему ухудшение, а не улучшение. И как вы предлагаете мерить шум? У вас есть шумомер? Т.е разница бэка и форварда это и есть шум? 
 
Paragormon:
И как вы предлагаете мерить шум? У вас есть шумомер?

Та лехко. У вас 70% шума.

Paragormon:

Т.е разница бэка и форварда это и есть шум?

С кучей "если", но в целом очень грубо да.
 
TheXpert:
Та лехко. У вас 70% шума.
А как назвать ситуацию, когда бэктест ХУЖЕ форарда?
Причина обращения: