Оптимизация и Тестирование вне выборки. - страница 5
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Candid, с равномерностью прибыли все не так просто. Если взять те же множества А, В, С в НС, то с прибыльностью стратегии после нормального обучения дело будет обстоять примерно так: на участке А она максимальна, на участке В существенно меньше, а на участке С еще значительно хуже. Но ведь именно так обстоят дела и у нас: на истории результаты великолепны, а вне ее - слив... Проблема как раз в том, чтобы подобрать такую стратегию, при которой участок С по прибыльности будет почти наверняка хуже, но все же сравним с участком А.
Я и не собираюсь их тут пропагандировать. Но принципы тестирования, которые я узнал, когда ими занимался, весьма разумны. И здесь, в отличие от метаквотовской подгонки, мы можем хотя бы рассчитывать на способности к генерализации (главное свойство, благодаря которому советник может остаться прибыльным и в будущем; этого свойства наш оптимизатор лишен начисто).
Я хотел сказать, что реальный тестер MetaTrader'a позволяет при оптимизации совокупности выборка+вне выборки получить те же результаты, что и оптимизация выборки с последующим тестированием вне выборки. В Тестере кнопка "Свойства Эксперта", далее закладки "Тестирование" и "Оптимизация" позволяют избавится от убытков сколь угодной длины и глубины.
Всё зависит от постановки задачи. Если пренебрегать степенью равномерности распределения прибыли по времени тестирования, то штатных возможностей тестера МТ действительно достаточно, и затраты времени будут сравнимыми. Стоит ли этим пренебрегать? У каждого свой опыт и свои взгляды. Процесс действительно можно назвать подгонкой, но термин аппроксимация думаю будет точнее. Далеко не всякую аппроксимацию можно экстраполировать в будущее и критерий равномерности прибыли как раз позволяет отбросить заведомо непригодные для экстраполяции варианты. ИМХО, разумеется.
Имеется ввиду применимость тестера к задаче оптимизации на выборке с последющим тестирование вне выборки. Теже результаты, только подойти надо с другой стороны - уменьшение количества последовательных проигрышей и величин проигрышей. Всего-то.
Candid, с равномерностью прибыли все не так просто. Если взять те же множества А, В, С в НС, то с прибыльностью стратегии после нормального обучения дело будет обстоять примерно так: на участке А она максимальна, на участке В существенно меньше, а на участке С еще значительно хуже. Но ведь именно так обстоят дела и у нас: на истории результаты великолепны, а вне ее - слив... Проблема как раз в том, чтобы подобрать такую стратегию, при которой участок С по прибыльности будет почти наверняка хуже, но все же сравним с участком А.
Мне кажется аналогия с аппроксимацией и тут даёт ответ: известно, что чем лучше аппроксимация, тем менее она пригодна для экстраполяции (случай графика аналитической функции с её угадыванием разумеется отбрасываем). Так что хорошее решение скореее всего не то, что даёт большую прибыль на А, а то, что даёт более равномерную прибыль на А+В. Теперь начинаем экстраполяцию и, опять же естественно, получаем нарастание ошибки с ростом горизонта прогноза.
Категорически не согласен, Vita. Иначе в нейросетках не было бы деления всех данных на три части, принципиально различные: реальная оптимизация - только на первом участке; второй служит только для определения момента окончания обучения, а третий - просто для одиночного тестирования. То есть реальная подгонка идет только на первом, а на третьем - уж что получится... А выбор - "бритва Оккама" или потеря уверенности в системе - остается за создателем системы.
Грубо говоря, оптимизация на А+В+С - это совершенно не то же самое, что обработка, описанная выше.
Для яности, на всякий случай.
А - множество параметров, полученное при оптимизации на выборке
Б - множество параметров, полученное после тестирования А вне выборки.
Процесс получения Б - это процесс оптимизации на выборке с последующим тестом вне выборки. Именно в этом процессе вами предполагается избавления от подгонки под кривую?
С - множество параметров, полученное при оптимизации совокупности выборка+вне выборки.
Я же утверждаю, что С не хуже Б в плане подгонки под кривую.
С-Б=множество параметров убыточных либо на выборке, либо вне выборки, но прибыльных на совокупности вцелом.
Процесс получения Б может быть исполнен стандартным тестером.
Candid, я и не говорю, что хорошее решение дает максимальную прибыль на А. Это лучше делает оптимизатор: он дает абсолютный максимум на А, но ничего - на out-of-sample. Согласно модели обучения НС, вероятный кандидат на хорошее решение - это максимум прибыли на В при уже приемлемо высокой, но не максимальной прибыли на А.
Насчет твоего замечания: почти согласен, но только не "А+В", а "А+В+С".
2 Vita: Мне казалось, что я все ясно написал на предыдущей страничке. .. Множества А, В, С не пересекаются. Например:
А - с 1 января 2004 по 31 декабря 2005,
В - с 1 января 2006 по 31 октября 2006, и
С - с 1 ноября 2006 по настоящее время.
Обычное соотношение длин данных в НС - это А:В:С = 60:20:20.
Насчет твоего замечания: почти согласен, но только не "А+В", а "А+В+С".
Я и не собираюсь их тут пропагандировать. Но принципы тестирования, которые я узнал, когда ими занимался, весьма разумны. И здесь, в отличие от метаквотовской подгонки, мы можем хотя бы рассчитывать на способности к генерализации (главное свойство, благодаря которому советник может остаться прибыльным и в будущем; этого свойства наш оптимизатор лишен начисто).
О, точно! Способность к генерализации должна быть свойством советника, а не оптимизатора. Закон должен быть заложен в советнике, идея советника должна быть всеобъемлюща и системна настолько, насколько только можно. А вот предъявлять такие претензии к оптимизатору я бы не стал. По-моему, это нелепо. Также как нелепо, как пытаться оптимизатором способным к генерализации вытягивать абсолютно любой советник до уровня прибыльности во все времена и на будущее. Оптимизатор метаквотов не виноват, что в советниках не заложен закон, нет прибыльной идеи и т. н. способности к генерализации, которую он бы смог оптимизировать. Остается только подгонка под кривую.
Candid, я и не говорю, что хорошее решение дает максимальную прибыль на А. Это лучше делает оптимизатор: он дает абсолютный максимум на А, но ничего - на out-of-sample. Согласно модели обучения НС, вероятный кандидат на хорошее решение - это максимум прибыли на В при уже приемлемо высокой, но не максимальной прибыли на А.
Насчет твоего замечания: почти согласен, но только не "А+В", а "А+В+С".
2 Vita: Мне казалось, что я все ясно написал на предыдущей страничке. .. Множества А, В, С не пересекаются. Например:
А - с 1 января 2004 по 31 декабря 2005,
В - с 1 января 2006 по 31 октября 2006, и
С - с 1 ноября 2006 по настоящее время.
Обычное соотношение длин данных в НС - это А:В:С = 60:20:20.
Бог с ними, с А,Б и С. В моих постах они имеют другой смысл. Это не временные отрезки. Это наборы параметров, которые выдает оптимизация. Ну, да ладно.