Трейдерский самообман: недоверие к форвардам. - страница 11
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Это называется тараканы в голове. Т.е. говорите за себя, не надо говорить за всех. Если Вы о чём-то даже не догадываетесь, это вовсе не означает, что другие этим не пользуются. См. например, советник RNN.
Если советник не даёт профитов на форвардах 1/2 (половина бектест, половина форвард), то его надобно выкидывать на помойку. На бектестах любой дурень получит профит с помощью подгонки в тестерном ГА.
Youri Tarshecki:
Практически не встречаю анализа эффективности стратегий и систем на основании форвардов.
Что это? Отсутствие традиции или избегание неприятных эмоций?
...
Не понял, о чем я не догадываюсь? В чем смысл вашего сообщения?
См. Роберт Пардо в PDF
Если вы про форвардный анализ, то картинка, которая поссылке - всего одна
CodeBase - это не Эрмитаж и даже не Лувр, чтобы там устраивать выставку Буратины
Я проверяю все варианты. Сейчас я прогоняю 12 отрезков с 12 форвардами и смотрю общий результат, если у вас большинство форвардов неудовлетворительные, то такой советник нельзя использовать, его надо переделывать. Переделывая советник и одновременно получая информацию по форвардам вы можете понять, в правильном ли идете направлении.
случайная разбивка истории на бэк и форвард ничего хорошего не даст.
На отдельных кусках бэктеста лучшими могут оказываться случайные значения и даже кластеры. Т.е. хороший советник, но на 1ом бэке лучшим стал случайный набор оптов и вы выбрали его для форварда. Соответственно на форварде он сдох)) Так и на других - чем больше дробите, тем меньше стат. достоверность результатов. Поэтому должно быть достаточное кол-во сделок на каждом бэк тесте и форварде для стат. достоверности. На самом деле, для большинства даже интрадей систем это выльется в то, что их тестить надо лет за 20 минимум при вашем дроблении)) А они столько обычно не живут. И поэтому, вам правильно написали, что лучшим решением будет объединить бэк зоны в одну и вы получите усреднённый, но более достоверный набор оптов. А точнее оптимальные зоны по каждому оптимизируемому параметру.
Нет роскоши разбивать историю на 12 участков на которых сделок будет достаточно, чтобы резалты были стат.достоверны на каждом. А мутить что-то со стат. недостоверными результатами это случайность в результате
случайная разбивка истории на бэк и форвард ничего хорошего не даст.
На отдельных кусках бэктеста лучшими могут оказываться случайные значения и даже кластеры. Т.е. хороший советник, но на 1ом бэке лучшим стал случайный набор оптов и вы выбрали его для форварда. Соответственно на форварде он сдох)) Так и на других - чем больше дробите, тем меньше стат. достоверность результатов. Поэтому должно быть достаточное кол-во сделок на каждом бэк тесте и форварде для стат. достоверности. На самом деле, для большинства даже интрадей систем это выльется в то, что их тестить надо лет за 20 минимум при вашем дроблении)) А они столько обычно не живут. И поэтому, вам правильно написали, что лучшим решением будет объединить бэк зоны в одну и вы получите усреднённый, но более достоверный набор оптов. А точнее оптимальные зоны по каждому оптимизируемому параметру.
Нет роскоши разбивать историю на 12 участков на которых сделок будет достаточно, чтобы резалты были стат.достоверны на каждом. А мутить что-то со стат. недостоверными результатами это случайность в результате
А давайте поймем, что такое стат. достоверность. Если вы считаете, что чем больше усреднение, тем больше достоверность, то почему вы не тестите на ВСЕЙ доступной истории -усреднение будет абсолютным. Но будет ли это достоверно? Вряд ли. Именно оттого, что рынок статистически достоверно меняется и вы никогда не сможете предсказать является ли этот конкретный кластер аномалией или началом нового тренда. Два этих свойства рынка диаметрально противоположны и требуют диалектического решения, поскольку одно требует увеличения отрезка, а второе уменьшения.
Я эту задачу решаю экспериментально. В моем конкретном случае выяснилось, что сумма 12 месячных форварда больше суммы 4-х трехмесячных, а те, в свою очередь больше одного годичного, при этом количество непрерывных проигрышей тоже лучше.
А вы проверяли свои пропорции бэка-форварда экспериментально? На каком основании вы считаете, что ваш отрезок наиболее оптимальный?
случайная разбивка истории на бэк и форвард ничего хорошего не даст.
На отдельных кусках бэктеста лучшими могут оказываться случайные значения и даже кластеры. Т.е. хороший советник, но на 1ом бэке лучшим стал случайный набор оптов и вы выбрали его для форварда. Соответственно на форварде он сдох)) Так и на других - чем больше дробите, тем меньше стат. достоверность результатов. Поэтому должно быть достаточное кол-во сделок на каждом бэк тесте и форварде для стат. достоверности. На самом деле, для большинства даже интрадей систем это выльется в то, что их тестить надо лет за 20 минимум при вашем дроблении)) А они столько обычно не живут. И поэтому, вам правильно написали, что лучшим решением будет объединить бэк зоны в одну и вы получите усреднённый, но более достоверный набор оптов. А точнее оптимальные зоны по каждому оптимизируемому параметру.
Нет роскоши разбивать историю на 12 участков на которых сделок будет достаточно, чтобы резалты были стат.достоверны на каждом. А мутить что-то со стат. недостоверными результатами это случайность в результате
А давайте поймем, что такое стат. достоверность. Если вы считаете, что чем больше усреднение, тем больше достоверность, то почему вы не тестите на ВСЕЙ доступной истории -усреднение будет абсолютным. Но будет ли это достоверно? Вряд ли. Именно оттого, что рынок статистически достоверно меняется и вы никогда не сможете предсказать является ли этот конкретный кластер аномалией или началом нового тренда. Два этих свойства рынка диаметрально противоположны и требуют диалектического решения, поскольку одно требует увеличения отрезка, а второе уменьшения.
так я с этим согласен и об этом писал) Советник работает определённое время - благоприятная фаза для него если грубо. Поэтому брать слишком большую историю или вообще на обум - бессмысленно. А ваш способ требует в разы больше статистики и периода тестирования. Т.е. задача как можно быстрее найти работающие темы и вместе с этим исключить подгонку, а дробление истории на отдельные фрагменты по которым принимаются решения приводит к тому, что история на которой система уже работала д.б. весьма продолжительной (аргументы о стат.достоверности в предыдущем посте).
Я эту задачу решаю экспериментально. В моем конкретном случае выяснилось, что сумма 12 месячных форварда больше суммы 4-х трехмесячных, а те, в свою очередь больше одного годичного, при этом количество непрерывных проигрышей тоже лучше.
А вы проверяли свои пропорции бэка-форварда экспериментально? На каком основании вы считаете, что ваш отрезок наиболее оптимальный?
Подхожу иначе) Никакие пропорции не беру и форвард-тестом не пользуюсь. Качество системы анализирую по качеству эквити.
Идеальной является система эквити которой является прямая вверх)) Т.е. Мо=const и Дисперсия(разброс)=0. В реальности мо плавает и дисперсия тоже не ноль. Грубо колебания вокруг идеальной прямой. Хорошей является система, которая при достоверном тестировании (кол-во сделок как один критерий) имеет небольшую дисперсию и положительный наклон. Например, ПФ это и считает. Т.е. система с хорошим ПФ (и ещё несколько численных характеристик эквити) при достоверном тестировании будет дальше рассмотрена на предмет устойчивости. Этого уже достаточно, чтобы она прошла и ваши показатели - разбей её на части и они тоже будут качественными))
А вообще, нужно понимать на чём система зарабатывает и рассматривать каждую часть системы на устойчивость отдельно. Каждый опт должен стать отдельным исследованием на устойчивость.
Ну и нужно иметь достаточно не запаздывающий критерий отключения системы, что так же строится от понимания составных частей системы и что является определяющим в её работоспособности
Подписываюсь под каждым словом. Добавлю, что для выявления наиболее стабильных областей параметров ТС, использую показатель R^2, рассчитанный на полученной equity стратегии. С моей точки зрения, лучший прогон это положительный результат, хороший R^2 (больше 0.8, 0.9) и статистически значимое количество сделок. При этом абсолютная прибыль не так важна, как и то, имелись ли периоды слива или нет. Все хорошие стратегии сливают в определенные периоды. Просто этот слив должен быть в рамках общей положительной тенденции. Также важно под рукой иметь десяток, пусть средних, но стабильных (с т.з. R^2) стратегий, чьи неблагоприятные моменты не накладываются друг на друга с абсолютной точностью (полной расскорреляции добиться сложно).
... Грубо колебания вокруг идеальной прямой. Хорошей является система, которая при достоверном тестировании (кол-во сделок как один критерий) имеет небольшую дисперсию и положительный наклон. Например, ПФ это и считает.
Пробовал в свое время опираться на PF, но его проблема в том, что он обратно зависим (причем очень четко) от количество сделок, чем их больше, тем ПФ меньше. У R^2 построенного по чистому изменению equity (периоды простоя ТС не берутся в расчет) такой особенности нет.
...Т.е. система с хорошим ПФ (и ещё несколько численных характеристик эквити) при достоверном тестировании будет дальше рассмотрена на предмет устойчивости. Этого уже достаточно, чтобы она прошла и ваши показатели - разбей её на части и они тоже будут качественными))
Вот именно. Можно формально доказать это утверждение: если ТС имеет практически идеальную прямую equity направленную вверх, то произвольный отрезок (форвард) этой еквити также пройдет валидацию, т.к. и он будет иметь положительный результат. С другой стороны, форвард тестирование из множества наборов параметров найдет тот набор, который на всех участках истории будет прибыльным, следовательно он найдет тот самый набор параметров, при котором прогон ТС на всей истории даст наиболее стабильный и устойчивый положительный результат. Но раз этот же набор параметров будет получен при оптимизации на всей выборки, то нет необходимости делить эту выборку на N произвольных частей.
А вообще, нужно понимать на чём система зарабатывает и рассматривать каждую часть системы на устойчивость отдельно. Каждый опт должен стать отдельным исследованием на устойчивость.
С этим сложности. Наверное это священный грааль трейдинга. Мы торгуем следствие причины, которая практически всегда остается за кулисами. Например, не каждая трендовая ТС работает на трендовом рынке. Какая-то ТС может показывать отличные результаты на одних рынках, а на других - разве что не сливать. Хотя между этими рынками нет явных различий, даже с т.з. их трендовости или какой-либо иной статистики.
Ну и нужно иметь достаточно не запаздывающий критерий отключения системы, что так же строится от понимания составных частей системы и что является определяющим в её работоспособности
Да. Здесь проще, потому что можно точно сформулировать то, что мы хотим видеть: прямую ровную equity с положительным наклоном. Если ТС перестала зарабатывать, то ее equity рано или поздно выйдет за нашу модель ожидания и ее необходимо будет отключить.
Но, основным фактором здесь является психологический фактор - принять неизбежное топтание на месте и даже определенный слив за стандартное поведение ТС в рамках выбранной модели.
С этим сложности. Наверное это священный грааль трейдинга. Мы торгуем следствие причины, которая практически всегда остается за кулисами. Например, не каждая трендовая ТС работает на трендовом рынке. Какая-то ТС может показывать отличные результаты на одних рынках, а на других - разве что не сливать. Хотя между этими рынками нет явных различий, даже с т.з. их трендовости или какой-либо иной статистики.
Еще немного про R^2.
Для меня это очень мощный показатель, но недостаточный. На практике я сталкивался с тем, что некоторые ТС, могут выдать очень хорошую и плавную equity вверх. R^2 у них очень высокий, и их набор параметров взломает любой даже самый изощренный форвард. Вот например equity одной из такой ТС:
Ее equity заставляет делать стойку на рынок, но не все так просто. У подогнанных ТС есть одно замечательное свойство: их набор параметров практически всегда является нестабильным, и любое, незначительное смещение величин эти параметров часто кардинально меняет результат. Например, незначительное изменение правил закрытия у этой ТС приводит к следующим результатам:
Видно, что небольшое изменение привело к катастрофическим последствиям. Примечательно, что оптимизационных параметров у этой ТС всего 2. Это к вопросу о том, что на самом деле можно легко получить подгонку аппроксимируя всего двумя точками, и малое количество праметров ТС не говорит о ее неспособности к подгонке. Поэтому после того, как определен оптимальный набор параметров, необходимо произвести смещение параметров на некоторую величину в многомерном пространстве оптимизации, и посмотреть результаты прогонов в окрестностях оптимальной точки:
Если мы находимся в устойчивом пятне параметров, их смещение кардинально не изменит поведение ТС. Важно понимать, что в реальной торговле это самое смещение и произойдет. На истории мы вокруг статичного рынка передвигаем параметры ТС. На реале рынок будет двигать свои характеристики вокруг найденных и зафиксированных нами ранее параметров.