Переобучение - страница 3
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
А разве вы забываете, просто память об участке на котором было обучение трансформируется в память о результатах обучения с этого участка.
А что если этот метод тыка автоматизирован?! Интересны мысли в этом направлении. Индикаторы меняются, их взаимодействие между собой тоже, взаимодействия представлены в виде отдельных функций, выходит, количество параметров может меняться, происходит только простейшая оптимизация по ним. Поэтому интересен вопрос который задаётся в этой ветке, более универсальный подход, который бы не зависел от параметров стратегии. В той ветке, которую вы предлагаете, совершенно другие задачи. Но если вы покажете применимость тех методов к данной задаче, то пожалуйста.
У тестера можно выделить две взаимосвязанные, но принципиально качественные функции:
1. Проверка (отладка) самой идеи ТС. Мы смотрим, совпадают ли входы-выходы с нашими идеями на этот счет.
2. Подбор параметров ТС, в которой зафиксированы наши идеи ТС
После этого уже ничего не может меняться, так как в случае успешности этих этапов мы ставим ТС на реал и начинаем торговать.
И здесь самый главный вопрос: будет результативность реальной торговли такой же как при обучении?
И здесь и в параллельной ветке ставится именно этот вопрос.
Если на реальной торговле мы получаем другие результаты, то это и называется переобучение, т.е. при создании ТС уловила некоторые частности на обучающего котира, которые не встречаются на реальных. В параллельной ветке я утверждаю, что проблема переобучения решается исключительно за счет правильного подбора перечня исходных данных, в ТА - это набора индикаторов. Так же я утверждаю, что можно ДО создания самой ТС определить, будут ли полезны для данной ТС выбранный нами набор индикаторов. А вот когда мы решим эту задачу, тогда пп. 1 и 2.
Если в идеальном случае индикаторы сбалансированы и контролируют друг друга и разные аспекты рынка на разных горизонтах истории, то переобучаемость им не грозит.
Если на реальной торговле мы получаем другие результаты, то это и называется переобучение, т.е. при создании ТС уловила некоторые частности на обучающего котира, которые не встречаются на реальных.
Это как раз больше похоже на недообученность. -)
На мой взгляд надо различать саму способность системы улавливать закономерность и ЛОВУШКИ ОПТИМИЗАЦИИ в которые эта ее способность может попасть. Ловушки оптимизации - это более широкое понятие, включающее и ПЕРЕоптимизацию и НЕДОоптимимзацию и инерционность самого процесса написания кода и человеческий фактор и много чего еще. Но, боюсь, автор ветки все-таки имел в виду просто тот факт, что советники сливают, не более..
другимим словами его вопрос должен звучать так "Как избежать ловушек оптимизации"
Вот два человека ему и советуют - проверяй на форварде, т.е. на неоптимизированном участке и жизнь наладится.-0
А ежели вы можете ДО написания кода решить -будет индикатор полезен или нет - так прекрасно! Вам тогда и тестирование ни к чему. -)
Это иллюзия
Ну тогда все живые организмы - это иллюзия. Они-то как раз по такому принципу и построены. У них есть память генетическая, долговременная и оперативная и они все время обучаются. Но мы же не говорим - бедное человечество - переобучилось вплоть до Форекса.-)
Ну тогда все живые организмы - это иллюзия. Они-то как раз по такому принципу и построены. У них есть память генетическая, долговременная и оперативная и они все время обучаются. Но мы же не говорим - бедное человечество - переобучилось вплоть до Форекса.-)
Сам термин "переобучение" дурацкий, призван оправдать нерабочесть самого советника и полностью теряет смысл при волкинг-форварде. Переобучилась переменная или недообучилась, собственно, по деградации не видно. Видно это только из сравнения результата форварда при разных условиях и оптимизации и теста. И глубина истории и шаг форварда подбирается в каждом случае персонально и тогда уже видно что пере, а что недо.
Сам термин "переобучение" дурацкий, призван оправдать нерабочесть самого советника и полностью теряет смысл при волкинг-форварде. Переобучилась переменная или недообучилась, собственно, по деградации не видно. Видно это только из сравнения результата форварда при разных условиях и оптимизации и теста. И глубина истории и шаг форварда подбирается в каждом случае персонально и тогда уже видно что пере, а что недо.
Ага. Когда начинается понимание всего этого дела, возникает вопрос об адекватности термина "переобучение" и понимание его неадекватности. Было обсуждение этого вопроса на 4-ом форуме, там еще было с кем пообсуждать. Пришли к выводу, что лучше подходит термин "заучивание" или "зазубривание". Советник как прилежный ученик зазубрил урок, но ничего не понял, и в других условиях не может применить свои знания.
Здесь же даже сам термин некоторые вообще не в том смысле понимают. Вот оказывается кто-то его понимает как "повторное обучение" - забавно.
А то что термин устоялся в каком-то там научном мире, это ничего не значит, там много всяких мутных, но устоявшихся терминов, наука сплошняком состоит из терминов не отражающих действительности, истинный смысл которых понятен только узкому кругу "посвященных".
В параллельной ветке я утверждаю, что проблема переобучения решается исключительно за счет правильного подбора перечня исходных данных, в ТА - это набора индикаторов. Так же я утверждаю, что можно ДО создания самой ТС определить, будут ли полезны для данной ТС выбранный нами набор индикаторов. А вот когда мы решим эту задачу, тогда пп. 1 и 2.
Вы, наверное, упустили смысл задачи. Ей является автоматический поиск стратегии. В конечной стратегии могут использоваться только пару индикаторов, выбранных с некоторого набора. Могут оказаться не все функции, которые имеются. В конечном итоге получается структура, которая представлена ориентированным графом, в котором вычисляется условие входа в рынок или выход из него, тейк и стоп. Элементами графа являются функции, индикаторы и константы(параметры). Каждый элемент, с которого может состоять граф, имеет несколько групп правил взаимодействия с другими элементами графа, необходимо для контроля некоторой "осмысленности" вычислений в графе.
А есть идеи по поводу поиска стратегий?
Термин этот не дурацкий, а давно устоявшийся и "одобренный лучшими собаководами" всего научного мира, включая и рыночных алгоритмистов. Ваши идеи по поводу подбора глубины, шага и прочих "побочных" параметров возвращают нас к прежней проблеме качества их подбора (и вероятного переобучения). Так что в любом случае, без анализа форвардов - не обойтись. А то, что нужно анализировать для разных участков - это и ежу понятно с самого начала.
Ну так вот объясните мне -как вы решаете по деградации форварда - ПЕРЕобучение это или НЕДОобучение. Переобучение как-то по-особому деградирует, нежели недообучение?
Единственный способ определения качества условий тренировки -это увидеть соответствующее качество теста на аут-оф-сэмле. И только сравнивая результаты можно сказать избыточная оптимизация или недостаточная. Только вот я что-то нигде не вижу топиков о борьбе с недооптимизацией. Корень зла все почему-то видят в мифической переоптимизации, а не в качестве кода.