Попробуйте сгенерировать цены из случайных рядов с плавающими характеристиками(нестационарность),
и сделайте те же тесты/подгонки на таком ряде..
Спасибо, попробую MathRand-приращения.
Если увидите ТОТ ЖЕ ефект(направленный слив на ООС) - то это ефект подгонки/переобучения вашей ТС/МО
Разве на СБ должен бытб свал ООС?
Если же на ООС вы получите прибыль как на обучении, то значит этот ефект (направленный слив на ООС) присущь только рынкам и дальше можно строить гипотезы
Вроде, по определению СБ не должно быть такой ситуации.
Вроде, по определению СБ не должно быть такой ситуации.
Возьмите одну переобученную монетку на новых данных - она будет вести себя как сб. Добавьте еще несколько (по кол-ву параметров ТС), просуммируйте ошибки и получите резкие сливы, а иногда сб, а иногда наоборот. Часть монеток была завязана на тренд, который изменился. Часть на небольшие колебания. Первая часть начала предсказывать все время не в ту сторону, а вторая и без этого плохо предсказывала, потому что была переобучена на шум. Негативные эффекты сложились, а компенсирующих монеток не осталось.
Обычно пробую немного "пошевелить" задачу - слегка поменять все возможные параметры (и доступные метапараметры) и посмотреть как меняется результат. Иногда становится немного яснее.
Спасибо. Обычно останавливает лень слишком глубоко разбираться. Поверхностное "шевеление", конечно, практикую.
Maxim Dmitrievsky #: Возьмите одну переобученную монетку на новых данных - она будет вести себя как сб. Добавьте еще несколько (по кол-ву параметров ТС), просуммируйте ошибки и получите резкие сливы, а иногда сб, а иногда наоборот. Часть монеток была завязана на тренд, который изменился. Часть на небольшие колебания. Первая часть начала предсказывать все время не в ту сторону, а вторая и без этого плохо предсказывала, потому что была переобучена на шум. Негативные эффекты сложились, а компенсирующих монеток не осталось.
Это утверждение сравни тому, что при сложении СБ рядов будет видны резкие свалы. Ну так в самом СБ есть сами свалы. Не требуется что-то складывать.
Возможно, ошибаюсь, но видится так.
Любая комбинация (сложение и т.д.) нескольких СБ - СБ.
Любая ТС на СБ - СБ.
Изначальный вопрос был не в наличии резких сливов, а в том , что резкий слив начинается СРАЗУ после Sample.
OOS слева это тоже подгонка, только как бы второго порядка
представьте что у вас есть всего 1000 вариантов ТС, вообще
вашы шаги 1 и 2
1) Вы начинаете оптимизировать/искать хорошую ТС , это трейн данные (подгонка/поиск/оптимизация)
допустим вы нашли 300 вариантов где ТС зарабатывает..
2) Теперь вы ищете ТС из этих 300 вариантов которая пройдет OOS это тест данные. Вы нашли скажем 10 ТС которые зарабатывают и на трейне и на тесте ( OOS )
Так что такое п.2 ?
Это - то же самое продолжение подгонки , только ваш поиск (подгонка/поиск/оптимизация) стал немного глубже или сложней, потому что теперь у вас не одно условие оптимизации (пройти трейн), а два (проти тест + пройти трейн)
Такой самообман не практикую. Делаю только так.
Оптимизация на трейне.
Из найденных беру пятерку лучших и смотрю поведение на OOS. В этом пункте ни в коем случае нет никакой оптимизации.
Именно так были получены исходные картинки. Поэтому красивый OOS слева - это не подгонка совсем.
Это утверждение сравни тому, что при сложении СБ рядов будет видны резкие свалы. Ну так в самом СБ есть сами свалы. Не требуется что-то складывать.
Возможно, ошибаюсь, но видится так.
Любая комбинация (сложение и т.д.) нескольких СБ - СБ.
Любая ТС на СБ - СБ.
Изначальный вопрос был не в наличии резких сливов, а в том , что резкий слив начинается СРАЗУ после Sample.
Я вам дал объяснение. Возможно, нужно время, чтобы понять. Некоторые параметры ТС залипают на все время неправильных предсказаниях. Из-за чего общая результирующая - всегда слив. Бывает сразу, бывает не сразу. Это случайность.
Возьмите одну переобученную монетку на новых данных - она будет вести себя как сб. Добавьте еще несколько (по кол-ву параметров ТС), просуммируйте ошибки и получите резкие сливы, а иногда сб, а иногда наоборот. Часть монеток была завязана на тренд, который изменился. Часть на небольшие колебания. Первая часть начала предсказывать все время не в ту сторону, а вторая и без этого плохо предсказывала, потому что была переобучена на шум. Негативные эффекты сложились, а компенсирующих монеток не осталось.
В этом объяснении приведен пример того, что можно найти в СБ ситуацию, когда справа будет получен нужный результат: необязательно резкий слив, но вообще любой. Например, резкая прибыль.
Но это просто некая "удача" выбора sample-интервала на СБ.
Скорее всего, мы просто о разном говорим. Либо терминологический конфликт.
Выше, например, есть восприятие ООС, как участок форвард-тестирования. Т.е. один термин, а подходы иные.
В этом объяснении приведен пример того, что можно найти в СБ ситуацию, когда справа будет получен нужный результат: необязательно резкий слив, но вообще любой. Например, резкая прибыль.
Но это просто некая "удача" выбора sample-интервала на СБ.
Все это, конечно, голая теория.
Надо будет дойти до графиков и посмотреть.
Это удача и p-hacking, да. Поэтому результаты могут быть какие угодно.
P-hacking - это намеренная подгонка результатов под значимый статистический критерий. Например, вы видите, что на оос слева статистика крутая и выбираете этот вариант. Точно так же и справа. Это все подгонка.
Любая комбинация (сложение и т.д.) нескольких СБ - СБ.
Совершенно верно при сложении нескольких СБ с фиксированными весами. При более вычурных комбинациях может получиться что-то более сложное, в основном из-за колебаний волатильности.
Это верно лишь отчасти, когда все сделки с примерно одинаковыми объёмами, стопами и тейками.
Если математически точно, то "Любая ТС на СБ - мартингал" (не путать с мартингейлом). Например, кочерга рисуемая на СБ при пересиживаниях, усреднениях и тд - это тоже мартингал, но не СБ.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
и сделайте те же тесты/подгонки на таком ряде..
Спасибо, попробую MathRand-приращения.
Если увидите ТОТ ЖЕ ефект(направленный слив на ООС) - то это ефект подгонки/переобучения вашей ТС/МО
Вроде, по определению СБ не должно быть такой ситуации.
Спасибо, попробую MathRand-приращения.
Разве на СБ должен бытб свал ООС?Вроде, по определению СБ не должно быть такой ситуации.
Обычно пробую немного "пошевелить" задачу - слегка поменять все возможные параметры (и доступные метапараметры) и посмотреть как меняется результат. Иногда становится немного яснее.
Спасибо. Обычно останавливает лень слишком глубоко разбираться. Поверхностное "шевеление", конечно, практикую.
Возьмите одну переобученную монетку на новых данных - она будет вести себя как сб. Добавьте еще несколько (по кол-ву параметров ТС), просуммируйте ошибки и получите резкие сливы, а иногда сб, а иногда наоборот. Часть монеток была завязана на тренд, который изменился. Часть на небольшие колебания. Первая часть начала предсказывать все время не в ту сторону, а вторая и без этого плохо предсказывала, потому что была переобучена на шум. Негативные эффекты сложились, а компенсирующих монеток не осталось.
Это утверждение сравни тому, что при сложении СБ рядов будет видны резкие свалы. Ну так в самом СБ есть сами свалы. Не требуется что-то складывать.
Возможно, ошибаюсь, но видится так.
OOS слева это тоже подгонка, только как бы второго порядка
представьте что у вас есть всего 1000 вариантов ТС, вообще
вашы шаги 1 и 2
1) Вы начинаете оптимизировать/искать хорошую ТС , это трейн данные (подгонка/поиск/оптимизация)
допустим вы нашли 300 вариантов где ТС зарабатывает..
2) Теперь вы ищете ТС из этих 300 вариантов которая пройдет OOS это тест данные. Вы нашли скажем 10 ТС которые зарабатывают и на трейне и на тесте ( OOS )
Так что такое п.2 ?
Это - то же самое продолжение подгонки , только ваш поиск (подгонка/поиск/оптимизация) стал немного глубже или сложней, потому что теперь у вас не одно условие оптимизации (пройти трейн), а два (проти тест + пройти трейн)
Такой самообман не практикую. Делаю только так.
Это утверждение сравни тому, что при сложении СБ рядов будет видны резкие свалы. Ну так в самом СБ есть сами свалы. Не требуется что-то складывать.
Возможно, ошибаюсь, но видится так.
Я вам дал объяснение. Возможно, нужно время, чтобы понять.
Скорее всего, мы просто о разном говорим. Либо терминологический конфликт.
Выше, например, есть восприятие ООС, как участок форвард-тестирования. Т.е. один термин, а подходы иные.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Машинное обучение в трейдинге: теория, модели, практика и алготорговля
Maxim Dmitrievsky, 2023.08.17 06:33
Возьмите одну переобученную монетку на новых данных - она будет вести себя как сб. Добавьте еще несколько (по кол-ву параметров ТС), просуммируйте ошибки и получите резкие сливы, а иногда сб, а иногда наоборот. Часть монеток была завязана на тренд, который изменился. Часть на небольшие колебания. Первая часть начала предсказывать все время не в ту сторону, а вторая и без этого плохо предсказывала, потому что была переобучена на шум. Негативные эффекты сложились, а компенсирующих монеток не осталось.В этом объяснении приведен пример того, что можно найти в СБ ситуацию, когда справа будет получен нужный результат: необязательно резкий слив, но вообще любой. Например, резкая прибыль.
Но это просто некая "удача" выбора sample-интервала на СБ.
Все это, конечно, голая теория.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Машинное обучение в трейдинге: теория, модели, практика и алготорговля
fxsaber, 2023.08.17 06:27
Спасибо, попробую MathRand-приращения.
Надо будет дойти до графиков и посмотреть.
Скорее всего, мы просто о разном говорим. Либо терминологический конфликт.
Выше, например, есть восприятие ООС, как участок форвард-тестирования. Т.е. один термин, а подходы иные.
В этом объяснении приведен пример того, что можно найти в СБ ситуацию, когда справа будет получен нужный результат: необязательно резкий слив, но вообще любой. Например, резкая прибыль.
Но это просто некая "удача" выбора sample-интервала на СБ.
Все это, конечно, голая теория.
Надо будет дойти до графиков и посмотреть.
fxsaber #:
Любая комбинация (сложение и т.д.) нескольких СБ - СБ.
Совершенно верно при сложении нескольких СБ с фиксированными весами. При более вычурных комбинациях может получиться что-то более сложное, в основном из-за колебаний волатильности.
fxsaber #:
Любая ТС на СБ - СБ.
Это верно лишь отчасти, когда все сделки с примерно одинаковыми объёмами, стопами и тейками.
Если математически точно, то "Любая ТС на СБ - мартингал" (не путать с мартингейлом). Например, кочерга рисуемая на СБ при пересиживаниях, усреднениях и тд - это тоже мартингал, но не СБ.