Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Вся ветка из активных иследователей рынка тут сидит на R, ето как бы резюмируя..
Выше упоминалась проблема, что имеется модель, имеющая прекрасные результаты на файле обучения и файле ООС. При этом я понимаю, что файл обучения может быть получен даже случайной выборкой по sample, а ООС остаток от файла обучения.
Но при прогоне модели на внешнем файле результат катастрофически плохой.
Вспомнил, имел такой вариант несколько лет назад.
Удалось найти причину. Причина эта - заглядывание вперед, крайне неудобная причина, так как крайне трудно понять в чем собственно состоит заглядывание вперед.
Тогда я юзам модель, в которой учитель - приращения ZZ, и очень много предикторов, в вычислении который участвовал ZZ. Например, разность цены и ZZ. При обучении просто отсекал кусок файла, в котором не было правых звеньев ZZ. А при вычислении предикторов недостающие значения ZZ продлевал последним звеном.
Три файла (это в Rattle), которые он дает случайной выборкой, давали ошибку классификации около 5%. Однако четвертый файл, который не имеет отношения к первым трем, давал произвольную ошибку.
Если же удалить все предикторы, в вычислении которых участвует ZZ, то все становится на свои места: ошибка классификации примерно равна на всех четырех файлах.
Это заглядывание вперед.
С переобучением понятно: крайне осторожно пользоваться оптимизацией в тестере, а в R чистить перечень предикторов от мусора. А как выявить заглядывание вперед?
Из прошлого опыта напрашивается следующее: если ошибка классификации на train, test и validation меньше 10%, то тупо поочередно выбрасывать предикторы пока ошибка не увеличится к 20% 30% ...
ЗигЗаги надо строить на момент бара, а не в будущее.
Для обучения модели ZZ не продлевался, так как это не нужно: паттерн, который ищет модель - это одна строка - соседние не учитываются, а выборка для обучения 1500 бар.
Из прошлого опыта напрашивается следующее: если ошибка классификации на train, test и validation меньше 10%, то тупо поочередно выбрасывать предикторы пока ошибка не увеличится к 20% 30% ...
Гениально)))))
Как же тогда найти реальные предикторы с ошибкой на меньше 10% ?
Только не надо говорить что таких нет, это вопрос веры..
Откуда вообще взялась эта дурь с зиг-загом, кто это первый придумал?
Вам самому интересно или совсем не интересно писать по существу проблемы, а не демонстрировать себя любимого?
Удалось найти причину. Причина эта - заглядывание вперед, крайне неудобная причина, так как крайне трудно понять в чем собственно состоит заглядывание вперед.
Тогда я юзам модель, в которой учитель - приращения ZZ, и очень много предикторов, в вычислении который участвовал ZZ. Например, разность цены и ZZ. При обучении просто отсекал кусок файла, в котором не было правых звеньев ZZ. А при вычислении предикторов недостающие значения ZZ продлевал последним звеном.
Чтобы небыло заглядывания Форестер правильно говорит, надо вычислять в цикле на кадой итерации предикторы без заглядывания..
Вот и все решение..
Гениально)))))
Как же тогда найти реальные предикторы с ошибкой на меньше 10% ?
Только не надо говорить что таких нет, это вопрос веры..
Запросто.
Выше написал как это сделал я на примере ZZ.
Но дело не в ZZ: перепевы учителя помещаем в предикторы, получаем счастье до прогона на файле вне.
А можно и не прогонять на файле ВНЕ и жить счастливым, как это делает Максим с очень красивыми картинками.
Но вернемся к проблеме заглядывания вперед. Предложил тупой перебор. А может еще что-то есть?
Вам самому интересно или совсем не интересно писать по существу проблемы, а не демонстрировать себя любимого?