Maxim Dmitrievsky: Потому что это обучение в скользящем окне, которое точно так же переобучается. И его невозможно контролировать на новых данных
Контроль только по факту оценки последнего окна, и то, только когда новые характеристики ряда стали значимыми и мы получили отставание. Данных на сегодня много, и если по серьезному. то обучать надо на всех данных минимизируя отставание. Это всего лишь разнообразие рядов.
Вполне вероятно, что новые данные повторяют другой инструмент, который не был задействован в обучении.
Контроль только по факту оценки последнего окна, и то, только когда новые характеристики ряда стали значимыми и мы получили отставание. Данных на сегодня много, и если по серьезному. то обучать надо на всех данных минимизируя отставание. Это всего лишь разнообразие рядов.
Вполне вероятно, что новые данные повторяют другой инструмент, который не был задействован в обучении.
Не вижу никакой разницы между обучением на всех данных и в скользящем окне. Если характеристики ряда меняются очень плавно, тогда есть смысл. Но на рынке такого нет.
Maxim Dmitrievsky: Не вижу никакой разницы между обучением на всех данных и в скользящем окне. Если характеристики ряда меняются очень плавно, тогда есть смысл. Но на рынке такого нет.
смысл только в библе полученных характеристик, не более. Это не может быть полным решением, но тут работа по поиску повторений на различных инструментах в разное время. И только как вспомогательные данные для скользящего окна.
смысл только в библе полученных характеристик, не более. Это не может быть полным решением, но тут работа по поиску повторений на различных инструментах в разное время. И только как вспомогательные данные для скользящего окна.
Каких характеристик? Там будет массив весов НС, которые не интерпретируются
Большая иллюзия, что можно обучить модель на огромном промежутке прошлых данных и потом долго ее использовать без переобучения.
...
Долго - это сколько - у меня есть модель, которая пол года минимум работает в плюс. Я обнаружил это с примерно месяц назад, когда разбирал старые архивы файлов - взял модель, а она работает, но сейчас не знаю, как она обучалась - модель CatBoost.
Другой пример - так же строил на листьях, большинство из которых собраны на выборке 2014-2018 годов включительно, дерево в феврале 2020 года, которое используется в качестве фильтра, и эта синергия хорошо работает в 2020 году.
Однако, я не рискнул на это все поставить деньги - и это моя ошибка.
Теперь преследует мысль, что как раз подойду к критерию долго и все сломается.
Долго - это сколько - у меня есть модель, которая пол года минимум работает в плюс. Я обнаружил это с примерно месяц назад, когда разбирал старые архивы файлов - взял модель, а она работает, но сейчас не знаю, как она обучалась - модель CatBoost.
Другой пример - так же строил на листьях, большинство из которых собраны на выборке 2014-2018 годов включительно, дерево в феврале 2020 года, которое используется в качестве фильтра, и эта синергия хорошо работает в 2020 году.
Однако, я не рискнул на это все поставить деньги - и это моя ошибка.
Теперь преследует мысль, что как раз подойду к критерию долго и все сломается.
попробуйте взять эту модель и на всех точках входа создать выборку, индикаторов там накидать всяких , и натренировать еще одну модель которая будет решать входить в сделку или нет
попробуйте взять эту модель и на всех точках входа создать выборку, индикаторов там накидать всяких , и натренировать еще одну модель которая будет решать входить в сделку или нет
Для этого метода у меня недостаточно будет показателей, ведь изначальная выборка порядка 15к строк, а если смотреть потом по активации, то будет там ну 5-6к входов, на этом учиться как то не очень, а вот мой метод позволяет продолжать обучение без изменения объёма выборки.
Индикаторов всяких лучше кидать сразу при обучении, я думаю.
Через такие способы закономерности не найти, это просто зафит. Как забить ватой щель поплотнее
Дообучение не меняет способа поиска, но добавляет новые данные для обучения. Почему это плохо?
Разделение сложнее, и прямых логик нет, откуда уверенность?
Дообучение не меняет способа поиска, но добавляет новые данные для обучения. Почему это плохо?
Разделение сложнее, и прямых логик нет, откуда уверенность?
Потому что это обучение в скользящем окне, которое точно так же переобучается. И его невозможно контролировать на новых данных
Контроль только по факту оценки последнего окна, и то, только когда новые характеристики ряда стали значимыми и мы получили отставание. Данных на сегодня много, и если по серьезному. то обучать надо на всех данных минимизируя отставание. Это всего лишь разнообразие рядов.
Вполне вероятно, что новые данные повторяют другой инструмент, который не был задействован в обучении.
Контроль только по факту оценки последнего окна, и то, только когда новые характеристики ряда стали значимыми и мы получили отставание. Данных на сегодня много, и если по серьезному. то обучать надо на всех данных минимизируя отставание. Это всего лишь разнообразие рядов.
Вполне вероятно, что новые данные повторяют другой инструмент, который не был задействован в обучении.
Не вижу никакой разницы между обучением на всех данных и в скользящем окне. Если характеристики ряда меняются очень плавно, тогда есть смысл. Но на рынке такого нет.
смысл только в библе полученных характеристик, не более. Это не может быть полным решением, но тут работа по поиску повторений на различных инструментах в разное время. И только как вспомогательные данные для скользящего окна.
смысл только в библе полученных характеристик, не более. Это не может быть полным решением, но тут работа по поиску повторений на различных инструментах в разное время. И только как вспомогательные данные для скользящего окна.
Каких характеристик? Там будет массив весов НС, которые не интерпретируются
Да, некорректность между желаниями и инструментами. Действительно массив весов с НС будет не достаточен. а интерпретации с них вряд ли можно получить)
Характеристика ряда это максимально простая мат.модель описывающая его с достаточно малой ошибкой))))
Vladimir Perervenko:
...
Большая иллюзия, что можно обучить модель на огромном промежутке прошлых данных и потом долго ее использовать без переобучения.
...
Долго - это сколько - у меня есть модель, которая пол года минимум работает в плюс. Я обнаружил это с примерно месяц назад, когда разбирал старые архивы файлов - взял модель, а она работает, но сейчас не знаю, как она обучалась - модель CatBoost.
Другой пример - так же строил на листьях, большинство из которых собраны на выборке 2014-2018 годов включительно, дерево в феврале 2020 года, которое используется в качестве фильтра, и эта синергия хорошо работает в 2020 году.
Однако, я не рискнул на это все поставить деньги - и это моя ошибка.
Теперь преследует мысль, что как раз подойду к критерию долго и все сломается.
Долго - это сколько - у меня есть модель, которая пол года минимум работает в плюс. Я обнаружил это с примерно месяц назад, когда разбирал старые архивы файлов - взял модель, а она работает, но сейчас не знаю, как она обучалась - модель CatBoost.
Другой пример - так же строил на листьях, большинство из которых собраны на выборке 2014-2018 годов включительно, дерево в феврале 2020 года, которое используется в качестве фильтра, и эта синергия хорошо работает в 2020 году.
Однако, я не рискнул на это все поставить деньги - и это моя ошибка.
Теперь преследует мысль, что как раз подойду к критерию долго и все сломается.
попробуйте взять эту модель и на всех точках входа создать выборку, индикаторов там накидать всяких , и натренировать еще одну модель которая будет решать входить в сделку или нет
попробуйте взять эту модель и на всех точках входа создать выборку, индикаторов там накидать всяких , и натренировать еще одну модель которая будет решать входить в сделку или нет
Для этого метода у меня недостаточно будет показателей, ведь изначальная выборка порядка 15к строк, а если смотреть потом по активации, то будет там ну 5-6к входов, на этом учиться как то не очень, а вот мой метод позволяет продолжать обучение без изменения объёма выборки.
Индикаторов всяких лучше кидать сразу при обучении, я думаю.