Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3552
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Так на чем в итоге вы остановились?
Ещё не остановился. Концепция в том, что нужно брать только полезную информацию из предиктора, потом делать бинаризацию, и уже на этих данных строить модель. Но, тут возникает проблема малых откликов, сверх разряженная выборка, обучение на которой сложно даётся стандартным моделям. Альтернативой видится кластеризация этих бинарных предикторов, для этого и писал код дерева кластеризации, но пока поставил на паузу развитие. Потому что главная проблема в том, что отбираемые квантовые отрезки теряют свою эффективность на новых данных в большом количестве, что и приводит к ошибкам классических моделей. Поэтому сейчас сконцентрирован на увеличении сбора процента эффективных квантовых отрезков.
Как измерять эффективность - так же вопрос открытый, но я подразумеваю, что в квантовый отрезок должно попадать больше представителей одного класса, чем это в среднем по выборке. Смещение вероятности и означает, что процент представителей класса 1 или 0 больше в квантовом отрезке на пороговое значение, чем в подвыборке.
Таким образом, если у нас есть набор квантовых отрезков со смещением вероятности, мы можем строить как новые правила, так и ансамбли, объединяя квантовые отрезки в группы по вероятности синхронного срабатывания, что в теории должно добавлять модели уверенности.
Дает это сейчас норм модели, или такое себе?
Даже подбор квантовой таблицы под предиктор может улучшить обучение.
Пока я особо и не строю именно итоговые модели по данному методу, пока не доволен отбором квантовых отрезков.
А так, модели на бинарной выборке получаются более лёгкими у catboost, не уступают тем, что на полных данных, но опять же гарантий нет, что модель будет прибыльной, но это и понятно - ведь проблема в смещении вероятности на новых данных...
В чем завтык?
Если не считая главной проблемы, то есть проблема производственного характера - надо думать и кодить :)
В последнее время неудачные идеи, после их проверки, меня выбивают из колеи на несколько дней, иногда недель. Лето ещё сейчас - чаще стараюсь выходить на прогулки в парк.
Ваши боты же на другой логике, по МО-хе нет там ТС?
Там по сути использовался схожий подход, - создается база эффективных одиночных настроек разных фильтров\предикторов, а потом случайным образом происходит их выбор (не все используются сразу) с определёнными настройками. Такой подход существенно экономит ресурсы и результат получается вполне хороший, когда для оптимизации есть сотня настроек. По сути тот же подход, как и с квантованием.
На логике того советника сделана большая часть предикторов, что я использую в МО.
По МО, возможно, буду серийно выпускать ботов с низкой ценой, но чуть позже.
Не надо ля-ля..
Я разве писал обратное?
Разве все мы не используем те же архиваторы, что бы это стало для нас новостью?
Не понимаю, зачем такой стиль общения выбрали и что хотите им показать.
Я разве писал обратное?
может я что то не понял но что ето еще может значить?
Не, всё это об одном. Деля на бины Вы теряете информацию, что и является сжатием.
может я что то не понял но что ето еще может значить?
Нет же утверждения, что сжатие должно быть только с потерей информации.
Для общего развития интересно, но для трейдинга не ясно, как использовать...
Есть идеи?
Нет же утверждения, что сжатие должно быть только с потерей информации.
Ещё не остановился. Концепция в том, что нужно брать только полезную информацию из предиктора, потом делать бинаризацию, и уже на этих данных строить модель. Но, тут возникает проблема малых откликов, сверх разряженная выборка, обучение на которой сложно даётся стандартным моделям. Альтернативой видится кластеризация этих бинарных предикторов, для этого и писал код дерева кластеризации, но пока поставил на паузу развитие. Потому что главная проблема в том, что отбираемые квантовые отрезки теряют свою эффективность на новых данных в большом количестве, что и приводит к ошибкам классических моделей. Поэтому сейчас сконцентрирован на увеличении сбора процента эффективных квантовых отрезков.
Как измерять эффективность - так же вопрос открытый, но я подразумеваю, что в квантовый отрезок должно попадать больше представителей одного класса, чем это в среднем по выборке. Смещение вероятности и означает, что процент представителей класса 1 или 0 больше в квантовом отрезке на пороговое значение, чем в подвыборке.
Таким образом, если у нас есть набор квантовых отрезков со смещением вероятности, мы можем строить как новые правила, так и ансамбли, объединяя квантовые отрезки в группы по вероятности синхронного срабатывания, что в теории должно добавлять модели уверенности.
Даже подбор квантовой таблицы под предиктор может улучшить обучение.
Пока я особо и не строю именно итоговые модели по данному методу, пока не доволен отбором квантовых отрезков.
А так, модели на бинарной выборке получаются более лёгкими у catboost, не уступают тем, что на полных данных, но опять же гарантий нет, что модель будет прибыльной, но это и понятно - ведь проблема в смещении вероятности на новых данных...
Если не считая главной проблемы, то есть проблема производственного характера - надо думать и кодить :)
В последнее время неудачные идеи, после их проверки, меня выбивают из колеи на несколько дней, иногда недель. Лето ещё сейчас - чаще стараюсь выходить на прогулки в парк.
Там по сути использовался схожий подход, - создается база эффективных одиночных настроек разных фильтров\предикторов, а потом случайным образом происходит их выбор (не все используются сразу) с определёнными настройками. Такой подход существенно экономит ресурсы и результат получается вполне хороший, когда для оптимизации есть сотня настроек. По сути тот же подход, как и с квантованием.
На логике того советника сделана большая часть предикторов, что я использую в МО.
По МО, возможно, буду серийно выпускать ботов с низкой ценой, но чуть позже.
Вы таблицы к фиксированным лейблам подбираете, или лейблы перебираются тоже?
Собственно потому и спросил, что вижу в этом дальнейшее развитие. Ну и с бинарными выборками да, такое себе конечно. Мне кажется, что надо этот вопрос пересмотреть.
Варианты использования дискретизации через KBinsDiscretizerИзвиняюсь
Принимаю.
Вы таблицы к фиксированным лейблам подбираете, или лейблы перебираются тоже?
У меня сейчас нет перебора разных разметок. Концепция базовой стратегии и её улучшения с помощью МО.
А вот базовые стратегии могут быть разными.
Ну и с бинарными выборками да, такое себе конечно. Мне кажется, что надо этот вопрос пересмотреть.
Есть иные идеи?