В том то и дело, что колоду нельзя тасовать, если есть дрейф данных. Нужно его прогнозировать, и возможно генерировать признаки с учетом его, ну если он имеет какой то выраженный вектор, а не просто колебание в диапазоне.
Тут открыл для себя интересный алгоритм "Isolation Forest", который теоретически может зафиксировать аномалии/выбросы в выборке для обучения и на новых данных.
В теории его можно использовать для фильтрации исходной выборки и игнорирования сигналов при поступлении новых данных, если они будут сильно отличаться от тех, на которых было обучение.
Примечания к машинному обучению Python алгоритм обнаружения аномальных точек - Isolation Forest, Русские Блоги, лучший сайт для обмена техническими статьями программиста.
В том то и дело, что колоду нельзя тасовать, если есть дрейф данных. Нужно его прогнозировать, и возможно генерировать признаки с учетом его, ну если он имеет какой то выраженный вектор, а не просто колебание в диапазоне.
Тут открыл для себя интересный алгоритм "Isolation Forest", который теоретически может зафиксировать аномалии/выбросы в выборке для обучения и на новых данных.
В теории его можно использовать для фильтрации исходной выборки и игнорирования сигналов при поступлении новых данных, если они будут сильно отличаться от тех, на которых было обучение.
На этапе определения биаса с учетом его изменчивости, надо тасовать. Для этого делается кросс-фитинг (аналог стабильности по Санычу). Изменчивость этого биаса может быть вообще нелинейной, поэтому через простые умозаключения эта проблема не решается. Я научился частично решать, но всегда хочется лучше.
Тоже смотрел в сторону аномалий, но пока козул более интересен.
Maxim Dmitrievsky #: На этапе определения биаса с учетом его изменчивости, надо тасовать. Для этого делается кросс-фитинг (аналог стабильности по Санычу). Изменчивость этого биаса может быть вообще нелинейной, поэтому через простые умозаключения эта проблема не решается. Я научился частично решать, но всегда хочется лучше.
Без детектирования причины не продуктивно использовать разные популярные методы. Поэтому хочется мерить изменчивость данных не моделями, а всё же отдельно взятыми предикторами с пониманием причины проявления изменения.
Я понимаю, что с прогнозируемой возможностью у тебя проблемы, но чему тогда ты учишь людей по МО?
Допустим в автомобилестроении есть дороги на которые могут опираться МО и аппаратные средства, а на рынках за 0 баром чистая дорога на все стороны горизонта.
Если ТЫ думаешь сузить или расширить участок собачьего хвоста, то это даст тебе преимущество. Отнюдь.
Без детектирования причины не продуктивно использовать разные популярные методы. Поэтому хочется мерить изменчивость данных не моделями, а всё же отдельно взятыми предикторами с пониманием причины проявления изменения.
Можно каждый отдельный так померить. Фантазии нет предела. Это просто матстат и МО, как бы как применишь то и получишь.
Пробуйте аномалии, это попроще. По козулу больше не буду объяснять не читавшим ничего.
Без детектирования причины не продуктивно использовать разные популярные методы. Поэтому хочется мерить изменчивость данных не моделями, а всё же отдельно взятыми предикторами с пониманием причины проявления изменения.
Детектор важно правильно использовать. Это и есть основа движения.
П.с.
Детектором могут служить разные факторы, не обязательно технического характера но и в совокупности с ФА, новостей, слухов и др.
Кому интересно подскажу в нужный момент конечно же бесплатно.))
Если какой-то пользователь не согласен с какой-то обсуждаемой теорией (или тематикой/спецификой ветки), и если это несогласие - на более чам один/три поста, то настоятельно рекомендую делать следующее:
Создать свою ветку.
В первом посте ветки - обозначить правила ветки (что обсуждается, и что - нет, и как обсуждается, и так далее).
Если все нормально - модераторы будут мониторить ветку согласно правилам ветки.
Я понимаю, что сделать неколько постов в очень популярной и раскрученной ветке - это легче, чем создать свою с нуля и сделать её популярной. Но это единственный путь развивать тут разные аспекты, не "соприкасаясь друг с другом". --------------------
Значит колода плохо перетасована
bias - variance tradeoff
Значит колода плохо перетасована
bias - variance tradeoff
Максим, учитывая твои такие высказывания и познания в рынках, позволю себе объяснить тебе, что значит выражение " Хвост виляет собакой".
Знаю, что у тебя это вызовет гнев и недовольство. Меня это не пугает.
Поясняю.
Хвост собаки это график который ты видишь слева за нулевым баром, а вот эта самая да СОБАКА будет справа.
Собаку надо понимать и уважать как и остальных форумян. Тогда у тебя появится шанс к успеху. Почитай книжки по психологии.)))
Значит колода плохо перетасована
bias - variance tradeoff
В том то и дело, что колоду нельзя тасовать, если есть дрейф данных. Нужно его прогнозировать, и возможно генерировать признаки с учетом его, ну если он имеет какой то выраженный вектор, а не просто колебание в диапазоне.
Тут открыл для себя интересный алгоритм "Isolation Forest", который теоретически может зафиксировать аномалии/выбросы в выборке для обучения и на новых данных.
В теории его можно использовать для фильтрации исходной выборки и игнорирования сигналов при поступлении новых данных, если они будут сильно отличаться от тех, на которых было обучение.
Есть желание совместно разобраться в этом?
Подробней можно почитать, к примеру, тут.
В том то и дело, что колоду нельзя тасовать, если есть дрейф данных. Нужно его прогнозировать, и возможно генерировать признаки с учетом его, ну если он имеет какой то выраженный вектор, а не просто колебание в диапазоне.
Тут открыл для себя интересный алгоритм "Isolation Forest", который теоретически может зафиксировать аномалии/выбросы в выборке для обучения и на новых данных.
В теории его можно использовать для фильтрации исходной выборки и игнорирования сигналов при поступлении новых данных, если они будут сильно отличаться от тех, на которых было обучение.
Есть желание совместно разобраться в этом?
Подробней можно почитать, к примеру, тут.
Забаньте уже этих пациентов, наконец )
Если я в двух постах превратил в помойку то Ты создал масштабный мусорник в котором руководишь.
Тогда давай по теме.
В каком временном диапазоне МО по твоему мнению способно качественно прогнозировать?
На этапе определения биаса с учетом его изменчивости, надо тасовать. Для этого делается кросс-фитинг (аналог стабильности по Санычу). Изменчивость этого биаса может быть вообще нелинейной, поэтому через простые умозаключения эта проблема не решается. Я научился частично решать, но всегда хочется лучше.
Без детектирования причины не продуктивно использовать разные популярные методы. Поэтому хочется мерить изменчивость данных не моделями, а всё же отдельно взятыми предикторами с пониманием причины проявления изменения.
Рот закрой
Я понимаю, что с прогнозируемой возможностью у тебя проблемы, но чему тогда ты учишь людей по МО?
Допустим в автомобилестроении есть дороги на которые могут опираться МО и аппаратные средства, а на рынках за 0 баром чистая дорога на все стороны горизонта.
Если ТЫ думаешь сузить или расширить участок собачьего хвоста, то это даст тебе преимущество. Отнюдь.
Без детектирования причины не продуктивно использовать разные популярные методы. Поэтому хочется мерить изменчивость данных не моделями, а всё же отдельно взятыми предикторами с пониманием причины проявления изменения.
Без детектирования причины не продуктивно использовать разные популярные методы. Поэтому хочется мерить изменчивость данных не моделями, а всё же отдельно взятыми предикторами с пониманием причины проявления изменения.
Детектор важно правильно использовать. Это и есть основа движения.
П.с.
Детектором могут служить разные факторы, не обязательно технического характера но и в совокупности с ФА, новостей, слухов и др.
Кому интересно подскажу в нужный момент конечно же бесплатно.))
Если какой-то пользователь не согласен с какой-то обсуждаемой теорией (или тематикой/спецификой ветки), и если это несогласие - на более чам один/три поста, то настоятельно рекомендую делать следующее:
Я понимаю, что сделать неколько постов в очень популярной и раскрученной ветке - это легче, чем создать свою с нуля и сделать её популярной.
Но это единственный путь развивать тут разные аспекты, не "соприкасаясь друг с другом".
--------------------
Для информации.