Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2787
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Много несостыковок получается, в т.ч удаление выбросов. Их обычно получается от 10% размера датасета, по разным подсчетам. Удалили и че, а как модель будет торговать, когда выброс попадётся? )
Ничего нельзя делать просто так, после чтения учебников и статей - это отдельный этап и называется учебой. Без систематических знаний статистики нечего делать в МО.
Всегда надо делать, стараясь достичь цель.
Если брать промежуточную цель - максимум предсказательной способности предиктора, то:
1. Удалять выбросы обязательно. Если за выброс считать величины более 0.5% квантиля, то выбросов менее 1%. Между прочим - это процент срабатывающих стопов в будущем. Разрабатываем саму торговую систему, имею цифровые ограничения.
2. Препроцессинг обязателен, но опять смотря какой. Если про предсказательную способность предиктора, то нельзя править скосы, которые увеличивают предсказательную способность. Это как пример. В общем берем некий алгоритм препроцессинга и оцениваем его влияние на предсказательную способность. Здесь ответ.
3. Всегда держать в уме смысл МО, который по моему разумению - поиск неких паттернов. Наиболее очевидно в RF. какое количество паттернов содержится, например в 5000 бар? Или с какой величины окна рост числа паттернов не приводит уменьшению ошибки? Или же для некоего фиксированного окна с какой величины числа паттернов перестанет падать ошибка?
Ответы для RF.
1. Окно не имеет смысла увеличивать свыше 1500 бар.
2. связь ошибки и числа паттернов (деревьев) наглядно видно на графике:
Минимум 50. Вообще от 100 до 200. График не меняется при увеличении окна до 5000.
Всегда надо четко формулировать цель и критерий достижения цели. Все остальное ля-ля.
Ничего нельзя делать просто так, после чтения учебников и статей - это отдельный этап и называется учебой. Без систематических знаний статистики нечего делать в МО.
Всегда надо делать, стараясь достичь цель.
Если брать промежуточную цель - максимум предсказательной способности предиктора, то:
1. Удалять выбросы обязательно. Если за выброс считать величины более 0.5% квантиля, то выбросов менее 1%. Между прочим - это процент срабатывающих стопов в будущем. Разрабатываем саму торговую систему, имею цифровые ограничения.
2. Препроцессинг обязателен, но опять смотря какой. Если про предсказательную способность предиктора, то нельзя править скосы, которые увеличивают предсказательную способность. Это как пример. В общем берем некий алгоритм препроцессинга и оцениваем его влияние на предсказательную способность. Здесь ответ.
3. Всегда держать в уме смысл МО, который по моему разумению - поиск неких паттернов. Наиболее очевидно в RF. какое количество паттернов содержится, например в 5000 бар? Или с какой величины окна рост числа паттернов не приводит уменьшению ошибки? Или же для некоего фиксированного окна с какой величины числа паттернов перестанет падать ошибка?
Ответы для RF.
1. Окно не имеет смысла увеличивать свыше 1500 бар.
2. связь ошибки и числа паттернов (деревьев) наглядно видно на графике:
Минимум 50. Вообще от 100 до 200. График не меняется при увеличении окна до 5000.
Всегда надо четко формулировать цель и критерий достижения цели. Все остальное ля-ля.
Задетектил выбросы через isolation forest, удалил, результат обучения не поменялся. Попробовал обучиться на выбросах - слив. Сложилось впечатление, что модели (катбусту) все равно на выбросы. Как бы они хорошо распознаются через поиск аномалий, но их удаление необязательно.
Выбросы сильно влияют на предсказательную способность, а стабильность предсказательной способности виляет на стабильность ошибки предсказания.
А на саму модель - тут как фишка ляжет, особенно если выборка обучения получена по sample.
Пришла в голову идея локального решающего дерева. Это что-то вроде аналога KNN или локальной регрессии (тоже потенциально подходит при нестационарности). Смысл в том, что разбиваем на боксы только бокс содержащий интересующую точку (до не менее, чем заданное число К точек в нём), а остальными боксами не интересуемся. Затем делаем по аналогии с KNN. Возможно, будет лучше чем KNN или локальная регрессия если границы между классами резкие и точка близка к такой границе.
Интересно, насколько вообще подход имеет смысл.
мне вообще кажется, что вы сравниваете несравнимые вещи - scaling - это scaling (хоть multidimensional если хотите, лишь бы distance устраивал), а filtering-noise - тут и производными можно обойтись (1й и 2й) -- ну или переходите на векторные матрицы совсем на unsupervised manner, вместо доказывания значимости различий классов (labeled) через ковариационные матрицы размеченных данных и дальнейшей эксплуатации подтверждённой значимости для классификации предмета вашего интереса...
гипотезы, господа, гипотезы - это не путь расчётов, а предмет доказывания (или опровержения)...
мне вообще кажется, что вы сравниваете несравнимые вещи - scaling - это scaling (хоть multidimensional если хотите, лишь бы distance устраивал), а filtering-noise - тут и производными можно обойтись (1й и 2й) -- ну или переходите на векторные матрицы совсем на unsupervised manner, вместо доказывания значимости различий классов (labeled) через ковариационные матрицы размеченных данных и дальнейшей эксплуатации подтверждённой значимости для классификации предмета вашего интереса...
гипотезы, господа, гипотезы - это не путь расчётов, а предмет доказывания (или опровержения)...
Ничего не понял, но очень интересно.
Выбросы сильно влияют на предсказательную способность, а стабильность предсказательной способности виляет на стабильность ошибки предсказания.
А на саму модель - тут как фишка ляжет, особенно если выборка обучения получена по sample.
какое значение R2 между вашим методом определения предсказательной способности и feature importance от случайного леса?
Привет всем.
Возник вопрос, реально ли вообще в качестве предиктора использовать хеш?
например такой
LlLCmywDpe8dj_j8t8DWwoMjaIhTLnOedRh6KET7R7k
где цель
1.04
Есть ли смысл как то преобразовать его в число или другой вид?
Привет всем.
Возник вопрос, реально ли вообще в качестве предиктора использовать хеш?
например такой
LlLCmywDpe8dj_j8t8DWwoMjaIhTLnOedRh6KET7R7k
где цель
1.04
Есть ли смысл как то преобразовать его в число или другой вид?
Так это же и есть число в 256-ичной записи (если строка в ANSI-кодировке). Поскольку хэши имеют фиксированную длину, то можно ещё представить в виде векторов из чисел от 0 до 255.
Хотите взломать биткоин?)
Так это же и есть число в 256-ичной записи (если строка в ANSI-кодировке). Поскольку хэши имеют фиксированную длину, то можно ещё представить в виде векторов из чисел от 0 до 255.
Хотите взломать биткоин?)
Блин как же тип string расслабляет, что забываешь про ANSI-кодировку.
Не, не биткоин, онлайн тотализатор :))
какое значение R2 между вашим методом определения предсказательной способности и feature importance от случайного леса?
Объяснял много раз.