Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2607

Новый комментарий
 
Maxim Dmitrievsky #:

Есть такая постановка вопроса:

Используются 2 модели. Одна прогнозирует купить или продать, другая торговать или нет. 

Сначала обучается первая, затем смотрим где она плохо предсказывает, размечаем эти примеры как "не торговать", остальные хорошие как "торговать", обучаем этому вторую модель.

Первая модель проверяется не только на обучающем участке, но и дополнительном, а вторая обучается на обоих участках.

Повторяем это несколько раз, переобучая обе модели на том же датасете. Результаты постепенно улучшаются на выборках. Но на контрольной выборке не всегда.

Параллельно этому ведется журнал плохих сделок кумулятивный по всем проходам, все "плохие" сделки для "не торговать" собираются в нем для обучения второй модели и фильтруются по некоторому принципу, типа чем больше копий плохих сделок за все проходы, тем больше шанс разметить их как "не торговать"

Например, по каждой дате за все итерации обучений накоплено некоторое количество плохих сделок, где это количество превышает порог (mean, среднее), те сделки размечтаются как "не торговать". Остальные пропускаются, иначе так можно было бы исключить все сделки, если итераций обучения много.

коэффициент позволяет отрегулировать количество сделок на выходе, чем он ниже тем больше сделок фильтруется

... к этому моменту я уже устал писать ...

Как можно улучшить такую комбинацию моделей, чтобы она улучшала результаты свои на новом независимом участке?
Есть ли какая-то философия почему это может работать? Кроме той, что модели естественным образом улучшают друг друга (падают ошибки) на каждом круге переобучения, но как избавиться от подгонки?

Иллюстрация. График разбит на 3 части. На последнем обучается первая модель, на предпоследней и последней вторая, первая треть это экзаменационная выборка. Естественным образом последний участок будет самым лучшим, а первая треть самой плохой. 

Здесь было 15 итераций переобучения обеих моделей, с использованием журнала плохих сделок.

Честно говоря, схема в целом выглядит весьма изощрённой и вряд ли человек со стороны сможет сказать что-либо осмысленное.

1) Возникает некая ассоциация с бустингом, когда каждая следующая модель пытается улучшить ошибку предыдущих.

2) Мне ближе подход, когда не пытаемся получить одну сложную модель на все случаи жизни, а делаем несколько простых, которые работают по принципу торгуем/не торгуем. Можно сделать две: "покупка" и "продажа". Можно сделать четыре: "покупка после движения вверх",  "покупка после движения вниз", "продажа после движения вниз", "продажа после движения вверх". Можно, наверное, придумать и больше вариантов) Потом их можно как-то объединить - здесь тоже возможны варианты для всяческого творчества)

 
Aleksey Nikolayev #:

Выделенное жёлтым - практически идеальное описание результатов торговли по выявленным на истории закономерностям) Вовсе не обязательно, что всё сразу же поломается, но почти всегда "сейчас уже не так")

Время открытия перенесли. И этот факт был известен заранее.
 
Aleksey Nikolayev #:

Выделенное жёлтым - практически идеальное описание результатов торговли по выявленным на истории закономерностям) Вовсе не обязательно, что всё сразу же поломается, но почти всегда "сейчас уже не так")

Мне стала казаться, что мы понемногу скатываемся в софистику. Невозможно утверждать, что существуют "вечные" закономерности (в конце концов и Солнце погаснет с вероятность 1). Речь идет о том, что существуют закономерности, время существование которых достаточно, чтобы их можно было бы поэксплуатировать в свою пользу. И время их "жизни" обычно прямо пропорционально сложности майнинга или технологической сложности эксплуатации (например, ХФТ). Опыт показывает, что при некотором усердии вполне можно рассчитывать на срок в несколько/много месяцев.

 
Доктор #:

Мне стала казаться, что мы понемногу скатываемся в софистику. Невозможно утверждать, что существуют "вечные" закономерности (в конце концов и Солнце погаснет с вероятность 1). Речь идет о том, что существуют закономерности, время существование которых достаточно, чтобы их можно было бы поэксплуатировать в свою пользу. И время их "жизни" обычно прямо пропорционально сложности майнинга или технологической сложности эксплуатации (например, ХФТ). Опыт показывает, что при некотором усердии вполне можно рассчитывать на срок в несколько/много месяцев.

трудно не согласиться

я бы тоже хотел написать прогу для биржи, которая будет отрабатывать некий алгоритм перед клирингом

но похоже что я уже писать устал

 
Aleksey Nikolayev #:

Выделенное жёлтым - практически идеальное описание результатов торговли по выявленным на истории закономерностям) Вовсе не обязательно, что всё сразу же поломается, но почти всегда "сейчас уже не так")

Если вам не нравится предыдущий пример, то в узких кругах широко известен торговый алгоритм, основанный на том, что каждый день наступает день, за ним вечер, утро, и опять снова.
Но если планета Земля изменит алгоритм своего вращения, то и этот торговый алгоритм придется корректировать)
 
Доктор #:

Мне стала казаться, что мы понемногу скатываемся в софистику. Невозможно утверждать, что существуют "вечные" закономерности (в конце концов и Солнце погаснет с вероятность 1). Речь идет о том, что существуют закономерности, время существование которых достаточно, чтобы их можно было бы поэксплуатировать в свою пользу. И время их "жизни" обычно прямо пропорционально сложности майнинга или технологической сложности эксплуатации (например, ХФТ). Опыт показывает, что при некотором усердии вполне можно рассчитывать на срок в несколько/много месяцев.

Собственно, надежда на нечто подобное нас всех здесь и объединяет. Просто хочется чтобы эта надежда не искажала восприятие реальности.

Надежда — хороший завтрак, но плохой ужин)

 
Aleksey Nikolayev #:

Выделенное жёлтым - практически идеальное описание результатов торговли по выявленным на истории закономерностям) Вовсе не обязательно, что всё сразу же поломается, но почти всегда "сейчас уже не так")

Можно и по-другому сформулировать. Используя МО, стабильности вы точно не получите. Поскольку для эксплуатации рыночных процессов, их нужно знать.
Т.е. отталкиваться от изучения устройства рынка, а не от курвафитинга.
 
secret #:
Если вам не нравится предыдущий пример, то в узких кругах широко известен торговый алгоритм, основанный на том, что каждый день наступает день, за ним вечер, утро, и опять снова.
Но если планета Земля изменит алгоритм своего вращения, то и этот торговый алгоритм придется корректировать)

Говорят, весной и осенью прибыльность и капиталоёмкость данного алгоритма существенно обостряются)

 
secret #:
Можно и по-другому сформулировать. Используя МО, стабильности вы точно не получите. Поскольку для эксплуатации рыночных процессов, их нужно знать.
Т.е. отталкиваться от изучения устройства рынка, а не от курвафитинга.

Я уже в курсе вашего ценного мнения, что надо постоянно практико-практически практиковать практико-практическую практику. Но если вдруг захотите добавить что-нибудь содержательное и осмысленное, то не сдерживайте себя.

 
Aleksey Nikolayev #:

Говорят, весной и осенью прибыльность и капиталоёмкость данного алгоритма существенно обостряются)

При всем уважении, складывается впечатление, что ваша цель на рынке - не заработать, а речевые навыки прокачать)
1...260026012602260326042605260626072608260926102611261226132614...3495
Новый комментарий
Причина обращения: