Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3626

[Удален]
Forester #:


Но результат, как у всех... в итоге с февраля вообще другими делами занимаюсь. Никак не появится время для МО (.

А вы за какой период тестируете? обучаете за неск. лет, полгода форвард. От одного до нескольких месяцев что-то там наторговывает на реале.

Без сверхприбылей, понятно )

[Удален]

В целом альфы настолько мало, что даже если обучать одну и ту же модель на тех же данных, то она то дает на форварде, то почти не дает. От генератора случайных чисел :)

Надо выбирать которая дает )

Forester #:

Стандартные методы думаю разработаны и протестированы на признаках с сильным влиянием на целевую. С них мало толка в нашей сфере.

Пришел к бртфорсу, но не полному.

Обучаю модели на 1 признаке (если 1000 признаков - значит 1000 обучений), беру лучший по балансу, просадке и т.д. (можно прямо на кросс-валидации измерять, я на валкинг-форварде делал - т.е. тест на склейке ООС кусков).
Затем к лучшему добавляю еще 1 и 999 обучений, потом к паре лучших еще один и т.д.
Примерно после 5-10 выбранных признаков результаты модели на ООС начинают ухудшаться. До 10 признаков время такого брутфорса приемлемое.

На первый взгляд описан стандартный forward selection, имеющийся на выложенном мною рисунке.
Maxim Dmitrievsky #:

А вы за какой период тестируете? обучаете за неск. лет, полгода форвард. От одного до нескольких месяцев что-то там наторговывает на реале.

Без сверхприбылей, понятно )

Где то год назад и график скидывал.
Куски обучения валкинг-форварда разного размера пробовал, остановился на 1-2 месяца. Около 300 обучений за 5 лет.
100-200% прибыли на ООС за 5 лет, но с 2 большими просадками до 2 лет.
Такое неинтересно. 100% могу за день накликать вручную по мартину, если день флетовым окажется. И потом слить на тренде)))
А тут 5 лет за те же 100%, а за следующие 5 лет тоже можно слить, если что-то фундаментальное сместится... 2 дня и 10 лет с ожиданием примерно одинакового результата. Что лучше? Ничего.
[Удален]
Forester #:
Где то год назад и график скидывал.
Куски обучения валкинг-форварда разного размера пробовал, остановился на 1-2 месяца. Около 300 обучений за 5 лет.
100-200% прибыли на ООС за 5 лет, но с 2 большими просадками до 2 лет.
Такое неинтересно. 100% могу за день накликать вручную по мартину, если день флетовым окажется. И потом слить на тренде)))
А тут 5 лет за те же 100%, а за следующие 5 лет тоже можно слить, если что-то фундаментальное сместится... 2 дня и 10 лет с ожиданием примерно одинакового результата. Что лучше? Ничего.

Да какие 5 лет, 5 месяцев максимум форвард )) подготовить так, чтобы форвард меньше, но сделок побольше

Maxim Dmitrievsky #:

Да какие 5 лет, 5 месяцев максимум форвард )) подготовить так, чтобы форвард меньше, но сделок побольше

Форвард не 1, а около 300 склеенных. Валкинг-форвард метод. Как в реале будет: обучился, поторговал месяц, еще обучился и еще месяц торговли и т.д.

[Удален]
Forester #:

Форвард не 1, а около 300 склеенных. Валкинг-форвард метод.

да от лукавого тоже

Если по красоте да по теории, то конечно. Но не на ФХ.
СанСаныч Фоменко #:

Про ФА не знаю, не пытался использовать.

А про другие признаки могу утверждать, что в картинке перечислены второстепенные метода, а главные не указаны - это вычисление "связи", "влияния" признака на целевую переменную. 

Об этом писал много раз много лет приводил ряд пакетов, которые позволяют вычислять такие "связи". 


PS. "Связь", "влияние" - это НЕ корреляция и не важность признаков, которые выдают алгоритмы машинного обучения.

Судя по моим обрывочным воспоминаниям, ваш подход можно отнести к разделу Filters с выложенного мной рисунка. Там не только корреляция есть. И нет привязки к какой-то модели МО. Наверняка ещё не все конкретные методы приведены (для краткости).

[Удален]

С форвардом 5 лет (чистым) мало нормального находит на часовках, вроде такого

Сделок мало, потому что фильтры убирают все слабые паттерны, остаются наиболее сильные.


Aleksey Nikolayev #:

Нет, классические макроэкономические модели в духе BEER (упоминал в своей ветке про ФА) - влияние ФА на больших (у меня месячных) таймфреймах.

Незнаком с такой моделью.

Aleksey Nikolayev #:

Трендов там особых быть не должно, поскольку данные в основном потоковые (за период), а не накопительные. В смысле нормировки данных полагался на таковые встроенные в модели R - обычно там они по умолчанию.

1. Тенденция всегда важна, пять раз подряд прирост показателя или это первый раз - важно для рынка, я так думаю.

2. Я скорей говорил о том, что сопоставлять данные 10 летней давности без обработки не совсем корректно, к примеру тот же ВВП или иной показатель в валюте, так как надо учитывать инфляцию. Или те же заявки по безработице - надо учитывать общее число рабочего населения.

Aleksey Nikolayev #:

Прежде всего первое, конечно, чтобы количество признаков (более 400 для EURUSD исходно) стало меньше числа месяцев (чуть больше 200).

Многовато 400 - даже не знаю, что там так много... предположу, что много показателей по тем же странам, входящим в ЕС и дробление по территориям США (по банкам, входящим в ФРС - предположение). Если данные в одно время выходят, то их можно резать по идеи, так как они состав одного целого. Либо обобщать всё и выделять отдельным предиктором, что мол есть сильное расхождение в динамике.

Aleksey Nikolayev #:

Интересуют легко воспроизводимые способы с использованием стандартных пакетов. Главное, конечно, чтобы кроссвалидация показывала достаточную значимость оставшихся признаков - как правило, проблема именно с этим.

Можно от обратного - разбить весь интервал обучения на части, допустим 10 и на каждой построить модель и уже оценить значимость предикторов в этой модели. Сделать ранжирование и выявить десяток лучших. Или сколько то... так же описывал такой метод ранее тут, вполне рабочим тогда показался.

Ещё я делал так, объединял по группам предикторы, допустим по TF, принципу построения, базовому индикатору и так далее и уже перебирал эти группы. Если группа значима, то искал в ней именно значимые предикторы полным перебором. Добавлял, убирал... похоже на генетику, но делал в полу автоматическом режиме. Действенно, но затратно по времени. Сейчас можно было бы сделать на питоне.


Aleksey Nikolayev #:

Например, всегда можно сделать линейную регрессию и потом отобрать несколько значимых для неё признаков. Но если это повторять многократно, в процессе кроссвалидации, то каждый раз значимыми оказываются разные признаки и в итоге может получиться 0 значимых признаков.

Да я думаю в целом, это нормальная ситуация, что значимыми в разный момент времени будут разные признаки. Как бы состояние экономики разное в момент времени, разные ожидания...

Поэтому и писал, что нужно фундаментальное понимание, в каком положении страна, что хочет её ЦБ, что может сделать и что делает. Получается ли желаемое...

Aleksey Nikolayev #:

Имхо, увидеть хотя бы минимальную значимость в кроссвалидации - это и означает разобраться прежде всего. Проблема в отсутствии постоянной чёткой реакции рынка на макроэкономический фон и/или его изменения. Не то что бы это большая новость - например, в стартовом сообщении моей ветки по ФА есть ссылки по этой теме. 

Не думаю, что через горстку цифр удастся понять суть. Возможно, модели не хватает и политических данных, общих новостей про войны и иное...