Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3408

[Удален]  
Aleksey Vyazmikin #:

Суть в том, что нейросеть лучше убирает шумы, а прибыльные входы часто в условных выбросах предикторов. Поэтому деревянные модели могут быть лучше в ловле блох.

Сложно не согласится.


У них целевые для регрессии получается? Пока в код не вникал.

Если там бинарная целевая, то я мог бы протестировать на их данных свой метод отбора предикторов. Но, я так понимаю, они хотят код вместе с этапом обучения, и просто указать какие предикторы надо выкинуть - им не интересно?

Кстати, питон очень тяжко работает с большими датасетами - даже прочесть csv файл из коробки не мог с выборкой моей, пока я принудительно не указал, что бы использовал тип данных int8, и то размещает в памяти широко слишком. MQL5  работает куда лучше с памятью в этом плане.

Как их API скачать?

Бинарная целевая, но разбитая на несколько страт, поэтому регрессия

у них там не оптимизировано ниче, долго считает. Большие данные логично в нампае открывать, а не в пандОсе

заливается финальная модель на сайт и все, на сайте все написано. Смысла не вижу, потому что на свои деньги там торгуешь. Ну премию дадут за хорошую модель и все. Доходности небольшие.

 
Maxim Dmitrievsky #:

Бинарная целевая, но разбитая на несколько страт, поэтому регрессия

А можете выборку выложить для обучения и теста их? Что бы не замарачиваться мне с их API и регистрацией?

Maxim Dmitrievsky #:
Большие данные логично в нампае открывать, а не в пандОсе

Да, видимо быстрей будет, но не понятно какой тип данных будет и если в csv колонки с датой и временем или текстом, то вероятно будет ошибка.

Я сейчас открываю csv и сохраняю в формат feather - эта штука очень быстро открывает данные и поддерживает разные типы. Дальше читаю только этот формат.

Maxim Dmitrievsky #:
Смысла не вижу, потому что на свои деньги там торгуешь. Ну премию дадут за хорошую модель и все. Доходности небольшие.

Ну, как беньчмарк для понимания, на сколько отстаешь от лидеров...

Кстати, там не видели статистику по сменяемости лидеров на разных эрах?

 

Удивительно, как совпадает ход моих мыслей с этим видео


Вторая часть


 
Aleksey Vyazmikin #:

Удивительно, как совпадает ход моих мыслей с этим видео


Вторая часть


вы искренне считаете, что кто-то будет смотреть два часовых видео, без хотя-бы краткого дайджеста "об чём оно" ?

[Удален]  
Aleksey Vyazmikin #:

А можете выборку выложить для обучения и теста их? Что бы не замарачиваться мне с их API и регистрацией?

Да, видимо быстрей будет, но не понятно какой тип данных будет и если в csv колонки с датой и временем или текстом, то вероятно будет ошибка.

Я сейчас открываю csv и сохраняю в формат feather - эта штука очень быстро открывает данные и поддерживает разные типы. Дальше читаю только этот формат.

Ну, как беньчмарк для понимания, на сколько отстаешь от лидеров...

Кстати, там не видели статистику по сменяемости лидеров на разных эрах?

в блокноте все есть, без смс и регистаций

 
Maxim Kuznetsov #:

вы искренне считаете, что кто-то будет смотреть два часовых видео, без хотя-бы краткого дайджеста "об чём оно" ?

Кому любопытно - будет.

Видео о попытке из листьев, после построения модели градиентного бустинга, вытащить дополнительную информацию, улучшить разными способами модель. Правда на середине второй части наши дороги с автором видео разошлись.

[Удален]  
Aleksey Vyazmikin #:

Кому любопытно - будет.

Видео о попытке из листьев, после построения модели градиентного бустинга, вытащить дополнительную информацию, улучшить разными способами модель. Правда на середине второй части наши дороги с автором видео разошлись.

Обычно не приводит к новым знаниям, но как метод корректировки можно юзать. В каких-то неизвестных пределах. Иногда вообще ничего не дает.

 
Maxim Dmitrievsky #:

Обычно не приводит к новым знаниям, но как метод корректировки можно юзать. В каких-то неизвестных пределах. Иногда вообще ничего не дает.

Моё виденье тут такое, выборка - конструктор типа Lego - там набор разных деталек, модель - попытка без инструкции собрать чего то интересное из этих деталек - написать свою инструкцию. Так вот, листья тут будут в роли укрупнённых составляющих - несколько блоков удачно слепленных, как задумывал производитель конструктора изначально, к примеру собрана фигурка человечка удачна, пусть и с дефектами. Таких вот удачных конструкций - процентов 10 в модели получается - всё остальное - шальное воображение, не имеющее ничего общего с изначальной инструкцией.

Так вот, собирая такие полу дефективные листья от разных моделей, можно больше собрать удачных блоков, которые сложены в соответствии с инструкцией.

Повторное обучение на этих листьев - это задача раздачи "деталек" на все модельки так, что бы обеспечить разнообразие, но устранить похожесть.

В итоге должны получить больше элементов от изначальной задумки производителя конструктора. Понятно, что конструктор часто достаётся с отсутствующими деталями и идеальную модель не собрать, но что уж тут поделать.

Так что из одной модели больше информации сложно вытащить, а вот из сотни - можно попробовать.

Что касается видео, то их идея уменьшения веса листьев - ну она не будет нормально работать... там нужно делать какую то хитрую калибровку веса листа делать - мне это не удаётся пока. По листьям строить новую модель бустинга - пока самый оптимальный вариант, что я протестировал. В идеале там бы нейронку на один скрытый слой попробовать - но я не уверен, что это быстро будет считаться.

 

Нейросеть на пайтен на библиотеке tensorflow на Google машинке на выходе eur=usd API mt4 mt5? 

Немного начал

 
Yuriy Vasilyev #:

Нейросеть на пайтен на библиотеке tensorflow на Google машинке на выходе eur=usd API mt4 mt5? 


Вас сложно понять - чего изволите?