Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2689

[Vladimir Perervenko]

Maxim Dmitrievsky #:
И так очередная, казалось бы позитивная тема, свелась к обсуждению проблем стRаждущих 😆 А например те же криптобиржи не дают Rапи, только питон? А я писал несколько лет, что Р никому не нужен 

Ну что ты несешь. Криптобиржи(конкретно Бинансе) предоставляет АПИ РЕСТ и сокеты. В Питоне и Р пишутся библиотеки которые используют эти АПИ. В Р это библиотека binance в Питоне ... под рукой нет.

По поводу никому ненужной R,не нужно расписываться за всех. Говори за себе. 

По поводу библиотек для R. последняя R64.dll универсальная как для мт4 таи для мт5. Р отлично интегрирована с мт4/5. Бесшовно с Питоном и неплохо с Julia.

Ренат правильно разделил разработчиков грубо на две группы: работающих на продажу (маркет, фриланс) и исследователей разрабатывающих для себя. И запросы и интересы у них очень разные. Поэтому нет смысла спорить о вечном - какой Яп лучше. Лучше тот который позволяет Вам решить ваши задачи для Ваших целей быстро и эффективно.  

Но переписывать модели на МКЛ - это не серьезно. Если будет onxx - хорошо, но не все фреймворки его поддерживают. Это неясное будущее.

 Одно ясно - разработчики хотят объять необъятное. Стремление похвальное. Не нужно критиковать. Может что то и получиться. Пожелаем им удачи.

[Maxim Dmitrievsky]

Vladimir Perervenko #:

Но переписывать модели на МКЛ - это не серьезно. Если будет onxx - хорошо, но не все фреймворки его поддерживают. Это неясное будущее.

 Одно ясно - разработчики хотят объять необъятное. Стремление похвальное. Не нужно критиковать. Может что то и получиться. Пожелаем им удачи.

В смысле несерьёзно? 3-х этажные нейросети конечно, но их и использовать для временных рядов несерьезно. Простые обученные модели относительно легко переносятся. Циклы и массивы весов/сплитов

Нагородить огород на одном языке, потом подключиться к терминалу - вот это несерьезно (поймут только те, кто писал ботов под метак, а не гипотетики). Потому что всегда требуется тонкая подстройка в т.ч. через оптимизатор и в т.ч. под разные торговые условия. Но любителям строить вавилонские башни из слоев это невдомек :)

[Vladimir Perervenko]

Maxim Dmitrievsky #:
В смысле несерьёзно? 3-х этажные нейросети конечно, но их и использовать для временных рядов несерьезно. Простые обученные модели легко переносятся

Конечно нужно уточнить. Для простых моделей типа логистической регрессии, деревяные модели и т.п. это наверное и возможно. Но я говорю о серьезных моделях как для ТС и так и для табличных данных. Эти два направления сейчас сильно разделились и специализировались. Для табличных данных, которые в основном используются в машинном обучении,   очень перспективна TabNet (бумага, реализации (py) 1, 2, 3). И море других пакетов дающих отличные результаты. Вот перечень того, что я исследовал и частично использую.

conda environments:
#
base                  *  C:\Users\User\AppData\Local\R-MINI~1
PressPurtEnv             C:\Users\User\AppData\Local\R-MINI~1\envs\PressPurtEnv
aif360                   C:\Users\User\AppData\Local\R-MINI~1\envs\aif360
autogluon                C:\Users\User\AppData\Local\R-MINI~1\envs\autogluon
autokeras                C:\Users\User\AppData\Local\R-MINI~1\envs\autokeras
autopt                   C:\Users\User\AppData\Local\R-MINI~1\envs\autopt
darts                    C:\Users\User\AppData\Local\R-MINI~1\envs\darts
deap                     C:\Users\User\AppData\Local\R-MINI~1\envs\deap
deepxf                   C:\Users\User\AppData\Local\R-MINI~1\envs\deepxf
evalml                   C:\Users\User\AppData\Local\R-MINI~1\envs\evalml
fastai                   C:\Users\User\AppData\Local\R-MINI~1\envs\fastai
fedot                    C:\Users\User\AppData\Local\R-MINI~1\envs\fedot
flash                    C:\Users\User\AppData\Local\R-MINI~1\envs\flash
gluon                    C:\Users\User\AppData\Local\R-MINI~1\envs\gluon
ludwig                   C:\Users\User\AppData\Local\R-MINI~1\envs\ludwig
mindsdb                  C:\Users\User\AppData\Local\R-MINI~1\envs\mindsdb
mlbox                    C:\Users\User\AppData\Local\R-MINI~1\envs\mlbox
mlr3keras                C:\Users\User\AppData\Local\R-MINI~1\envs\mlr3keras
mlsauce                  C:\Users\User\AppData\Local\R-MINI~1\envs\mlsauce
nni                      C:\Users\User\AppData\Local\R-MINI~1\envs\nni
poutyne                  C:\Users\User\AppData\Local\R-MINI~1\envs\poutyne
pycaret                  C:\Users\User\AppData\Local\R-MINI~1\envs\pycaret
pycaret-ts               C:\Users\User\AppData\Local\R-MINI~1\envs\pycaret-ts
pymc_env                 C:\Users\User\AppData\Local\R-MINI~1\envs\pymc_env
r-gluonts                C:\Users\User\AppData\Local\R-MINI~1\envs\r-gluonts
r-gluonts1               C:\Users\User\AppData\Local\R-MINI~1\envs\r-gluonts1
r-reticulate             C:\Users\User\AppData\Local\R-MINI~1\envs\r-reticulate
r-torch                  C:\Users\User\AppData\Local\R-MINI~1\envs\r-torch
reservoir                C:\Users\User\AppData\Local\R-MINI~1\envs\reservoir
skorch                   C:\Users\User\AppData\Local\R-MINI~1\envs\skorch
sktime-dl                C:\Users\User\AppData\Local\R-MINI~1\envs\sktime-dl
terchmeta                C:\Users\User\AppData\Local\R-MINI~1\envs\terchmeta

не все используемы в основном из за ограничений мощностей машины и личных предпочтений. Для меня обучение и оптимизация больше часа не интересна.

Вот эти модели не думаю, что можно будет переложить на МКЛ. И тут без создания инфраструктуры для увязки МКЛ<->Питон не обойтись.

Это я немного ушел в сторону, но тема для меня важная.

Основная мысль, повторю: у каждого разработчика будь он фрилансер, торговец в маркете или торговец форекс/крипта/акции есть свой "любимый" ЯП и свои "любимые" велосипеды с костылями к нему. Нужно делиться опытом использования а не спорить, что лучше. И тем более не ванговать о будущем ЯП.

И не надо принимать замечание как личную обиду. Не в детском садике как бы.

Всем Удачи.

[Maxim Dmitrievsky]

Vladimir Perervenko #:

Конечно нужно уточнить. Для простых моделей типа логистической регрессии, деревяные модели и т.п. это наверное и возможно. Но я говорю о серьезных моделях как для ТС и так и для табличных данных. Эти два направления сейчас сильно разделились и специализировались. Для табличных данных, которые в основном используются в машинном обучении,   очень перспективна TabNet (бумага, реализации (py) 1, 2, 3). И море других пакетов дающих отличные результаты. Вот перечень того, что я исследовал и частично использую.

не все используемы в основном из за ограничений мощностей машины и личных предпочтений. Для меня обучение и оптимизация больше часа не интересна.

Вот эти модели не думаю, что можно будет переложить на МКЛ. И тут без создания инфраструктуры для увязки МКЛ<->Питон не обойтись.

Это я немного ушел в сторону, но тема для меня важная.

Основная мысль, повторю: у каждого разработчика будь он фрилансер, торговец в маркете или торговец форекс/крипта/акции есть свой "любимый" ЯП и свои "любимые" велосипеды с костылями к нему. Нужно делиться опытом использования а не спорить, что лучше. И тем более не ванговать о будущем ЯП.

Всем Удачи.

Табличные данные != временным рядам в виде таблиц, это все-таки разные вещи

Не в обиде дело, а в опыте написания разных ТС. Иногда смешно читать, когда к одному графику котировок прикладывается сеть в 500 слоев 

[Vladimir Perervenko]

Maxim Dmitrievsky #:
Табличные данные != временным рядам в виде таблиц, это все-таки разные вещи

Не в обиде дело, а в опыте написания разных ТС. Иногда смешно читать, когда к одному графику котировок прикладывается сеть в 500 слоев 

Конечно табличные данные и тайм серии суть разные вещи.

И с этим не поспоришь.

Особенно умиляют серии статей типа нейросеть это просто. Как пример программирования на МКЛ - хорошо, но для практики - ноль. Ну это уже ворчание.

Удачи всем

[Maxim Dmitrievsky]

Vladimir Perervenko #:

Конечно табличные данные и тайм серии суть разные вещи.

И с этим не поспоришь.

Особенно умиляют серии статей типа нейросеть это просто. Как пример программирования на МКЛ - хорошо, но для практики - ноль. Ну это уже ворчание.

Удачи всем

Почитайте, если еще не видели

есть рейтинг классификаторов

https://www.timeseriesclassification.com

насколько помню, нейросети в топ не входили

[Maxim Dmitrievsky]

ТабНет сильно зависит от датасета и выбранных фичей

Иногда почти нет разницы с другими классификаторами

Поэтому хотелось бы больше конкретики, когда толкаете применять что-то. Настолько ли превосходит этот классификатор.

https://arxiv.org/pdf/1908.07442.pdf

Я пробовал подобные архитектуры для синтеза новых данных. Все нейросети оказались хуже чем GMM на Форекс временных рядах (менее правдоподобно). Тогда как на простых табличных данных они работали хорошо. Не помню был ли там Табнет.

Потому написал уточнение, что табличные данные != временные ряды в виде таблиц, результаты будут хуже.

[mytarmailS]

Vladimir Perervenko #:

Ну что ты несешь. Криптобиржи(конкретно Бинансе) предоставляет... 

Думал тоже ткнуть носом в библы но подумал и стало жалко времени..

Тяжело питонщику когда все пишут на R в ветке)) 

 ой,  как же так?  Питон же в топе,  как так?)))  разве не топ решает что лучше? 

[Maxim Dmitrievsky]

mytarmailS #:
Думал тоже ткнуть носом в библы но подумал и стало жалко времени..

Тяжело питонщику когда все пишут на R в ветке)) 

 ой,  как же так?  Питон же в топе,  как так?)))  разве не топ решает что лучше? 

Там нет SDK, только левые библы. Официальные апи только для Явы и питона. Все мимо опять.

Что вы там пишете? Хотя бы одно решение покажите. Писуны. Вот и тыкайтесь носом сами в то, что пишете.

Где хотя бы одно нормальное интегрированное решение? Которое можно использовать без слез боли и умиления 😀

Алексей сделал нормальное решение с катбустом, терминальная версия. Я предложил аналог через питон. Все работает в терминале.

Есть такое же для LGBM

ЗЫ мои решения используются в маркете разрабами, что как бы намекает что они интегрируются. Причём в 2 клика.

Когда иронизируете, посмотрите сначала что сами сделали.. а по факту ничего, повертели пакетики в R

Кидать друг в друга пакетами можно и на другом форуме, полагаю, ничего не изменится в плане развития МО в трейдинге.

[Aleksey Nikolayev]

При использовании R продукт получается настолько крутой, что его просто жалко продавать 😁

Совершенно согласен с тем, что конечный продукт (для мт5) должен состоять из ex5 файла без всяких интеграций и (желательно) без дополнительных файлов. История его получения не так уж и важна - главное чтоб работал (или продавался).