Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2283

[Renat Fatkhullin]

Rorschach:

Может есть смысл сделать нативную поддержку ZeroMQ?

Практического смысла нет.

Методов коммуникации и передачи данных достаточно:

• пайпы
• файлы
• вебреквесты
• сырые сокеты, включая TLS
  
• DLL
  

У нас другая специализация - считать массивные/разнообразные данные и максимум работы делать внутри тестера. Тут любой выход за пределы убивает все.

На текущий момент для нас интеграция с Питоном - это кусочное решение для охвата экосистемы ML разработчиков.

Мы постоянно апгрейдим MQL5:

• избавились от наследия 32 бит
• заменили профайлер и отладчик, еще лучше сделаем
• добавим максимально быстрые матричные/векторные операции, чтобы тяжелые расчеты можно было делать без библиотек
  
• запустим MQL5 модули/пакеты на основе опенсорсных C/C++ библиотек
  
• добавим еще нативные интеграции, как мы сделали с OpenCL, DirectX, SQLite

Мало сделать ML модель на стороне. Надо эту модель нативно, безопасно и защищенно загрузить в робота, чтобы его можно было:

• прогнать в тестере
• запустить в терминале
• продать в маркете, не потеряв интеллектуальную собственность
  

Поэтому мы шаг за шагом увеличиваем возможности MQL5. Планируем использовать WinML + ONNX для загрузки моделей и родной отработки внутри платформы без единой сторонней привязки.

[Rorschach]

Renat Fatkhullin:

Практического смысла нет.

Методов коммуникации и передачи данных достаточно:

• пайпы
• файлы
• вебреквесты
• сырые сокеты, включая TLS
  
• DLL
  

У нас другая специализация - считать массивные/разнообразные данные и максимум работы делать внутри тестера. Тут любой выход за пределы убивает все.

На текущий момент для нас интеграция с Питоном - это кусочное решение для охвата экосистемы ML разработчиков.

Мы постоянно апгрейдим MQL5:

• избавились от наследия 32 бит
• заменили профайлер и отладчик, еще лучше сделаем
• добавим максимально быстрые матричные/векторные операции, чтобы тяжелые расчеты можно было делать без библиотек
  
• запустим MQL5 модули/пакеты на основе опенсорсных C/C++ библиотек
  
• добавим еще нативные интеграции, как мы сделали с OpenCL, DirectX, SQLite

Мало сделать ML модель на стороне. Надо эту модель нативно, безопасно и защищенно загрузить в робота, чтобы его можно было:

• прогнать в тестере
• запустить в терминале
• продать в маркете, не потеряв интеллектуальную собственность
  

Поэтому мы шаг за шагом увеличиваем возможности MQL5. Планируем использовать WinML + ONNX для загрузки моделей и родной отработки внутри платформы без единой сторонней привязки.

Спасибо за развернутый ответ

[Jonathan Pereira]

Renat Fatkhullin:
Можете поделиться информацией:

1) Используете ли питон библиотеку МТ5?

2) Используете снаружи или внутри МТ5

3) Каких функций в библиотеке не достает? Доступа к индикаторам?

Мы готовим апгрейд MQL5 с добавлением быстрых матричных операций. Это позволит штатно проводить массивные вычисления.

Далее будем развивать коннекторы к аналитическим пакетам и вводить штатную интеграцию WinML.

Было бы интересно иметь доступ к данным в книге заказов.

[Aleksey Vyazmikin]

Renat Fatkhullin:
Можете поделиться информацией:

1) Используете ли питон библиотеку МТ5?

2) Используете снаружи или внутри МТ5

3) Каких функций в библиотеке не достает? Доступа к индикаторам?

Мы готовим апгрейд MQL5 с добавлением быстрых матричных операций. Это позволит штатно проводить массивные вычисления.

Далее будем развивать коннекторы к аналитическим пакетам и вводить штатную интеграцию WinML.

Сделайте, пожалуйста, режим синхронизации OHLC корректным, что б хотя бы со стандартными индикаторами не было глюков при запросе данных с верхних ТФ.

Иначе нет смысла протягивать в питон возможность получения данных из индикаторов, так как обучение на всех тиках самоубийственно.

Ещё раздражает медленная скорость чтения/записи файлов (csv/txt) в MT5.

[Ilnur Khasanov]

Renat Fatkhullin:
Можете поделиться информацией:

1) Используете ли питон библиотеку МТ5?

2) Используете снаружи или внутри МТ5

3) Каких функций в библиотеке не достает? Доступа к индикаторам?

Мы готовим апгрейд MQL5 с добавлением быстрых матричных операций. Это позволит штатно проводить массивные вычисления.

Далее будем развивать коннекторы к аналитическим пакетам и вводить штатную интеграцию WinML.

1) Да
2) Больше снаружи
3) Мне все хватало..

[Evgeny Dyuka]

Renat Fatkhullin:
Мало сделать ML модель на стороне. Надо эту модель нативно, безопасно и защищенно загрузить в робота, чтобы его можно было:

• прогнать в тестере
• запустить в терминале
• продать в маркете, не потеряв интеллектуальную собственность

Уплывает тема ML от вас.
MQL5 использую для сбора данных и потом для подготовки текущих данных для опроса нейросети. Все остальное на питоне.
MQL в этой цепочке только по старой инерции, потому, что с нее начинал, а так все эти вопросы решаются в питоне. Конечно MQL это скорость и наглядность, но при этом:
- костыли с получением данных с криптобирж
- невозможность напрямую взаимодействовать с api кроптобирж для торговли
- невозможность выставить в маркете свой советник без открытия кода (невозможно пройти автоматическую валидацию если есть вебреквест)
- тотальное незнание и неумение среднестатистического клиента пользоваться терминалом MQL (всех пересаживают на браузер)

[Forester]

Aleksey Vyazmikin:

Ещё раздражает медленная скорость чтения/записи файлов (csv/txt) в MT5.

Я стараюсь хранить свои данные в бинарном виде. Но для посторонних данных без CSV не обойтись.

[Evgeny Dyuka]

Renat Fatkhullin:

Вы упустили момент когда года три назад трейдинг массово пошел в народ. И это не только крипта.
Все планы которые вы описали это круто технически, но это гиковские штучки, они не спасут. Что бы запрыгнуть в последний вагон вам надо срочно делать веб версию уровня tradingview, со всем функционалом терминала mql5.
Возмите за основу этот проект и развивайте это направление иначе поезд уйдет, останется у вас полтора гика.

[Evgeny Dyuka]

Renat Fatkhullin:

Сейчас вы предлагаете супер-пупер-дупер новую интеграцию с питоном. Вот я сижу и думаю а нахрена мне в это вникать?
В каком месте это может понадобиться?
Похоже вы теряете чувство рынка и перестаете понимать клиента.

[Forester]

Renat Fatkhullin:

Пожелание к MQ.

В МО большинство используют данные OHLC баров для обучения. Т.е. реальные тики нет смысла гонять, т.к. в разы дольше. Я, к примеру, тестер по ценам открытия использую.

Хотелось бы вместо минимального спреда для Bid баров, иметь вторую свечу c ценами OHLC по Ask.

Так можно было бы не запуская реальные тики оценивать советники по реальным данным.

Например, при High Bid вряд ли Ask был = (Bid - минимальный спред). Спред был другим и может даже в разы больше минимального.

И High Ask, мог быть не в момент High Bid, а когда Bid уже немного понизился.

Вторая свеча по Ask дала бы возможность правильно оценивать торговлю. Например работая с ТП/СЛ или с трейлингом, при учете минимального спреда в свече тестер скажет, что ТП для сделки на покупку сработал. А в реальности Ask была ниже, т.к. спред не был в этот момент минимальным и ТП мог не сработать. Т.е. тестер по ценам открытия и по OHLC будет показывать отличающиеся от реальной торговли результаты.

Да и все не МО советники  (которые работают с ТП/СЛ и трейлингам) тестировались бы правильнее по ценам открытия и по OHLC, если бы были известны  OHLC Ask.