Используете ли вы CExpert при создании роботов? - страница 11

 
Vladimir Perervenko:

Для чего создали МКЛ ?. Язык R специально создан для аналитики (самого высокого уровня) в том числе временных рядов. Конечно можно попытаться написать на мкл5 рекурентную или глубокую нейросеть, обучение с подкреплением но нужно ли изобретать велосипед и будет ли он ездить?

Вы совершенно не в курсе реалий.

Что значит "можно попытаться"?

Давно уже есть масса решений, доступные прямо в редакторе(кодобаза) и отличный поисковик по исходникам в библиотеке кода:

  • ALGLIB

    Кросс-платформенная библиотека численного анализа, поддерживающая несколько языков программирования (C++, C#, Pascal, VBA) и несколько операционных систем (Windows, Linux, Solaris). Возможности ALGLIB включают в себя:
    • Линейную алгебру (прямые алгоритмы, EVD, SVD)
    • Решение систем уравнений (линейных и нелинейных)
    • Интерполяцию
    • Оптимизацию
    • FFT
    • Численное интегрирование
    • Линейную и нелинейную аппроксимацию по МНК
    • Решение обыкновенных ДУ
    • Вычисление специальных функций
    • Статистику (описательную статистику и проверку гипотез)
    • Анализ данных - классификацию, регрессию, в т.ч. с использованием нейронных сетей
    • Реализацию алгоритмов линейной алгебры, интерполяции и т.д. в арифметике высокой точности (с использованием MPFR)

  • Statistical Function

    Набор статистических функций, которые позволяют рассчитывать некоторые значения, описывающие таймсерии, такие как корреляция между двумя таймсериями, линейная регрессия, стандартное отклонение и т.д. Набор также включает в себя более сложные функции, такие как определенный интеграл.

  • FuzzyNet - библиотека для работы с нечеткой логикой

  • Класс нейронной сети PNN

    Класс реализует вероятностную нейронную сеть (Probabilistic Neural Network - PNN)

  • Класс нейронной сети GRNN

    Класс реализует обобщенно-регрессионную нейронную сеть (General Regression Neural Network - GRNN)

  • Класс нейронной сети RBF

    Класс реализует нейронную сеть радиально-базисных функций (Radial Basis Function Network - RBFN)

  • Класс нейронной сети MLP

    Класс CNetMLP реализует многослойный персептрон (MLP)

  • isNormalDist

    Проверка на нормальное распределение по критерию Шапиро-Уилка

  • CTradeStatistics

    Класс для расчета показателей из перечисления ENUM_STATISTICS

  • Статистические функции statistics.mqh

    Библиотека содержит набор базовых статистических функций, необходимых для обработки данных пользователя

 
Vladimir Perervenko:

Обижаете.

МКЛ5 не использовал и не вижу в ближнее время. А R очень даже активно использую и это "не сказки". Следите за словами. 

Да, обижаю.

Ибо вы, не зная предмета, откровенно наговариваете и прямо распространяете мифы. Обратите внимание на выделенный символ И в указанном сообщении.

Про "даже активно использую" есть большие сомнения в рамках ранее высказанного подхода "мне лень". При расчетах в R надо такое мужество иметь, борясь с отсутствием удобных рыночных данных с индикаторами, что там ленивых не остается в принципе.

 
Renat Fatkhullin:

В следующем релизе МТ5 будет штатная мат библиотека, аналогичная R прямо в исходниках. Кроме того, штатной становится математическая библиотека Alglib.

Это чтобы не было разговоров "не хватает математического функционала".


Далее мы продолжим развивать стандартные библиотеки и будем включать ряд других методов. Следующим в списке идет система визуализации данных.

Удивили и огорчили одновременно..

Это какие такие "мат библиотеки, аналогичные R" Вы имеете в виду?

Или Вы считаете, что R это набор мат. библиотек?

Даже на знаю, что сказать. Написал бы какой нибудь форумчанин, понятно. Но услышать такое от разработчика...

Понятна некая обида разработчика при сопоставлении его продукта с другими. Но Майкрософт не обижается. Пользователи попросили и они тут же откликнулись и им "не западло" (извиняюсь за выражение) применять в своих продуктах открытый код. Они и свой стали открывать.

Ну это так, эмоции от неожиданности.

Удачи 

 
Vladimir Perervenko:

Удивили и огорчили одновременно..

Это какие такие "мат библиотеки, аналогичные R" Вы имеете в виду?

Или Вы считаете, что R это набор мат. библиотек?

Даже на знаю, что сказать. Написал бы какой нибудь форумчанин, понятно. Но услышать такое от разработчика...

Понятна некая обида разработчика при сопоставлении его продукта с другими. Но Майкрософт не обижается. Пользователи попросили и они тут же откликнулись и им "не западло" (извиняюсь за выражение) применять в своих продуктах открытый код. Они и свой стали открывать.

Ну это так, эмоции от неожиданности.

Удачи 

Покажите, что конкретно вы считаете на R, пожалуйста. Иначе это продолжение "R велик потому что велик".

Забудьте про Микрософт, он тут не при делах вообще.

Речь исключительно про технические возможности в рамках применимости к трейдингу. Ваше "как можно попытаться на MQL5" я уже опроверг выше. Это просто код из публичной библиотеки.

 
Кстати, очень большие проблемы с навороченными нейросетевыми пакетами при попытке использовать их данные в других системах.Стандартная ситуация:
  1. берем навороченный и профессиональный нейросетевой пакет
  2. тратим недели и месяцы на подбор и тренировку данных (обычно этим занимаются сторонние математики, а не программисты, которым потом результат интегрировать)
  3. модель построена, пришло время ее пустить в продакшен! передают чудо программистам...
  4. и тут приходит осознание, что пакет-то полностью проприетарный и все считается только внутри
  5. в большинстве случаев модель живет только внутри этой программы
  6. не профит никак

На самом деле нужно иметь экспорт хотя бы в DLL движка сети, но это мало где доступно. Поэтому гонять внешние костыли не вариант.

В данном случае поможет наличие в исходниках готовых нейросетевых библиотек на MQL5, которые позволят контролировать весь процесс и строить готовые решения в едином эксперте. Также можно продавать EX5 библиотеки в маркете.

В долгосрочной перспективе наш подход с MQL5 победит.

Вот сборник статей про нейросети в MetaTrader:

 
Renat Fatkhullin:

Да, обижаю.

Ибо вы, не зная предмета, откровенно наговариваете и прямо распространяете мифы. Обратите внимание на выделенный символ И в указанном сообщении.

Про "даже активно использую" есть большие сомнения в рамках ранее высказанного подхода "мне лень". При расчетах в R надо такое мужество иметь, борясь с отсутствием удобных рыночных данных с индикаторами, что там ленивых не остается в принципе.

1. Если Вы знаете способ как поженить МКЛ5 И R, подскажите, буду очень признателен. Я не видел вариантов.

2. " При расчетах в R надо такое мужество иметь, борясь с отсутствием удобных рыночных данных с индикаторами, что там ленивых не остается в принципе." - Вы это о чем ? В R есть все индикаторы которые есть в терминале и даже такие которых нет.

3. А по поводу покажите - так смотрите один, два, три , четыре.  

Удачи. 

 

Мат. языки/пакеты удобны для относительно тяжелых изысканий на коленке. Машинное обучение и прочее, анализ модели и т.д. Самое сложное же - это найти закономерности, что-нибудь робастное. И только после нахождения идет уже думка о применении. И вот тогда берутся MQL5-мат. библиотеки. И долго, но с огромным оптимизмом (робастная идея же уже есть) делается все на MQL5.

А вот если сразу такие же изыскания делать на MQL5 - быстрее сдашься. Т.е. R, Python, Matlab и аналоги - это коленочные изыскания с возможностью подключения самых передовых на данный момент методик. Изучение только подключения этих методик - море времени. Будут они на MQL5 через N-цать лет.

 

Другое дело, что, ИМХО, робастая идея не должна содержать никаких сложных мат. расчетов. HFT-ники не используют никаких мат. расчетов, чтобы включать Python, R и другие спец. языки. Хватает своих библиотек на C++. Alglib даже не используют.

Это миф, что робастая ТС - это сложная ТС. Как и миф, что робастая ТС - это лего-ТС. Все наоборот. Поэтому MQL5 почти полностью удовлетворяет возможностям нахождения робастых ТС. И, что отлично, написанию их в боевое состояние, а не только теоретические результаты. 

 
Renat Fatkhullin:

Кстати, очень большие проблемы с навороченными нейросетевыми пакетами при попытке использовать их данные в других системах.

Стандартная ситуация:

  1. берем навороченный и профессиональный нейросетевой пакет
  2. тратим недели и месяцы на подбор и тренировку данных (обычно этим занимаются сторонние математики, а не программисты, которым потом результат интегрировать)
  3. модель построена, пришло время ее пустить в продакшен! передают чудо программистам...
  4. и тут приходит осознание, что пакет-то полностью проприетарный и все считается только внутри
  5. в большинстве случаев модель живет только внутри этой программы
  6. не профит никак

На самом деле нужно иметь экспорт хотя бы в DLL движка сети, но это мало где доступно. Поэтому гонять внешние костыли не вариант.

В данном случае поможет наличие в исходниках готовых нейросетевых библиотек на MQL5, которые позволят контролировать весь процесс и строить готовые решения в едином эксперте. Также можно продавать EX5 библиотеки в маркете.

В долгосрочной перспективе наш подход с MQL5 победит.

Я не знаю о каких пакетах Вы говорите. Все пакеты в R c  GPL лицензией и открытым кодом.

О каких неделях и месяцах идет речь?

Такое впечатление, что мы говорим о разных вещах.

Посмотрите пакет "MXNet" , "XGBoost" которые совсем не проприетарные и широко используются в продакшен, в том числе с серверами Майкрософт R server. Они так как раз и очень при чем к R.  У них звериный нюх на тенденции и связанные с ними клиенты/деньги. 

Писал пост не для дискуссии, для информации. А оказывается дискутировать есть о чем. Явно ошибочное представление о предмете.

Удачи 


 
Vladimir Perervenko:

1. Если Вы знаете способ как поженить МКЛ5 И R, подскажите, буду очень признателен. Я не видел вариантов.

2. " При расчетах в R надо такое мужество иметь, борясь с отсутствием удобных рыночных данных с индикаторами, что там ленивых не остается в принципе." - Вы это о чем ? В R есть все индикаторы которые есть в терминале и даже такие которых нет.

3. А по поводу покажите - так смотрите один, два, три , четыре

Совсем другое дело.

Я впечатлен проделанной вами работой. Жаль сразу не просмотрел ваши публикации.

Но моя позиция остается прежней - в долгосроке наш подход выиграет. Мы затащим максимум математики и отображения прямо в штатную библиотеку MQL5. Большой апгрейд будет на следующей неделе в очередном релизе.

 

Представляю. Вот есть отличный специалист, который ни одну собаку съел в распознаваниях образов, Big Data, Machine Learning ну и остальное.

Но ни разу не сталкивался с фин. рынком. Ну так получилось. Супер-спец в мат. языках, подготовка выше всяких похвал.

Ну и вдруг узнает он о фин. рынках. "Ну все, сейчас всех порву, с моим то багажом и опытом. С моими мат. моделями и знаниями мат. языков".

И ... пшик! Какое отношение все это барахло, при всем уважении, имеет к созданию робастых ТС?!

Некоторые считают, что не создали робастных ТС, потому что знаний не хватило. А изучу-ка я R, вот тогда точно создам! Ну изучил, ну покрутил ценовые ряды и что?

А результат один, что знаешь, что не знаешь R. Это фин. рынки, а не распознавание образов. 

Причина обращения: