Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2957

 
Evgeny Dyuka #:
После компиляции модель остается отдельным файлом или зашивается в .ex5 ?

Используйте *.mqproj проекты вместо одиночных файлов, включайте свои onnx модели и другие файлы в виде ресурсов. Это теперь предпочтительный вариант написания программ.

Тем более, что у него больше настроек и мы только в *.mqproj файлах будем увеличивать конфигурабельность программ. Скоро включим управление AVX/AVX2/AVX512 набора команд при оптимизации кода роботов.

Ресурсы автоматически встраиваются в EX5 файл, сжимаются и шифруются для защиты.

Посмотрите публичный проект ONNX.Price.Prediction для примера.

Создание и работа с проектом - Проекты и MQL5 Storage - Справка по MetaEditor
  • www.metatrader5.com
MetaEditor позволяет удобно работать над большими проектами: объединять множество файлов в одну структуру, управлять настройками проекта и вести...
 
Renat Fatkhullin #:

Конечно понятно и сделано осознанно.

Пример был сделан ради тестирования загрузки onnx модели, а не для извлечения разумного результата модели.

Да конечно я это понял. Но пользующие пример поняли ли?

Наверное придираюсь.

 
Vladimir Perervenko #:

Объясняю на пальцах. В ONNX.Price.Prediction.mq5 Вы получаете 10 OHLC. Затем на этих данных Вы определяете mean и sd, и ними же нормируете эти 10 значений. Это не правильно.

Для этих  новых данных нужно использовать mean и sd полученные на обучающемся наборе. Т.е. в предыдущем скрипте. Так понятно?

Конечно, понятно. Не вопрос. Эта модель была сделана очень быстро. Просто как пример.

Нам нужно было очень быстро проверить правильность инференса в MQL5.

И конечно, мы проверили эффективность предсказания на нынешних данных. Около 52 процентов. Я в пятницу писал проверочный скрипт с подробными комментариями, касающимися технических деталей. Рашид на основе этой модели написал эксперта для запуска в тестере. Видимо, ещё не опубликовали

 
Vladimir Perervenko #:

Да конечно я это понял. Но пользующие пример поняли ли?

Эффективность 52 процента. Должны понять

MAE=0.0005

 
Немного поясню ситуацию. Всем здесь понятно, что примеры носят чисто технический характер. Но у людей только знакомящихся с МТ и пришедших из датасайнс может возникнуть неприятное впечатление при виде этого примера. Поэтому Vladimir Perervenko и предлагает рассчитывать всю нормализацию по обучающим данным, чтобы информация не утекала из тестовой выборки.
 
Aleksey Nikolayev #:

Эта задача решается использованием соответствующей функции потерь при обучении моделей МО. Есть две проблемы связанные с этим. Первая, техническая - стандартные функции потерь в пакетах МО связаны с максимизацией прибыли лишь косвенно, что приводит к необходимости создания кастомных. Это довольно трудно сделать - нужно хорошо разбираться в пакетах МО на уровне кода. Если эта проблема решена, то может появиться вторая, математическая, когда кастомная функция потерь плоха для обучения модели.

Если кто-то решит такую сложную задачу, то вряд ли он будет делиться решением.

Видимо, функции стоит почитать про функции потерь. Если я правильно понял, получается, например на рынке, где можно только покупать функция потерь:

сумма разности цен покупки и продажи, для тех случаев, когда: "цена покупки" - "цена продажи" < 0.

В этом случае получаем сумму с отрицательным значением, то есть она должна стремиться к 0 или к максимуму. Чтобы она стремилась к минимуму перед суммой разностей получается нужно поставить знак минуса.

Касательно того, что если кто-то решил подобную трудную задачу не станет делиться решением, я на это и не рассчитывал, просто хочу понять, как это максимизировать прибыль или увидеть в качестве примера хоть какую-то модель (не важно прибыльна она или нет, просто для понимания общей канвы).

А так, конечно, думаю, кастомные функции потерь будут как правило плохи для обучения модели, потому что это не основная ее часть.

 
Maxim Dmitrievsky #:
Оптимизируете по критерию макс прибыль свою стратегию (если лень делать другую разметку), потом обучаете на этом НС. Либо берёте с маркета любую ТС прибыльную. Это же обучение с учителем.

Если интересует именно вывод ТС на основе только лишь НС, могу предложить вариант из своей последней статьи. По образу и подобию можно делать. Как раз изначально задавался вопросом как можно сделать такое. Эксклюзивчик.

Не сказал бы, что мне лень делать какие-либо другие разметки, пробую разные варианты и тк не сеньор в машинном обучении, когда приходит какая-та идея в голову, пытаюсь найти хоть какие-то варианты примеров с попытками добиться результата.

Когда еще пробовал сделать параметрический вариант решение со своими значениями индикаторов, но оказалось, что вариантов набора значений показателей так много, что при текущих вычислительных мощностях подбор параметров будет осуществляться чуть ли не 10-ки лет)

Удивился, когда прочитал фразу "взять любую с маркета прибыльную ТС". Даже не рассматривал такой вариант, тк думал их там нет.

 
mytarmailS #:
Я уже столько раз делился,  что в какой то момент задолбался...

Люди начинают думать и говорить о том что я тут обсуждал годы назад, но никто не понимал

Не все годы назад были знакомы с машинным обучением. Если ваши сообщения перечитывать, то обсуждения надо искать в этой же теме/ветке?

Видимо, стоит попробовать разобраться во всех 3000 страниц темы, пока она еще не выросла.

 
Elvin Nasirov #:
Видимо, стоит попробовать разобраться во всех 3000 страниц темы, пока она еще не выросла.

Лучше разберитесь в статьях  Vladimir Perervenko и  Maxim Dmitrievsky. Время потратите с большей пользой. На форуме в основном вода.

Vladimir Perervenko
Vladimir Perervenko
  • www.mql5.com
Профиль трейдера
 
Forester #:

Лучше разберитесь в статьях  Vladimir Perervenko и  Maxim Dmitrievsky. Время потратите с большей пользой. На форуме в основном вода.

Спасибо!

Причина обращения: