Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 427

 
Mihail Marchukajtes:

В принципе не важно. Прогностической способности там ноль....

Так причем тут прогноз, это оценка результата, всё равно что глазами на эквити посмотреть и прибыль разделить на просадку, будит примерно SR

Ну а чем круче прогноз тем выше SR

 
Алёша:

Так причем тут прогноз, это оценка результата, всё равно что глазами на эквити посмотреть и прибыль разделить на просадку, будит примерно SR

Ну а чем круче прогноз тем выше SR


А в этом случае. Ну тогда да. Согласен полностью....

 
СанСаныч Фоменко:

Подскажите, здесь вы писали https://www.mql5.com/ru/blogs/post/160258 что RF является лучшим классификатором из предложенных, с этим я согласен. А как быть с диплернингом 3-го поколения (с автоэнкодерами), были у вас какие-то сравнительные тесты?

Нужны ли нам сотни классификаторов для решения проблем классификации реального мира?
  • 2014.11.13
  • СанСаныч Фоменко
  • www.mql5.com
В статье оценивается доступные сегодня 179 классификаторов, принадлежащих к 17 семействам (дискриминантный анализ, Байес, нейронные сети, машины векторов поддержки SVM , деревья решений, основанные на...
 
Алёша:



По поводу GARCH на сколько я знаю это линейная модель для прогнозирования волатильности, направление рынка она не прогнозирует, или я не прав?

GARCH - это модель волантильности, она прогнозирует направление и величину следующей свечи. ТФ может быть разный: М5, М30, D1, любой. Но обычно это мелкие ТФ вплоть до высокочастотной торговли.

Меня GARCH привлекает тем, что для его применения необходимо проанализировать исходный котир так, чтобы получить доказательства, что обученный GARCHна истории будет вести себя точно также и будущем.

В основе идеи лежит борьба с нестационарностью (переменное среднее и переменное отклонение от средней), которая считается основным злом для произвольной работы советника в будущем.

Сама модель имеет три составляющих:

на первоначальном этапе вычисляются приращения цены. Затем для этого приращения записывается формулы:

1. для поведения средней

2. поведения отклонения от средней (волантильности). Здесь имеется огромное количество вариантов, включая экспоненциальные и пороговые (это я про линейность модели)

3. закона распределения средней.


Если удалось "правильно" подобрать параметры всех этих частей, то остаток должен быть нормально распределенным, что и является гарантией поведения модели в будущем аналогично историческим данным.


Как-то так, очень грубо.

 
Maxim Dmitrievsky:

Подскажите, здесь вы писали https://www.mql5.com/ru/blogs/post/160258 что RF является лучшим классификатором из предложенных, с этим я согласен. А как быть с диплернингом 3-го поколения (с автоэнкодерами), были у вас какие-то сравнительные тесты?

Я слышал что диплернинг это немного из другой оперы, там вся тема про автоматический поиск ПРОСТЫХ признаков, в иерархических структурах, таких как картинки или текст, когда из краёв уголки и линии из которых простые фигуры из которых посложнее и так далее. Как для временных рядов это не совсем то. Таким образом если глубокая сверточная нейросетка круто находит котиков и лица на картинках это не значит что она будет круто прогнозировать маркет, кроме того всё "deep" это дикий гемор как для юзеров, это дикий гемор даже для тех кто по 10 раз сам пересобрал всю сеть с нуля на С++, много параметров всё очень не устойчиво, результаты случайны. Этим нужно заниматься многие годы. Но это не моё ИМХО, на своей шкуре не испытал и наверно не испытаю.

 
Алёша:

Это не не плохой результат, а просто фантастический результат, уверен даже на Ренесансе такого нет и близко, с их терабайтами данных в сутки. Посмотрите на live-score на numer.ai и задумайтесь почему у них не менее 45% ошибки(logloss~0.69), а у Вас 30%.

Но то что Вы говорите верно,  Вы создали свою синтетическую целевую функцию, которая хитрым образом(для Вас видимо не очевидным) функционально связанны с фичами, и на лёрне и тесте у Вас такой замечательный скор и всё верно, как будто бы… Однако почему то Вы ещё не миллиардер, хотя легко бы им стали примерно за год, если бы имели 30% ошибки предсказания цвета следующей свечи, а всё потому что Вы предсказываете не будущее, а прошлое которое смешалось с будущим, через индикатор. Попробуйте предсказать чистый будущий ретурн и всё станет на свои места.

Много Вы наговорили мистер, но так ничего и не сказали по сути, а Вам сразу предлагали показать, а не надрываться всех перекрикивать, что не так с ZZ и что нужно.

 
Список книг, видео и курсов по машинному обучению и математике, всё на русском языке. Большая, качественная подборка. Почти все pdf'ки книг гуглятся.
https://ru.stackoverflow.com/a/683632/1084
Книги и учебные ресурсы по машинному обучению
Книги и учебные ресурсы по машинному обучению
  • ru.stackoverflow.com
Для тех, кто хочет на русском языке почитать: Хараламбос Марманис, Дмитрий Бабенко Алгоритмы интеллектуального Интернета. Передовые методики сбора, анализа и обработки данных источник К. В. Воронцов. Математические методы обучения по прецедентам (теория обучения машин) источник Мерков А.Б. Введение в методы статистического обучения...
 
Женя:

Я слышал что диплернинг это немного из другой оперы, там вся тема про автоматический поиск ПРОСТЫХ признаков, в иерархических структурах, таких как картинки или текст, когда из краёв уголки и линии из которых простые фигуры из которых посложнее и так далее. Как для временных рядов это не совсем то. Таким образом если глубокая сверточная нейросетка круто находит котиков и лица на картинках это не значит что она будет круто прогнозировать маркет, кроме того всё "deep" это дикий гемор как для юзеров, это дикий гемор даже для тех кто по 10 раз сам пересобрал всю сеть с нуля на С++, много параметров всё очень не устойчиво, результаты случайны. Этим нужно заниматься многие годы. Но это не моё ИМХО, на своей шкуре не испытал и наверно не испытаю.

Не так страшен черт как его малюют..

Это не очень сложно, начните с этих нескольких статей (1, 2, 3, 4). Не все сразу заработает и будет понятно, но польза будет.

Удачи

 
Женя:

Я слышал что диплернинг это немного из другой оперы, там вся тема про автоматический поиск ПРОСТЫХ признаков, в иерархических структурах, таких как картинки или текст, когда из краёв уголки и линии из которых простые фигуры из которых посложнее и так далее. Как для временных рядов это не совсем то. Таким образом если глубокая сверточная нейросетка круто находит котиков и лица на картинках это не значит что она будет круто прогнозировать маркет, кроме того всё "deep" это дикий гемор как для юзеров, это дикий гемор даже для тех кто по 10 раз сам пересобрал всю сеть с нуля на С++, много параметров всё очень не устойчиво, результаты случайны. Этим нужно заниматься многие годы. Но это не моё ИМХО, на своей шкуре не испытал и наверно не испытаю.

Понятно, думаю на практике здесь никто и не сравнивал :) буду исктаь инфу, что бы в итоге не маяться дурью если получится что диплернинг не дает преимуществ перед лесами. А поскольку составная часть там это МЛП, то вполне может быть что не дает..

Кстати, диплернингом называется все, что имеет больше 2-х слоев, МЛП с 2-мя скрытыми слоями это тоже диплернинг. Я имел  виду глубокие сети, которые Владимир описал в статье по ссылке выше.

Хоть и пишут, что самое важное предикторы, поскольку модели работают примерно одинаково.. но это теория, на практике получается, что подбор модели тоже очень важен, например компромисс между скоростью и кач-вом, потомоу что НС это, как правило, долго...

Ну и связка Р - МТ5 через либу на практике ущербная по скорости и по удобству, нужен натив без левого софта или прямой коннект к Р серверу из мт5, но лучше натив. 1 раз переписать с с++ нейросеть которая нужна на мкл и все.

а, забыл добавить ИМХО

 

Кхм…кхм…Я вот размышляю всё, размышляю…

Есть дафига моделей, от классики вроде ARMA\GARCH до полного отрыва, вроде CNN\LSTM, где то по серединке всем любимые MLP\RF\XGB и тд. Но как это всё унифицировать? Чтобы ну например можно было обмениваться\продавать обученные модели, в универсальном формате, читаемом где угодно без специальных библиотек и подготовки, кто пытался передать кому то не тривиальную модель наверно поймет о чем я)))

И тут я понял, что numer.ai – решили эту проблему! То что им посылают на самом деле не просто предикты, а тупо готовая модель, сэмплированная с достаточной точностью. Собственно это должно быть так, иначе как можно за ранее получить фичи из будущего что бы по ним дать ответ, фичи в реалтайме идут, нельзя заранее их знать. Но если заполнить N-мерное пространство сеткой из точек, то прогнозом новой точки, будет просто ближайшая(шые) из сетки, которые ищутся мгновенно как элемент массива по индексу. И в такую модель можно свернуть любую простую и навороченную модель, легко передать и использовать, причем не раскрыв при этом своих секретов.

Респект numer.ai, идейка супер!

Предлагаю обмозговать, как это можно юзать в нашем убогом комьюнити)))

Причина обращения: