Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 152

 
Renat Fatkhullin:

Просьба остановиться в обвинениях.

Каждому языку - свое место. R отлично подходит для интерактивного исследования. Я вот второй день его исследую (до этого прочел книгу) и он реально похож на мощный отладчик с визуализацией внутренностей.

Работа с R сразу показала наши слабые места:

  • В MQL5 мало мощных функций для частых операций. Для множества вещей нужно писать микрокод. В ближайшие два билда мы выкатим десятки новых функций для проведения сложных операций в один вызов.
  • Нужно больше математических функций. Мы уже выпустили в бете первую версию аналога функций R и теперь займемся ее развитием, дополняя векторными вариантами.
  • Нужна простая и мощная графическая библиотека с функциональностью как граф пакеты в R. Мы ее создадим с оглядкой на R.
Для чего мы это делаем?

Первую алгоритмическую торговую платформу с языком MQL мы выпустили еще в 2001 году. Каждый раз мы увеличивали ее возможности, но математический аппарат оставлял желать лучшего. Мы развивали теханализ, доступ к данным, тестер, распределенные вычисления, а потом дошли до площадки продажи продуктов.

И тут стало понятно, что большинство решений крутятся в заколдованном круге теханализа, индикаторов и подгонке. Нужно дать разработчикам подняться на следующий уровень математических возможностей.

Именно поэтому мы некоторое время назад начали расширять математические библиотеки в MQL5, а также выпустили в бете Alglib, Fuzzy и Stat. Они позволят упростить перенос на MQL5 выработанных моделей из других систем, что позволит поднять класс создаваемых аналитических решений для платформы Метатрейдер 5.

В ближайшие 2 месяца вы увидите прогресс, которого мы достигнем в развитии математического окружения.

 

Мы рады и приветствуем обсуждение сложных математических пакетов, а также статьи по ним. Пишите и присылайте заявки на написание статей Рашиду Умарову(Rosh). Наша задача простимулировать и обучить трейдеров более сложным методикам, а не огородиться в собственном мирке MQL5.

Конечно, мы защищаем и будем защищать свой язык и платформу от нападок, но при этом работаем над их развитием. Так что все будет хорошо.

Радует то, что длительные дискуссии и Ваше краткое знакомство с языком дают плоды. 

Ваше направление развития понятно.

Время покажет насколько оно удачно.

Главное сегодня (по крайней мере для меня), что МТ4 работает как часы. Остальное приделаем.

Статьи готовлю. Правда иногда одолевают сомнения, нужны ли они кому то...

Удачи 

 
J.B:

Сверточные НС - сейчас в тренде как сравнительно недавно были RF, бустинг и тп, но контекст их применения ограничен картинками, по сути единственная фишка CNN это иерархический подбор фильтров когда есть очевидные взаимосвязи между соседними компонентами входного вектора, сделать это можно и по другому без бэкпропа, например кластеризацией. Но главный вопрос все же в другом: что подавать на вход.

Добавлю : DNN, RNN, CNN,  LSTM   и конечно "обучение с подкреплением" LR перспективны.

Думаю я не открою Америку особенно в конце 2016 что тн. "ТА паттерны" тобиш ценовые "фигуры" одного ряда, сейчас вообще ни имеют связи с направлением следующего тика или среднего их направления на некоторый временной горизонт. Не важно что Вы будите использовать побарорвую корреляцию в качестве поиска паттернов, NB, SVM, RF, MLP, CNN и тд и тп пофиг. это как предсказывая в какие ворота попадет мяч на футбольном поле, использовать в качестве предиктора последовательность изменения счета на табло, связь имеется но крайне слабая, в десятки раз меньшая чтобы окупить транзакционные издержки.  Форекс децентрализован, к сожалению нет ни ленты ни стакана нормальных, те что есть - фэйк. Вообще торговать на форексе... ну в общем вы поняли о чем я)))

Это обычное мнение торгующих на фонде. Это нормально. А вот по поводу предикторов Вы ошибаетесь.

Я работаю в квант-фонде и могу рассуждать только об обще очевидных вещах, было бы глупо и противозаконно даже намекать как искать эффективные предикторы, но жалко смотреть как вроде бы умные люди мучаются с "паттернами" типа голова-плечи и всяким свечным извращением натравливая на это ML, в цене зависимость итак минимальная и убывает экспоненциально, прошлая история цены одного ряда заданной длинны связана с будущей такой же длинны на величину за пределами 3 сигм, история более глубокая вообще не имеет смысла. Ищите ПРИЧИНЫ и максимально быстрые источники данных обо всем что как либо может влиять на поведения масс людей на всей планете и в этом всём первичном бульоне ищите драгоценную АЛЬФУ. 

За совет спасибо.

Удачи 

 
Vladimir Perervenko:

Радует то, что длительные дискуссии и Ваше краткое знакомство с языком дают плоды.

Возможно, что мы сделаем шикарный подарок для R сообщества.

Время покажет.

 
Renat Fatkhullin:

Возможно, что мы сделаем шикарный подарок для R сообщества.

Время покажет.

Сделайте себе подарок. Поставьте цель и попадите сюда. Особенно обратите внимание КТО поддерживает зеркала.
 
Renat Fatkhullin:

Возможно, что мы сделаем шикарный подарок для R сообщества.

Время покажет.

Мы ожидаем работая и не теряем надежды.

Удачи 

 
Vladimir Perervenko:

Статьи готовлю. Правда иногда одолевают сомнения, нужны ли они кому то...

Удачи 

Нужны...

я по вашей статье учился 

Renat Fatkhullin:

Возможно, что мы сделаем шикарный подарок для R сообщества.

Время покажет.

ждем :)

 
J.B:

1) по сути единственная фишка CNN это иерархический подбор фильтров когда есть очевидные взаимосвязи между соседними компонентами входного вектора, сделать это можно и по другому без бэкпропа, например кластеризацией.

 

2) Но главный вопрос все же в другом: что подавать на вход.



1) Узковатое понимание вопроса. фильтр сверточной сети может провести множество операций над входным вектором, и сформировать, например, n скользящих средних, частично пересекающихся или нет, или взять несколько сумм. Что уже является заявкой на нормальный feature engineering.

 

2) Опять же, недосказанность или недопонимание. Для сверточных сетей достаточно подать "сырые" данные (в псевдостационарном виде), например, ценовые возвраты с лагом 1. Остальное доделывает сама сеть. 

 
mytarmailS:

1) Пока не совсем согласен, думаю что вполне можно прогнозировать цену через поиск схожестей в прошлом но это не  "ТА паттерны"  однозначно....  исследование еще веду но очень затратно по маш. времени

2) согласен, сама модель мало что решает

3) лента и стакан тоже мало что решает, например если взять ленту , разделить отдельно на покупки и продажи и построить их кумулятивную сумму а потом построить разницу между этими суммами то получим туже самую цену, те лента это и есть цена и она (лента) в виде ВР не несет больше информации чем сама цена, стакан напротив прогнозирует цену, на высоколиквидных рынках цена всегда ходит за большей ликвидностю, если в стакане заявок на покупку больше чем на продажу то рынок практически всегда идет вниз, но разница между изменением в стакане и изменением самой цены измеряется милисекундами  так что по скорости там не пройти, эти нишы уже давно заняты...

Я как то исследовал полный ордерлог инструмента, многие тут даже не знают что ето такое , коротко это полная информация про инструмент  там сразу и стакан и лента и даже те ордера которые ставились но потом отменялись, также есть индексация конкретного участника в сделке те если в стакане появилось 100 контрактов на продажу то по индексации можно узнать ето один человек поставил эту заявку в 100к или это несколько человек встало в одну цену и в сумме получилось 100к, точно также можно вычислять забрали ли полностью этого чела или налили ему на его 100к всего 20к а остальные 80 к он отменил ну т.д..

Так к чему я это все, возвращаясь к стакану и скоростям, бывало такое что я вычислял чела который за несколько мс умудрялся 4 раза ставить и отменять свою заявку, просто манипулировал ценой не давая ей падать или расти, у меня же из терминала только мой приказ на пок или прод идет 0,8 сек..

 4) Да арбитражами вы занимаетесь в самых различных его видах что тут скрывать:)  от hft до длинных сезонных...

1) Всё верно, слабые зависимости есть, я приводил пример про футбол и счет на табло как фичу.

3) Ну, про "ниши заняты", суперкомпьютеры, гении PhD и кабеля через океан за 300M$, если это пугает, то не стоит заниматься алготорговлей, по крайней мере в хфт на Si\RI более 30% ликвида гоняют либо одиночки, либо маленькие групки по 2-3 человека и делают хоть и не большую но прибыль, в смысле не всё хфт заняли крупные квантфонды что не в втиснуться, да и вообще такого никогда не будет, чем больше фонд тем тяжелее ему с хфт.

Да, работать нужно с кучей ордерлогов, каждая заявка и тем более сделка на каждом инструменте имеет влияние на вероятности следующих заявок и сделок всех остальных инструментов.

4) Без комментариев)) 

 
Dr.Trader:

1)Подпись о неразглашении в квант-фонде?

2) не должно быть популяризировано?


1) Именно

2) Так и есть, ну а как Вы думаете, если к примеру Вам посчастливилось путем многолетней работы, например найти способ быстро находить места где на глубине много нефти, стоило бы это знание популяризировать? Даже если Вы филантроп в душе, всё равно с большей пользой Вы сами инвестируете или подарите нуждающимся заработанные деньги чем какие то левые люди.

 
sibirqk:
То есть по Вашему торговать на крупных ТФ (день, неделя) вообще не имеет смысла? Но крупные банки, успешно торгуют на форексе именно в долгосрок.

Ну, банки не только спекулируют, но если про долгосрочную спекуляцию в стиле Баффета, то конечно имеет смысл, если Вы знаете то что не знают другие))) Чем длиннее горизонт тем хуже работает статистика, в таких случаях нужно иметь связи в правительстве, команду высококлассных макроэкономистов и тп, это другая игра, оно ближе к политике чем к алготорговле, попросту это инсайдерство, оно как предсказать погоду на год вперед, не будучи господом Богом.

Причина обращения: