Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1432

 

Рёбята привет!

Как там наш бот с ИИ ? на подходе?

 
Maxim Dmitrievsky:

какие кучи строк? нет, не будет работать. Причина - нестационарность рынка.

Проверьте на какой-нибудь простой функции с добавлением шума, потом усложняйте ее. Если много нейронов то будет обучаться отлично на ф-ии любой сложности, но на новых данных, при усложнении, работать уже не будет.

здесь вся тема об этом, можете почитать с самого начала

там длинная строчка с весами - один нейрон. Чтобы перевести из проги в надлежащий вид в советник, нужно заменить синтаксис и добавить точку с запятой после каждой строчки. А их 10*100 = 1000 штук. Занудно, но то, что в статье написано, то и делал ранее)) 

Да, я в курсе, что ничего не выйдет)) Прочитал про переобучаемость

>>здесь вся тема об этом, можете почитать с самого начала

1432 страницы... D))
 
Renat Akhtyamov:

одна трендовая что то доказывает?

а СБ - нет. поддерживаю

Через чур все это выглядит постановочно - 300% по фибо и точный разворот по "палковому методу" - чей то хитрый план...

 
Aleksey Vyazmikin:

Через чур все это выглядит постановочно - 300% по фибо и точный разворот по "палковому методу" - чей то хитрый план...

300% - это всего лишь больше в 4 раза. Никакой Фибо в этом нет, фибо - это соотношение 1.6 между числами, т.е. 68% и прочее, вот эти значения можно называть фибо.

 
Грааль:

ммм... больно круто... 

Что использовали если не секрет?

катбуст

 
Ivan Butko:

300% - это всего лишь больше в 4 раза. Никакой Фибо в этом нет, фибо - это соотношение 1.6 между числами, т.е. 68% и прочее, вот эти значения можно называть фибо.

Да, действительно не фибо получилось, все ещё примитивней и брутальней.

 
Aleksey Vyazmikin:

Кто там ещё верит в случайное блуждание?

Ну Вы же понимаете произвольность всех этих "трендовых линий", там их можно провести несколько очевидных, какая то "сработает" остальные нет, это у цыган и всяких шарлатанов главный приём "доказательства", смещением выборки в выгодную сторону, выбираем примеры где работает, игнорируем остальные. Если хотите что то реально доказать то формализуйте алгоритм построения трендовых линий и поведения рынка в соответствии с ними и затем прогоните по длинной истории и соберите статистику, только так. А одна картинка, даже 10 картинок, легко собрать в "доказательство"  суперпрофитности любому индикатору или ТС, это цыганская тема, не уподобляйтесь.

 
govich:

Ну Вы же понимаете произвольность всех этих "трендовых линий", там их можно провести несколько очевидных, какая то "сработает" остальные нет, это у цыган и всяких шарлатанов главный приём "доказательства", смещением выборки в выгодную сторону, выбираем примеры где работает, игнорируем остальные. Если хотите что то реально доказать то формализуйте алгоритм построения трендовых линий и поведения рынка в соответствии с ними и затем прогоните по длинной истории и соберите статистику, только так. А одна картинка, даже 10 картинок, легко собрать в "доказательство"  суперпрофитности любому индикатору или ТС, это цыганская тема, не уподобляйтесь.

Вы не понимаете главного, что это просто реализация плана поведения цены. Кто сказал, что план должен быть слишком сложный, а кто сказал, что он должен быть постоянно одинаков?

 
Aleksey Vyazmikin:

Вы не понимаете главного, что это просто реализация плана поведения цены. Кто сказал, что план должен быть слишком сложный, а кто сказал, что он должен быть постоянно одинаков?

Если можно прокомментируйте что за "план поведения цены". А по поводу статистики, ну так только она у нас и есть в вооружении, если нечто всё время разное и нет способа обнаружить закономерность(одинаковость) то имеем дело со случайностью, например простой ГСЧ вида x(t+1) = (a*x(t)+b)%c при больших{a,b,c} является "случайным" так как статистически не прогнозируем, так же и с ВР, нет статистики = нет торгового преимущества = слив

 
govich:

Если можно прокомментируйте что за "план поведения цены". А по поводу статистики, ну так только она у нас и есть в вооружении, если нечто всё время разное и нет способа обнаружить закономерность(одинаковость) то имеем дело со случайностью, например простой ГСЧ вида x(t+1) = (a*x(t)+b)%c при больших{a,b,c} является "случайным" так как статистически не прогнозируем, так же и с ВР, нет статистики = нет торгового преимущества = слив

Позвольте процитирую письмо, которое я недавно писал другу(человек не трейдер и не математик) - в нём суть моего виденья рынка на сегодня и описание попытки с этим работать.

"

...

Почему я сравниваю с алхимией, да всё просто - ожидания от результата всегда превышают реальность, и этим ожидания нет научного обоснования, только гипотеза. Это постоянный поиск и проверка идей. Попыток понять и описать рынок принималось множество за последнее столетие - научный мир склоняется, к гипотезе, что цена случайна на активы - так называемое случайное блуждание, но обосновывают это тем, что не могут выявить явных закономерностей, влияющих на формирование цены - одни признают, что их множества и поэтому учесть все не возможно, иные считают, что каждая цена суть ли не баланс спроса и предложения. В сообществе алготрейдеров множество лиц с разным образованием, и это, конечно сказывается на их суждения - математики, физики, химики, программисты, экономисты, есть и спортсмены, летчики, дизайнеры, в общем очень много разных людей с разным опытом и багажом знаний, но всё это мало помогает достижению цели.

Теорию, что цену актива определяет только спрос и предложение и текущая цена справедлива, а история изменения цены не имеет значения - я отбрасываю сразу по двум причинам - она бесполезна и из неё нельзя извлечь доход и всегда остаются те, у кого на руках остались фантики вместо активов - т.е. справедливая цена всегда отсутствовала для них, а их объем должен был влиять на цену.

Относительно теории случайного блуждания - это как взять кубики, написать на них, допустим, дельты изменения цены (в каком либо диапазоне) с разным знаком(вектором), на каком либо временном отрезке, поместить потом в черный мешок и доставать их из этого мешка и рисовать на основании их значений график. Я сам не математик, поэтому рисую себе образы для оперирования знаниями. Как не странно, действительно, часто трудно отличить настоящий график от случайного блуждания, если смотреть на ограниченное число его элементов - 100-200, но если изучать график детально, то будет обнаружено отсутствие каких либо выраженных закономерностей.

На мой взгляд, дело обстоит несколько иначе - рынком управляют люди, а людьми движут эмоции, есть ещё и люди, защищающиеся от эмоций с помощью торговых алгоритмов. Эмоции не допустимы для трейдеров исполнителей - сотрудников банков и инвестиционных компаний, поэтому они стараются придерживаться определенным алгоритмам действия, пусть и в ручном режиме, но утвержденных руководством. Я бы представил случайным блужданием движение цены от цели до цели, целью является определенная цена. Процесс выглядит как направление стада овец в нужною сторону - то отара выстраивается в стройный ряд (быстрое движение - тренд), то овцы разбегаются по сторонам (колебание в диапазоне - флэт) и тогда пастуху приходится принимать усилия по направлению овец в нужное направление. Если бы цена двигалась в одном направлении, то все бы легко зарабатывали, но тут как раз вся соль - по какой причине происходит смена вектора движения цены, почему вдруг начинают вылезать из мешка в подавляющем большинстве кубики с противоположным вектором. Конечно, именно на разворотных точках необходимо заинтересованному лицу предпринять максимум усилия для изменения тенденции - это удается не всегда (есть даже методы психологического давления, когда в стакане цен выставляется заявка на операцию в сотни, а то и тысячи раз превышающая среднестатистическую - как бы участником рынка дается намек, что дальнейшее движение будет выкупаться и лучше закрыть свои позиции, за такое в штатах наказывают, кстати).

Участники рынка верят в наличие закономерностей, и именно эта вера, выражающаяся в действии, позволяет существовать таким закономерностям.

Поэтому задачу я свожу к выявлению закономерностей, которые реально присутствуют в силу веры в них участников рынка и фактического применения алгоритмов крупными участниками торгов. За долгие годы существования биржевой торговли было изобретено множество индикаторов, которые популярны среди трейдеров, даже ЦБ РФ их применяет в своих прогнозах, и пропагандирует технический анализ (оценка движения цены в прошлом с целью прогнозирования вероятного развития событий). Я предпочитаю искать краткосрочные проявления характера рынка, внутри одного дня и даже 1-3 часов на бирже Moex.

Конечно, найти закономерность с высокой долей вероятности - большой успех, но часто в окне поиска и выявления закономерности жизнь этой закономерности и заканчивается, конечно, ведь это просто аппроксимация из паттернов (отношение цены и её измерения (индикаторов)).

Задача состоит в создании методики выявления закономерностей (кусочков чужого алгоритма) и оценке этих закономерностей. По сути нужно много разных и разнообразных таких паттернов, вероятность исхода которых будет приносить доход в своей сумме, т.е. ложных (случайных) паттернов должно быть меньше, чем тех, чьи закономерности продолжают проявляться за пределами наблюдения. И даже обнаруженные закономерности, это скорей приметы, описывающие явления, совпадающие с реальными закономерностями – некие спутники.

Всё это усугубляется ещё и тем, что рынок меняется - развиваясь естественным образом и трудно из-за этого давать оценку качеству выявления устойчивых паттернов, приводящих к ожидаемому исходу.

И если процессы выявления и оценки можно автоматизировать, то процесс создания предиктора (признака, на который нужно обращать внимание при поиске закономерности - к примеру это время, денье недели, уровень цены для опциона (страйк), положение цены относительно скользящего среднего значения цены), автоматизировать весьма сложно - перебор всех вариантов требует колоссальных ресурсов, и тут приходится фантазировать - глазами анализируя возможные связи, которые в последствие будут проверены методом машинного обучения.

Открытые методы машинного обучения не очень эффективны в таких условиях - где шум, от ошибочных закономерностей, перекрывает крупицы ценной информации - беда в том, что все эти методы используют так называемый принцип жадности, поэтому я после обучения модели, а обычно это вариация на дерево решений, стараюсь отдельно рассмотреть каждый лист дерева и дать ему оценку.

Сейчас непосредственными вычислениями занимаются 6 компьютеров по 6-8 ядер.

А что в итоге - отсутствие каких либо догмат, на которые можно было бы опереться, завышенные ожидания успеха, случайные блестяшки на выходе в виде отличных тестов алгоритма, и слив на данных вне выборки обучения - вот она и алхимия.

...

"

Причина обращения: