Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3709

[Удален]
Maxim Kuznetsov #:

ты продавал или как ? 

это просто классика реалий бизнеса - цена маркетинга вдвое выше производства. Иначе не окупается ни то ни то

и уник это ничто, важна продажа..по словам, данный сайт имеет мильоны уников и они растут в космических масштабах :-)

Это тема про МО. Не надо съезжать на левые размышления если нечего написать по теме, но хочется поговорить. Нужно ловить себя на этой психологической ловушке.

Maxim Dmitrievsky #:

Это тема про МО. Не надо съезжать на левые размышления если нечего написать по теме, но хочется поговорить. Нужно ловить себя на этой психологической ловушке.

я вам просто намекнул что дипсик понёс фигню, не имеющую общего с серой реальностью..просто потому что её много и он на ней обучен

[Удален]
Maxim Kuznetsov #:

я вам просто намекнул что дипсик понёс фигню, не имеющую общего с серой реальностью..просто потому что её много и он на ней обучен

Дипсик ничего про это не говорил, это я поделился идеей стартапа без вложений. Реально это для вас или нет - можно оставить при себе, бессмысленно это транслировать, потому что наши реальности могут отличаться.

СанСаныч Фоменко #:

Не первый раз пытаюсь поднять этот вопрос: все прекрасно на этапе обучения и рандомный результат при пошаговом прогоне.

А это говорит о том, что не имеет смысла любые ухищрения на этапе обучения - достаточно чего-то примитивного.

А если вникнуть, то рандомный результата на пошаговом прогоне - это означает, что те паттерны, который нашло МО на истории НЕ существуют в будущем. И обсуждать на стационарность паттернов.

Как всегда вдумчиво, но снова "лысый про расческу".

Я бы так сказал, исторические ценовые и свечные паттерны — это уже лет 20 как пережиток прошлого, даже может 30, в общем когда большинству стало доступны компы и алготорговля. То же самое касается и всех классических индикаторов вроде RSI, стохастика, MACD и прочей теханалитической лабуды. А теперь и ML туда же, в реальных тестах, где фичи и таргеты не перемешаны, точность прогноза колеблется в районе 50–52% на минутках. Хоть ты тресни — как бы ни извращался с фичами, если прогнозировать направление.

Причём даже эти 1–2% "альфы" чаще всего оказываются фантомом, та как оказываются следствием постобраобтки данных. Особенно если используешь готовые свечи от какого-нибудь ДЦ — вроде тех же дукасов или чего похуже. Там тебе их уже предварительно агрегировали, сгладили что очень влияет на затем манипуляции с ними в ML и бэктесте, причем всегда в ложный плюс.

Если заморочиться и собирать свои тиковые данные, синхронизировать их, использовать нормальные источники с реальной ликвидностью — можно с мультирынка вытащить что-то около 2–3% альфы (т.е. 52–53% точности). Это немного, но уже не слив, шарп ~ 0.5–0.7 если риск-менеджмент вменяемый.

Но всё это, по большому счёту, — нижняя лига. Песочница.

Если смотреть на то, как работают взрослые дяди (типа рентеха, де-шоу и т.д.), или пытались, но облажались Колдун с Алёшей, то у них модель может выдавать +10% точности на минутках, а на ультравысокочастотных стратегиях — вплоть до 30% альфы. Это уже не 53% акураси, а 80+. Шарп там 10 или даже 15...

Как? Очень не-просто: они не предсказывают цену только из цены. Потому что цена — это уже результат. Они работают с причинами. С тем, что происходит до того, как цена двинулась. Это:

стакан и его динамика (имбалансы, скрытая ликвидность, флоу участников)+1%

новостные ленты в реальном времени +1%

кластеризация поведения крупных игроков +1%

фундаментальные/макроэкономические сигналы(в реалтайме, их самому нужно готовить) +3-5%

+ ещё 5-7 таких пунктов из важного, лень писать

и, самое важное, альтернативные данные — от погоды и спутников до логистики и твиттера +5-10%


Короче:

Из самой цены ничего особенного не вытащишь. Шум на входе, шум на выходе.

Если рассматривать не один инструмент, а весь рынок сразу (в виде многомерного временного ряда, например приращений самого ликвида), можно принципиально(уже не слив) изменить ситуацию, но не радикально, данные должны быть не искаженные. Это случай Алёши и Колдуна, вроде что то работает, но заработать не получается миллиарды, но можно настрелять бабок и потом их прикарманить. Тут в добавок важна социальная инженерия, арендованная элитная тачка, часики, вертолёт и тп.

А если хочешь серьёзной альфы — забудь(не фокусируйся только) про цены и переходи к данным, которые действительно влияют на рынок, то есть по сути опережают рынок, а не просто его отражают.

Именно поэтому большинство, кто "играется в машинку на свечках", годами бродит по форумам с одним и тем же вопросом: "почему всё работает на обучении, но не работает на реальном времени". Ответ — потому что рынок не стационарен, а свечи — не причина, а следствие, и ML не поможет. Не стационарен по самой своей природе, так как "закономерности" лежат не в ценах а в миро-экономике, а цены — её статистика, которую нужно собирать самому в макро модель, чтобы иметь какой то шанс.


В общем:

1. Собирай реалтайм данные сам.

2. Смотри не на один инструмент, а на весь рынок.

3. Работай с микроструктурой.

4. Добавляй альтернативные данные, в меру своих возможностей.

5. Честно проверяй реализм стратегии.

6. Не лезь в сложные модели(это там где свело, а не где потерял)

Ну и помни про опыт Колдуна, Алёши и многих, многих, других сломавших копья, то есть не ложи все яички в одну корзину, иначе жизнь может их все разом разбить и придётся на старости идти в сторожа или чего по хуже.

Андрей #:

Как всегда вдумчиво, но снова "лысый про расческу".


Если рассуждать по крупному отношении предикторов, которые бы предсказывали целевую переменную, то форекс - это, пожалуй, самый неудачный рынок, мало того что рынок ставок, так еще и в основе движения валютных курсов лежат зачастую ПОЛИТИЧЕСКИЕ решения, а не реальная экономика. 

Гораздо перспективнее выглядит рынок фондовый рынок, по крайней мере, лет 50 назад цена акций явно зависела от результатов хозяйственной деятельности эмитента, а эта самая хозяйственная деятельность полностью отражалась в бухгалтерском учете по эмитенту. В этих отчетах вполне можно найти предикторы, которые имеют предсказательную способность для целевых переменных.

Может дя начала плюнуть на форекс?

СанСаныч Фоменко #:

Если рассуждать по крупному отношении предикторов, которые бы предсказывали целевую переменную, то форекс - это, пожалуй, самый неудачный рынок, мало того что рынок ставок, так еще и в основе движения валютных курсов лежат зачастую ПОЛИТИЧЕСКИЕ решения, а не реальная экономика. 

Гораздо перспективнее выглядит рынок фондовый рынок, по крайней мере, лет 50 назад цена акций явно зависела от результатов хозяйственной деятельности эмитента, а эта самая хозяйственная деятельность полностью отражалась в бухгалтерском учете по эмитенту. В этих отчетах вполне можно найти предикторы, которые имеют предсказательную способность для целевых переменных.

Может дя начала плюнуть на форекс?

Совершенно верно! Политика, инсайд, ну и незабываем, что вообще, "форекс" это не тот форекс который настоящий, а его порочно-искаженная симуляция в конторках гэмблингового типа, как в тех где по началу торговал Лари со всем известной книжки. Форекс — самый эффективный(читай непредсказуемый) рынок. А таким как мы, джентльменам удачи, нужно шариться только где брезгуют, или тесно, конторкам вроде рентеха, иначе они вычистят всё до крошки. Некоторые считают, что процесс "чистки" не очень аккуратный и добавляет вторичный сор, но это спорно, точнее такое вторсырьё освоить существенно сложнее.

Но зато форекс — отличный поводырь для всего остального, особенно если получать данные без посредников, сырьё, фонда и тем более крипта, всё лагает по сравнению с форексом, ну, в среднем. А что ещё нужно кроме опережающей информации?

Хотя играть в игру, кто быстрее, дело не благодарное, но а что остается? "Просто" нужно постоянно искать малоликвид и не проработанные рынки, как вот сейчас крипта, и добавлять туда эффективность, своим потом и кровью(а возможно даже жизнью). Там где "всё украдено до нас", таким как мы имхо ловить нечего, по крайней мере вот так, экстраполируя историю цен, новомодными трансформерами.


Повторяем как мантру: Данные, данные, данные… Лимпопо, лимпопо, лимпопо...)))

Откуда предполагается брать данные, например, про содержание завтрашнего (а потом ещё и через неделю, через месяц) поста Трампа в его тру соцсети? А ведь это может повернуть не один рынок.

Проблема не только в том, что рынок нестационарен - проблема в том, что он нестационарен внезапно)

[Удален]
Человек ко всему привыкает. По идее, к нестационарности рынка тоже :)
Не вертел регрессионные модели раньше, а получается как-то без усилий и довольно неплохо.


[Удален]
Просто складывается впечатление, что повторяются одни и те же,  покрытые желеобразной массой, клише 10-летней давности и с тех пор ни у кого ничего не произошло :)
Maxim Dmitrievsky #:
Просто складывается впечатление, что повторяются одни и те же,  покрытые желеобразной массой, клише 10-летней давности и с тех пор ни у кого ничего не произошло :)
Ну, клише могут сменять друг друга сильно неподходящим для успешного трейдинга образом) Классика жанра же - увидеть тренд и войти на развороте) Не зря же всякие усреднятели так популярны - треть форума о них, наверно)