Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 181

 
Vizard_:

Миха, опять чтоль?))) угараю... Не знаю как вы, а мы и делим, и режим, и клочья вырываем)))


Красиво. Это серьёзные графики, или сарказм? Ручное разбиение гиперпространства? А как это делать если предикторов не 2, а 20?
 
Dr.Trader:
Красиво. Это серьёзные графики, или сарказм? Ручное разбиение гиперпространства?
Сарказм с подсказкой. Рисунок от руки. Проблем разбить на машине так, или покруче, нет. Главное что бы работало в будущем...
 
Dr.Trader:
Красиво. Это серьёзные графики, или сарказм? Ручное разбиение гиперпространства? А как это делать если предикторов не 2, а 20?
Сущность та же, ничего принципиально не меняется, если фичи квази-ортогональные, если нет желательно сжать размерность, но вообще неважно, что 1 что 3, что 30, это всего то процесс "маскирования" гиперпространства, в случае классификации
 
SVM с кернелом такие картинки показывает. Может любое разбиение на обучении показать. Но чем подробнее, тем выше шанс погоднать.
 
Dr.Trader:
Красиво. Это серьёзные графики, или сарказм? Ручное разбиение гиперпространства? А как это делать если предикторов не 2, а 20?
Разбиение Воронного, похожие картинки нарисует.
 
toxic:
Сущность та же, ничего принципиально не меняется, если фичи квази-ортогональные, если нет желательно сжать размерность, но вообще неважно, что 1 что 3, что 30, это всего то процесс "маскирования" гиперпространства, в случае классификации
Если  размерность уменьшена на порядок обучение существенно легче, да и шумы при сжатии должны уменьшаться, имхо. 
 
sibirqk:
Если  размерность уменьшена на порядок обучение существенно легче, да и шумы при сжатии должны уменьшаться, имхо. 

смотря какая задача....

например когда нужна точность входа, как было у меня, я тренил алго на отскоки, то при снижении размерности(делал "РСА") зрение у алго как бы замыливаеться\смазываеться\сглажываеться  и он у меня вместо того чтобы ловить отскок начинал покупать на хаях и продавать на лоях

 
sibirqk:
Если  размерность уменьшена на порядок обучение существенно легче, да и шумы при сжатии должны уменьшаться, имхо. 

Конечно, однако тут не так все просто, например SVM линеен, со всеми вытекающими, но другое дело всеми любимый его ядерный вариант, но почему? Всё дело в "kernel trick", который делает не что иное, как проецирование в значительно более многомерное пространство, для e^(-||w-x||^к) вообще бесконечно мерное, почему Вы думаете что самые простые ядерные классификаторы так хорошо работают? Всё дело что измерений становится пропорционально больше, чем на сколько участков была разделена выборка для умножения на каждое ядро и в зависимости от функции ядра, поиграйтесь с размером ядра для ядерного SVM и скоростью его обучения и расчета. Многомерность не всегда плохо. 

Конкретно в нашем случае как правильно выше говорили некоторые господа, дело в данных, а не инструментах машинного обучения. Не помогут всякие ухищрениях сжатия размерностей, автоматические фичаэкстракторы аля сверточных сетей, если на входе вообще только многомерный шум и был или вообще одномерный:) 

https://en.wikipedia.org/wiki/Renaissance_Technologies 

The firm is an early pioneer of quantitative trading, where researchers tap decades of diverse data in its vast petabyte-scale data warehouse to assess statistical probabilities for the direction of securities prices in any given market. Experts attribute the breadth of data on events peripheral to financial and economic phenomena that Renaissance takes into account, and the firm's ability to manipulate enormous amounts of data by deploying highly efficient and scalable technological architectures for computation and execution, for its consistent success in beating the markets.[19] In many ways, Renaissance Technologies, along with a few other firms, has been synthesizing terabytes of data daily and extracting information signals from petabytes of data for almost two decades now, well before big data and data analytics caught the imagination of mainstream technology.[20]

For more than twenty years, the firm's Renaissance Technologies hedge fund, which trades in markets around the world, has employed complex mathematical models to analyze and execute trades, many of them automated. The firm uses computer-based models to predict price changes in easily traded financial instruments. These models are based on analyzing as much data as can be gathered, then looking for non-random movements to make predictions. Some also attribute the firm's performance to employing financial signal processing techniques such as pattern recognition. The Quants describes the hiring of speech recognition experts, many from IBM, including the current leaders of the firm.

Вопрос стоит в том как простому алготрейдуну могущему жертвовать с барского плеча не более 1-2к$ в месяц на данные, всё таки выживать в среде таких монстров вроде Голдмана, Ренесанса и Тезы. Как найти самые самые релевантные данные, верхушку айсберга от того что используют супер гиганты.
 
toxic:
Вопрос стоит в том как простому алготрейдуну могущему жертвовать с барского плеча не более 1-2к$ в месяц на данные, всё таки выживать в среде таких монстров вроде Голдмана, Ренесанса и Тезы. Как найти самые самые релевантные данные, верхушку айсберга от того что используют супер гиганты.

раз уж вы решились сравнивать самоподелки с работами крупных организаций, то, мне кажется, надо бросать поиск каких-то графических паттернов или индикаторов, а сосредоточиться именно на том,чем они и занимаются.

вот тут упоминал интересное решение, https://www.mql5.com/ru/forum/96886/page2#comment_2866637

оно только визуализировало. однако если искать закономерности в том ,как крупные игроки перемещают свои заявки, как они исполняются, как ведет себя цена после крупных маркетов или айсбергов и т.п., то пользы, возможно,будет гораздо больше. все это было видно в упомянутом решении. возможно, подобное еще будет работать на московской бирже,Если они шлют сырой поток,а не агрегированный. на сме год назад ввели обратно агрегированный поток из ядра биржи. на акциях могут возникнуть сложности,т.к. слишком много ECN плюс даркпулы.

Что можно выжать из ленты?
Что можно выжать из ленты?
  • www.mql5.com
Из ленты можно получить следующие исторические данные Изменения баланса/эквити маркетмейкеров и другой стороны. Открытый интерес...
 
 ........ выживать в среде таких монстров вроде Голдмана, Ренесанса и Тезы. Как найти самые самые релевантные данные, верхушку айсберга от того что используют супер гиганты.

может просто поступать проще?

попытаться проанализировать толпу и самого себя в том числе, и прогнозировать действия толпы и потом действовать наоборот, ведь всем этим монстрам  вроде Голдмана, Ренесанса и Тезы, всегда в сделке нужен контр агент (лох) об ликвидность которго он откроет свою позицию и потом поведет лоха на его же  стоп-лос  тем самым спровоцирует всплеск ликвидности уже в другую сторону и об эту же ликвидность и закроет свою позицию, а лох убыток...    Вот и весь рынок, как он есть...  Найдете толпу найдете и крупняк...

Мне даже кажется что вся конкуренция этих монстров   Голдмана, Ренесанса и Тезы  между собой на рынке заключается в том кто скорей нальет лоху...  И не нужно верить этим сказкам про триллионы долларов оборота  на рынке, триллионы есть  у банков а у толпы деньги всегда конечны и в сумме намного скромнее, и они (банки)каждый день ждут с нетерпением новых буратин на своем поле чудес, симулируя активность, в стакане и на рынке в целом 

Причина обращения: