Разработчики MT5 создали узконаправленный алгоритм сжатия истории котировок, превосходящий по сжатию все универсальные архиваторы - MQL4 и MetaTrader 4

Vladimir Gomonov 2010.03.06 00:48 #141

Да.

[Удален] 2010.03.06 01:10 #142

Архивация:

Как известно, компрессия данных бывает двух типов: с потерей информации (JPEG, MPEG-4) и без потери (RLE, LZW).

Гипотеза:

Рынок производит информацию с одинаковой скоростью.

Каждый час рынок дает N-байт чистой информации. Это значит, что если всю произведенную рынком информацию за час идеально сжать, то она займет N-байт.

Существует алгоритм компрессии, который сжимает рыночную информацию почти с постоянным битрэйтом.

Использование:

Применить к данным рынка алгоритмы компрессии с целью сжатия информации с постоянным потоком данных (битрэйт).

Пример:

Обрабатывается произведенная рынком информация за крайние 50 минут. Уже сейчас она занимает (в сжатом виде) M-байт (M < N). На основании того, что в итоге за час M должна приблизится к N, и зная алгоритм компрессии, мы можем перебрать варианты такой информации за осташиеся 10 минут, которые бы нам дали эти итоговые N-байт в сжатом виде. И точно откинуть те варианты, которые нам столько не дадут. Т.е. грубое предсказание, и чем ближе к окончанию часа, тем точнее предсказание. На 59-й минуте предсказание на минуту вперед будет с высокой вероятностью.

Выбор алгоритма:

Скорее всего надо останавливаться на методе сжатия с потерей информации, близкий к алгоритмам сжатия потокового видео (звука).

Преобразование базиса:

Но все же если остановиться на алгоритмах без потери информации. То перед тем, как сжимать, чаще всего производятся преобразования (BWT, PPM) данных для более эффективного сжатия. Это преобразование и есть преобразование базиса. Самый удобный базис - тот, который лучше всего поддается сжатию.

P.S.

Разработчики MT5 заявили, что им удалось создать узконаправленный алгоритм сжатия истории котировок, превосходящий по сжатию все универсальные архиваторы. Секрет его в эффективном преобразовании данных перед сжатием. Это не преобразование базиса мажоров, а преобразование одиночных торговых инструментов. Если данное преобразование будет раскрыто разработчиками, его можно будет использовать (не изобретать свой велосипед), как отправную точку к цели преобразования базиса.

Алгоритм поиска закономерностей Модель рынка: постоянная пропускная Машинное обучение в трейдинге:

Sceptic Philozoff 2010.03.06 01:21 #143

Красиво, getch.

Vladimir Gomonov 2010.03.06 01:36 #144

getch писал(а) >>

Самый удобный базис - тот, который лучше всего поддается сжатию.

Или прогнозированию. Масло маслянное. :)

[Удален] 2010.03.06 01:38 #145

MetaDriver >>:

Или прогнозированию. Масло маслянное. :)

Прогнозируемость проверить - проблема. Сжимаемость - нет.

Vladimir Gomonov 2010.03.06 01:40 #146

getch писал(а) >>

Разработчики MT5 заявили, что им удалось создать узконаправленный алгоритм сжатия истории котировок, превосходящий по сжатию все универсальные архиваторы. Секрет его в эффективном преобразовании данных перед сжатием. Это не преобразование базиса мажоров, а преобразование одиночных торговых инструментов. Если данное преобразование будет раскрыто, его можно будет использовать (не изобретать свой велосипед), как отправную точку к цели преобразования базиса.

Можно легко в разы увеличить инфо-ёмкость потока котировок - перейти на дельта-кодирование. Что эквивалентно ретурнс-преобразованию. :) :)

[Удален] 2010.03.06 01:45 #147

MetaDriver >>:
Можно легко в разы увеличить инфо-ёмкость потока котировок - перейти на дельта-кодирование. Что эквивалентно ретурнс-преобразованию. :) :)

Дельта-кодирование - одно из самых примитивных и древних преобразований. Универсальные архиваторы используют отличные по эффективности преобразования данных. Но разработчики MT5 утверждают, что им удалось их существенно переплюнуть. Возможно, это только маркетинг.

Как правильно выравнивать структуры? Машинное обучение в трейдинге: О неравной вероятности движения

Vladimir Gomonov 2010.03.06 01:45 #148

getch >>:

Прогнозируемость проверить - проблема. Сжимаемость - нет.

Тоже не проблема - тестер.

[Удален] 2010.03.06 01:48 #149

MetaDriver >>:

Тоже не проблема - тестер.

Как тестер может помочь в определении уровня прогнозируемости?

Vladimir Gomonov 2010.03.06 01:48 #150

getch >>:

Дельта-кодирование - одно из самых примитивных и древних преобразований. Универсальные архиваторы используют отличные по эффективности преобразования данных. Но разработчики MT5 утверждают, что им удалось их существенно переплюнуть. Возможно, это только маркетинг.

Универсальные архиваторы мало используют специфику конкретных данных. Если её учитывать (знать заранее) можно многое выносить за скобки.

Мысли о некоторой абсурдности мультивалютного анализа. - страница 15