Сохранил золото с 2020 года - 877 млн тиков (3.5 Gb в tkc): каждый месяц отдельный файл с единственным блоком (по аналогии с tkc). Все результаты с нормализацией.
Такая же версия. Вы почему-то иногда отдаете четыре байта на хранение приращения цены.
Да и здесь избыток, вроде.
Int(четыре байта) хватает с запасом для хранения целочисленной цены, включая отрицательные (нефть...).
Блоки теперь независимы и в начале каждого пишутся точные цены, все остальное - дельты.
Это сделано для распаковки ZIP с нужной даты, чтобы не распаковывать весь год и искать дату - быстро ищется нужный блок и в нем уже есть начальная цена, распаковываем начиная с него.
Aleksei Kuznetsov #: Блоки теперь независимы и в начале каждого пишутся точные цены, все остальное - дельты.
Это сделано для распаковки ZIP с нужной даты, чтобы не распаковывать весь год и искать дату - быстро ищется нужный блок и в нем уже есть начальная цена, распаковываем начиная с него.
Такая же версия. Вы почему-то иногда отдаете четыре байта на хранение приращения цены.
Да и здесь избыток, вроде.
Int(четыре байта) хватает с запасом для хранения целочисленной цены, включая отрицательные (нефть...).
Уже обсуждал это с ИИ потому и сделал long.
Переход на 32-битный int для хранения опорных цен ( ap , bp , lp ) в начале блока требует строгого контроля диапазона значений, так как максимальное положительное значение int составляет 2 147 483 647 (около 2.14 млрд пунктов).
Плюсы хранения опорных цен в int
Экономия места на диске: Вы экономите 8 байт на блок в режиме BidAsk (два поля по 4 байта вместо 8) и 12 байт на блок в режиме All ( ap , bp , lp ).
Чуть быстрее чтение заголовка блока: Меньше сдвигов при сборке 32-битного числа из байтового массива по сравнению с 64-битным long .
Минусы и критические риски
Риск переполнения (главный минус): На инструментах с высокой ценой и мелким шагом ( Point ) значение ToLong(price) легко превышает 2.14 млрд. Например:
Индексы (US30, DAX, NAS100) при цене 45 000.00 и Point = 0.01 дают 4 500 000 (пока влезает), но при Point = 0.001 или на криптовалютах ( BTCUSD при цене 100 000.00 и Point = 0.0001 или 0.00001 ) число достигает 10 000 000 000 , что вызовет переполнение int , уход цены в минус и полное искажение котировок.
Аномальные выбросы (шпильки) на неликвидных бумагах или некорректные нулевые/огромные тики в истории также могут превысить лимит int .
Ничтожный выигрыш в масштабе архива: Блок содержит 50 000 тиков и весит ~150–300 КБ. Экономия 8–12 байт раз в 50 000 тиков составит менее 0.005% от размера файла (~8 КБ на 100 МБ архива).
Ломка обратной совместимости: Все уже записанные .bin -архивы перестанут читаться и потребуют полной перезаписи.
Вывод
Овчинка не стоит выделки. Экономия в 8–12 байт на блок из 50 000 тиков практически равна нулю, а риск словить переполнение на криптовалютах, индексах или инструментах с высокой точностью ( Digits >= 5 при цене > 21.4) слишком высок. Лучше оставить опорные цены в long .
Оставляем опорные цены в long или хотите реализовать гибридный вариант с проверкой диапазона int при записи?
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Int - для скорости? Потому что для приращения в пипсах он явно избыточен.
Какая то не та версия у вас.
Сейчас распаковка такая
Какая то не та версия у вас.
Сейчас распаковка такая
Такая же версия. Вы почему-то иногда отдаете четыре байта на хранение приращения цены.
Да и здесь избыток, вроде.
Int(четыре байта) хватает с запасом для хранения целочисленной цены, включая отрицательные (нефть...).
Здесь можно посчитать сразу общее число тиков в архиве со всеми блоками. И тогда сделать один ArrayResize.
MathTicker не собирает все тики в один большой массив, а работает блоками по 50000 тиков. Т.е. расширение размера 1 раз на первом блоке.
Но теоретически такое использование возможно. ИИ написал быстро.
Остальной код без изменений.
Файл TickCompressor обновил.
Новый кодек жмет на ~40% слабее старого. Проверял на золоте. Скорость буду смотреть.
Сохранил золото с 2020 года - 877 млн тиков (3.5 Gb в tkc): каждый месяц отдельный файл с единственным блоком (по аналогии с tkc). Все результаты с нормализацией.
MathTicker не собирает все тики в один большой массив, а работает блоками по 50000 тиков.
Такая же версия. Вы почему-то иногда отдаете четыре байта на хранение приращения цены.
Да и здесь избыток, вроде.
Int(четыре байта) хватает с запасом для хранения целочисленной цены, включая отрицательные (нефть...).
Это сделано для распаковки ZIP с нужной даты, чтобы не распаковывать весь год и искать дату - быстро ищется нужный блок и в нем уже есть начальная цена, распаковываем начиная с него.
Блоки теперь независимы и в начале каждого пишутся точные цены, все остальное - дельты.
Это сделано для распаковки ZIP с нужной даты, чтобы не распаковывать весь год и искать дату - быстро ищется нужный блок и в нем уже есть начальная цена, распаковываем начиная с него.
Я про другое.
Вы на полноценную цену выделяете восемь байтов, когда четырех хватает.
А на дельту выделяете четыре байта в 75% switch-вариантов.
Вот здесь на дельту было по два байта.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Библиотеки: TickCompressor - со сжатием 1 тика до 2-3 байт в срднем
fxsaber, 2026.11.14 16:23
Такая же версия. Вы почему-то иногда отдаете четыре байта на хранение приращения цены.
Да и здесь избыток, вроде.
Int(четыре байта) хватает с запасом для хранения целочисленной цены, включая отрицательные (нефть...).