Canvas - это круто! - страница 103

 
fxsaber #:
Знать бы сайты с обсуждением темы.


Складывается впечатление, что по некоторым темам самые сильные результаты именно на MQL5 созданы. Например, выложенный сегодня компрессор.

На хабре можно найти теорию по сжатию. Смысл обобщить наиболее компактно все что повторяется, а дальше зависит от фантазии. Это может быть бинарное представление или текстовое.

При сжатии аудио, сигнал делят на детерминированную и не детерминированную составляющую, первую представляют формулой, вторую сжимают.

В видео выделяют ключевые кадры и получают изменения от них. 

При сжатии с потерями используют БПФ или вейвлеты, удаляя незначительные коэффициенты. 

Собирается статистика по числу повторов, строится словарь для кодирования наиболее частых значений наименьшим числом бит.

НС так же можно использовать для сжатия.
 
Rorschach #:

На хабре можно найти теорию по сжатию.

Формулировка задачи.
 

тайм-серии и тики в том числе, сейчас модно-современно писать/обмениваться через parquet https://parquet.apache.org/

его все знают и поддерживают; он и сам по себе компактный а из-за того что колонко-ориентирован (однородные данные лежат рядышком) ещё и сжимается великолепно. 

а изобретать ещё один формат,  так себе удовольствие..если только времени до вола

Parquet
Parquet
  • parquet.apache.org
Apache Parquet Documentation Releases Apache Parquet is an open source, column-oriented data file format designed for efficient data storage and retrieval. It provides high performance compression and encoding schemes to handle complex data in bulk and is supported in many programming languages and analytics tools.
 
Maxim Kuznetsov #:

тайм-серии и тики в том числе, сейчас модно-современно писать/обмениваться через parquet https://parquet.apache.org/

его все знают и поддерживают; он и сам по себе компактный а из-за того что колонко-ориентирован (однородные данные лежат рядышком) ещё и сжимается великолепно. 

а изобретать ещё один формат,  так себе удовольствие..если только времени до вола

Интересная штука, использует те же SNAPPY, BROTLI, LZ4, ZSTD