Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3551

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:
кабинную дискретизацию

KBinsDiscretizer — это класс из библиотеки scikit-learn, а не какой то устоявшийся термин.

Бинаризация - один из итоговых вариантов всего процесса.

Квантование и дискретизация — это смежные, но не идентичные концепции, которые часто используются в обработке данных.

Квантование

Квантование (quantization) — это процесс преобразования непрерывных значений в дискретные значения, часто в контексте цифровой обработки сигналов. В процессе квантования непрерывный сигнал или данные разделяются на определённые уровни, и каждому уровню присваивается фиксированное значение. Этот процесс используется, например, при преобразовании аналогового сигнала в цифровой.

Примеры квантования:

• Преобразование звуковых сигналов в цифровой формат при записи аудио.
• Преобразование изображения из непрерывного спектра цветов в ограниченное количество цветовых уровней.

Дискретизация

Дискретизация (discretization) — это более широкий термин, который включает квантование, но также может относиться к разделению данных на отдельные категории или бины. Дискретизация используется для преобразования непрерывных данных в категориальные или дискретные интервалы.

Примеры дискретизации:

• Разделение возрастов людей на категории (например, "молодой", "средний возраст", "пожилой").
• Преобразование непрерывных значений дохода в категории ("низкий", "средний", "высокий").

Сравнение

1. Квантование:

   • Чаще используется в контексте обработки сигналов и изображений.
   • Преобразует непрерывные данные в дискретные уровни.
   • Каждый уровень представляет фиксированное значение.

2. Дискретизация:

   • Более общий термин, включающий квантование.
   • Используется для преобразования непрерывных данных в категориальные или дискретные интервалы.
   • Каждый интервал может представлять категорию или бин, которые могут быть закодированы различными способами.

В контексте машинного обучения и анализа данных, дискретизация часто используется для подготовки данных перед их использованием в моделях, особенно если модели лучше работают с категориальными признаками. Таким образом, можно сказать, что квантование является одной из форм дискретизации, специализированной для обработки сигналов и данных с фиксированными уровнями.

[Aleksey Vyazmikin]

Термин "квантовый отрезок" не является стандартным или широко используемым в науке или технике. Однако, можно предположить, что он может относиться к контексту квантования в обработке данных или сигналов. В таком случае, "квантовый отрезок" можно интерпретировать как интервал или диапазон значений, который присваивается определенному квантовому уровню в процессе квантования.

Квантование и квантовые уровни

В процессе квантования непрерывного сигнала или данных, диапазон возможных значений разбивается на дискретные уровни, называемые квантовыми уровнями. Каждый квантовый уровень соответствует определенному диапазону значений исходного непрерывного сигнала.

Квантовый отрезок

Если говорить о "квантовом отрезке" в этом контексте, то это:

• Интервал значений: Диапазон значений, который относится к одному квантовому уровню. Например, если у нас есть непрерывный диапазон значений от 0 до 10, и мы разбиваем его на 5 квантовых уровней, то каждый квантовый отрезок может составлять диапазон от 0 до 2, от 2 до 4 и так далее.
• Ширина квантования: Разница между верхней и нижней границей квантового отрезка. В примере выше ширина квантового отрезка составляет 2.

Пример

Рассмотрим пример с квантованием непрерывных данных в интервале [0, 10] на 5 квантовых уровней:

1. Диапазон 0-2: Это первый квантовый отрезок.
2. Диапазон 2-4: Это второй квантовый отрезок.
3. Диапазон 4-6: Это третий квантовый отрезок.
4. Диапазон 6-8: Это четвертый квантовый отрезок.
5. Диапазон 8-10: Это пятый квантовый отрезок.

Каждому из этих квантовых отрезков будет присвоен соответствующий квантовый уровень, который может быть представлен, например, числами 1, 2, 3, 4 и 5.

Таким образом, "квантовый отрезок" можно рассматривать как интервал значений, который преобразуется в определенный дискретный уровень в процессе квантования.

[Aleksey Vyazmikin]

Выше - это почти всё ChatGPT. Публикую к тому, что раз модель правильно всё понимает, то термин встречается в данном контексте.

Я не против, если Вы для декодирования моих сообщений будите использовать понятия схожие, но это не значит, что я изменю свои - в своих статьях писал об этом - давно бы прочитали и разобрались уже.

[Aleksey Vyazmikin]

Квантовый отрезок - это бин по сути в концепции дискретизации.

Но опять, же, если переводить этот бин на русский язык, то получим по смыслу ёмкость, в которую укладываются цифровые значения, по сути более примитивное понятие, чем предложил я. Что лучше "ёмкость" (Яндес предлагает считать вообще мусорным ведром, а разработчики CB используют термин "корзина") или "квантовый отрезок"?

А так предлагает переводить ChatGPT:

"

В контексте обработки данных и анализа, термин "bin" чаще всего переводится на русский язык как "интервал" или "корзина". Оба термина используются для обозначения групп значений, на которые разбивается непрерывный диапазон данных.

Возможные переводы:

1. Интервал:

   • Это наиболее технически точный перевод. Он подчеркивает, что речь идет о разделении диапазона значений на интервалы.

2. Корзина:

   • Этот термин менее формален и может использоваться в контексте, где важно подчеркнуть, что значения группируются или "собираются" вместе.

Примеры использования:

• Интервал:

  • "Мы разделили данные на 10 интервалов для анализа распределения."
  • "Гистограмма показывает частоту значений в каждом интервале."

• Корзина:

  • "Мы сгруппировали данные в корзины, чтобы упростить их анализ."
  • "Каждая корзина содержит значения в определенном диапазоне."

Варианты применения в разных контекстах:

1. В контексте гистограмм и статистического анализа:
   • "Интервал" чаще используется, когда речь идет о гистограммах, где данные разбиваются на интервалы для отображения распределения значений.
2. В контексте алгоритмов машинного обучения:
   • "Корзина" может быть более уместным, когда речь идет о группировке данных для подготовки входных данных для алгоритмов.

Примеры:

• Если вы используете библиотеку scikit-learn и функцию KBinsDiscretizer , можно сказать: "Функция KBinsDiscretizer разбивает непрерывные данные на несколько интервалов."
• Если вы создаете гистограмму: "Гистограмма разбивает данные на корзины, чтобы показать распределение значений."

Оба термина являются правильными, и выбор между ними зависит от контекста и предпочтений.

"

Интервал или отрезок - по сути схожие понятия.

[[Удален]]

Вот объяснение из физики

https://physics.stackexchange.com/questions/206790/difference-between-discretization-and-quantization-in-physics

Я все-таки склоняюсь к тому, что в вашем случае лучше называть это дискретизацией, а при сжатии информации - квантизацией. Собственно в МО примерно такой смысл и есть, квантизация это синоним сжатия. А дискретизация это разделение непрерывной величины на бины.

Поэтому у меня нерациональный (непознанный) бунт против ваших определений :)

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:
Вот объяснение из физики

Хороший пример, что люди профильно занимающиеся темой, не могут прийти к общему мнению.

Дискуссия завершается словами: " И чтобы ответить на вопрос "почему мы используем название "квантовая механика" вместо "дискретная механика"?  вероятно, это потому, что это открыли немцы.. " :)

Maxim Dmitrievsky #:

Я все-таки склоняюсь к тому, что в вашем случае лучше называть это дискретизацией, а при сжатии информации - квантизацией. Собственно в МО примерно такой смысл и есть, квантизация это синоним сжатия. А дискретизация это разделение непрерывной величины на бины.

Не, всё это об одном. Деля на бины Вы теряете информацию, что и является сжатием.

Вообще такая мысль после физиков, что квантование это разделение на бины со смыслом, а не просто равномерно или по иной формуле.

Если это ближе к истине, то как раз моя задача в том, что бы найти такие диапазоны, в которых разная логика информации по содержанию, т.е. имеется смещение вероятности, поэтому квантование ближе мне, чем просто дискретизация.

[[Удален]]

Aleksey Vyazmikin #:

Хороший пример, что люди профильно занимающиеся темой, не могут прийти к общему мнению.

Дискуссия завершается словами: " И чтобы ответить на вопрос "почему мы используем название "квантовая механика" вместо "дискретная механика"?  вероятно, это потому, что это открыли немцы.. " :)

Не, всё это об одном. Деля на бины Вы теряете информацию, что и является сжатием.

Вообще такая мысль после физиков, что квантование это разделение на бины со смыслом, а не просто равномерно или по иной формуле.

Если это ближе к истине, то как раз моя задача в том, что бы найти такие диапазоны, в которых разная логика информации по содержанию, т.е. имеется смещение вероятности, поэтому квантование ближе мне, чем просто дискретизация.

Ну а в обработке сигналов есть такое:

https://www.audiolabs-erlangen.de/resources/MIR/FMP/C2/C2S2_DigitalSignalQuantization.html

Говорят, что квантизация - это 2-х ступенчатая дискретизация :) сначала по X, потом по Y

[[Удален]]

Ну из этой картинки следует, что квантизация - это дискретизация по амплитуде и частоте. Окей. Но у вас же не так :) У вас только по амплитуде.

Ну ладно, будем считать что вы проводите предварительный сэмплинг из непрерывной величины, и только потом делаете дискретизацию по амплитуде. Тогда получается действительно квантизация.

Все, допер.

[[Удален]]

Так на чем в итоге вы остановились? Дает это сейчас норм модели, или такое себе? В чем завтык?

Ваши боты же на другой логике, по МО-хе нет там ТС?             

[mytarmailS]

Aleksey Vyazmikin #:

Не, всё это об одном. Деля на бины Вы теряете информацию, что и является сжатием.

Не надо ля-ля..

Существуют алгоритмы сжатия без потерь