Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3506

[Aleksey Nikolayev]

Aleksey Vyazmikin #:

Суть то не в сопоставлении моего метода в конечном итоге (он не идеален), а в том, что я показал в экспериментах, что с каждой итерации вероятность выбора эффективного сплита (который будет с тем же вектором смещения на новых данных) уменьшается и это, по сути, является причиной получения неустойчивых моделей.

При этом я детализировал ситуацию по итерациям для каждого предиктора, и показал, что есть диапазоны, в которых предиктор даёт квантовые отрезки с высокой вероятностью устойчивости на новых данных. У всех предикторов по разному - отсюда вывод о важности последовательности выбора предикторов для сплита.

Вопрос в том, как можно влиять на вероятность выбора эффективного сплита (в моём случае двойной сплит - квантовый отрезок). Если можно увеличить вероятность, то ошибочных сплитов будет меньше.

Ужас) В ответ на попытку нормализации употребления одного термина вы просто высыпаете пригорошню новых терминов) Очевидно, этот алгоритм никогда не сойдётся ни к чему разумному и общедоступному)

[Aleksey Vyazmikin]

Aleksey Nikolayev #:

Ужас) В ответ на попытку нормализации употребления одного термина вы просто высыпаете пригорошню новых терминов) Очевидно, этот алгоритм никогда не сойдётся ни к чему разумному и общедоступному)

Кто хочет понять - спрашивает, что не понимает.

[[Удален]]

Aleksey Vyazmikin #:

Кто хочет понять - спрашивает, что не понимает.

Чем ваш способ отличается от кластеризации?

#этодругое

[mytarmailS]

Aleksey Vyazmikin #:

Похоже, Вы один и не поняли алгоритм...

:) 

Ню ню

[[Удален]]

Мне за вас загнать ваши определения в чатгпт и попросить расшифровку? Или сами сделаете.

С недавнего времени, арбитром на форуме принято считать чатгпт в некоторых кругах. 

[Aleksey Nikolayev]

Aleksey Vyazmikin #:

Кто хочет понять - спрашивает, что не понимает.

Ну вот, спросил почему считаете ваш алгоритм нежадным (в общепринятом смысле) - ответа не увидел.

[mytarmailS]

Aleksey Nikolayev #:
Ну вот, спросил почему считаете ваш алгоритм нежадным (в общепринятом смысле) - ответа не увидел.

Вы не первый) 

[[Удален]]

забил последние несколько ваших постов в чатгпт 4:

И снова, старая песня о главном. Продолжил тестировать метод квантования через ZZ, воспользовался уже отработанной схемой:

1. Разложение предикторов на квантовые отрезки по выборке train.

2. Оценка каждого квантового отрезка на выборке train для отбора в пул.

3. Удаление/фильтрация части выборки, описывающейся квантовым отрезком со смещением целевой "0" по заданному критерию. В этот раз смотрел, есть ли эффект от квантового отрезка на выборке test для подтверждения.

Сделал 100 итераций.

Такой результат для выборок train, test, exam. Показатель - вероятность появление целевой единицы (процент единиц в выборке).

Стало интересно, а вообще какие шансы у модели выбрать правильные квантовые отрезки, что бы показывали они устойчивый результат на трёх выборках.

Квантовые отрезки отбираются для каждой целевой отдельно, хотя мой нехитрый алгоритм и использовал только негативную целевую "0" для построения модели, но статистика по целевой "1" так же есть - красная кривая на графике. На графике ниже показано количество отобранных квантовых отрезков для двух целевых на каждой итерации.

Форма графика говорит об отсутствии линейной зависимости от номера итерации, но похоже есть корреляция между числом целевых накаждой итерации. Если график для целевой "1" находится в условном диапазоне, то вот для целевой "0" видим какой то взрывной рост на 2/3 графика с дальнейшей наметившейся динамикой на снижение.

Ниже представлен график, показывающий процент содержания устойчивых квантовых отрезков для каждой из целевой.

Похоже на обратную корреляцию - не ясна причина. Так же обращает внимание на себя сильное падение шансов выбрать хороший квантовый отрезок для целевой "0" до примерно 40 итерации - на донышке шанс в пределах 5%, что очень мало, на 2/3 происходит возврат к изначальной вероятности. Такой разброс удивляет, как и выраженная динамика на протяжении многих итераций.

Продолжаю эксперименты, последнее прошлое сообщение было тут.

Напомню вкратце, суть берём выборку, разбиваем на квантовые отрезки, оцениваем эти отрезки на предмет устойчивости смещения вероятности относительно бинарной вероятности всех строк подвыборки. Отбираем из отобранного набора квантовых отрезков тот квантовый отрезок, который считаем наиболее хорошим кандидатом для выделения области с негативным классом. Убираем из выборки диапазон, попавший в квантовый отрезок и повторяем итерацию. По сути это очень похоже на построение древовидных моделей, но тут выделение пеньков происходит. Постепенно выборка уменьшается, вероятность позитивного класса растёт, что в итоге должно приводить к положительному балансу на выборке вне обучения (exam - она у меня именуется).

Ранее я публиковал уже график с падением вероятности выбрать эффективный квантовый отрезок при большом числе итераций. Напомню, как он выглядит на конкретном примере для двух классов.

На графике видно, что с увеличением итераций уменьшается вероятность выбора правильного (с положительным смещением вероятности на новых данных) квантового отрезка (сплита по диапазону).

Решил взглянуть, а как эта вероятность проявляется на конкретном предикторе - есть ли там устойчивость от итерации к итерации. На каждой итерации я посчитал число отобранных квантовых отрезков и число с положительным смещением вероятности на новых данных, а потом определил процент последних. Оказалось, что бывают случаи, когда на итерации квантовые отрезки от предиктора небыли отобраны - тогда значение показателя равно нулю, а вот если были отобраны, но среди них нет правильных (нужных\эффективных), то значение получает -100.

Зоопарк получился весьма разнообразным, вот некоторые образцы.

Видно, что вероятность уменьшается по разному и плавно и скачками внутри отдельных предикторов, почему так по разному - не ясно пока до конца.

Ещё интересным кажется, что есть предикторы, которые поставляют квантовые отрезки, проходящие отбор на выборке train, но на новых данных совершенно не эффективные - вот они хорошо будут мешать обучению - нужны дополнительные методы для уменьшения вероятности их попадания.

Интересным кажется и то, что предикторы становятся поставщиком квантовых отрезков (отбираемых) не обязательно с первых итераций, что приводит к мысли о важности соблюдения последовательности использования предикторов на разной глубине дерева.

Если есть какие соображения - пишите. Думаю о какой то совокупной метрики для оценки процесса, что бы можно было покрутить настройки отбора предикторов и посмотреть их влияние на изменение результата.

сравни мой подход с иерархической кластеризацией!

Ваш подход к квантованию через ZZ и последующему анализу квантовых отрезков представляет собой интересный и инновационный метод анализа данных, особенно в контексте выбора и оценки предикторов. Этот метод имеет некоторые сходства, но и значительные отличия от иерархической кластеризации. Давайте рассмотрим основные аспекты обоих подходов для сравнения:

### Квантование через ZZ:

1. **Цель**: Выделение и оценка квантовых отрезков предикторов для определения их влияния на целевую переменную.
2. **Метод**: Разбиение предикторов на квантовые отрезки, оценка их влияния на обучающей выборке, и последующая фильтрация выборки на основе этих отрезков.
3. **Применение**: Особенно полезен для выявления устойчивых отношений между предикторами и целевой переменной, а также для уменьшения размерности данных путем исключения менее значимых предикторов.
4. **Особенности**: Возможность анализа динамики изменения вероятности выбора эффективных квантовых отрезков в зависимости от итераций.

### Иерархическая кластеризация:

1. **Цель**: Группировка объектов на основе их сходства, формирование иерархии кластеров от наиболее похожих объектов к группам, содержащим эти объекты.
2. **Метод**: Рекурсивное объединение или разделение объектов или кластеров на основе меры их сходства или расстояния.
3. **Применение**: Широко используется для анализа данных, где необходимо выявить структуру в данных или группы похожих объектов без предварительного знания количества кластеров.
4. **Особенности**: Визуализация в виде дендрограммы, позволяющей оценить как объединение кластеров, так и расстояние между ними.

### Сравнение:

- **Цели и применение**: Ваш метод фокусируется на анализе влияния предикторов на целевую переменную, в то время как иерархическая кластеризация направлена на выявление структуры в данных через группировку похожих объектов.
- **Методология**: Квантование через ZZ работает с предикторами и их влиянием на целевую переменную, тогда как иерархическая кластеризация основана на мерах сходства между объектами или кластерами.
- **Результаты и интерпретация**: Ваш подход позволяет прямо анализировать и оптимизировать влияние предикторов, в то время как иерархическая кластеризация предоставляет общую структуру данных и группы похожих объектов.

Ваш метод кажется более целенаправленным на определенные задачи прогнозирования и анализа влияния, в то время как иерархическая кластеризация предлагает более общий инструмент для исследования структуры данных. Оба подхода могут быть полезны в разных контекстах и для разных целей анализа данных.

[[Удален]]

Продолжение:

Если вы уберете целевые переменные из вашего метода, то он может стать похожим на иерархическую кластеризацию в том смысле, что оба подхода могут быть использованы для группировки данных без учета заранее известных меток классов. Иерархическая кластеризация — это метод анализа данных, который стремится построить иерархию кластеров. Основное отличие иерархической кластеризации от других типов кластеризации заключается в том, что она не требует предварительного указания количества кластеров. Вместо этого результат представляет собой дендрограмму, позволяющую понять взаимосвязи между отдельными объектами и группами.

Однако важно понимать, что простое удаление целевых переменных не автоматически превращает любой метод в иерархическую кластеризацию. Иерархическая кластеризация имеет свои уникальные алгоритмические особенности, такие как агломеративный (объединение) или дивизивный (разделение) подходы к формированию кластеров. Для того чтобы ваш метод соответствовал иерархической кластеризации, он должен включать механизмы для последовательного объединения или разделения данных на кластеры на основе меры сходства или расстояния между данными.

Если ваш метод включает в себя подобные механизмы и не использует заранее заданные метки для группировки данных, то он может быть схож с иерархической кластеризацией по своей сути. Однако для более точного ответа необходимо знать детали вашего метода.

[[Удален]]

Отсебятина:

кто вам сказал, что ваши метки классов помогают модели определить лучшие квантрезки (кластеры), а не ухудшают результат отбора, если бы вы просто использовали кластеризацию?

Потому надо определиться, у вас model based или model agnostic подход. Можно делать и так и так, но второй предпочтительнее, потому что опирается только на данные, а не на структуру модели.