Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3156

 
mytarmailS #:

это стеб?

Не
 
Evgeni Gavrilovi #:

То есть на последнем вашем графике результат работы скрипта в последней статье? https://www.mql5.com/ru/articles/9138

Не добавили новую функцию?

Результат моей, они похожи со статейной 
Это все детали, главное понимание материала
 
Maxim Dmitrievsky #:
Не

пакеты это хорошо, но сначало же надо понимать в принцепе что надо делать.


ответ чата про методы козули


Существует несколько методов, которые используются для причинного вывода. Некоторые из наиболее распространенных методов включают:

  1. Случайно контролируемые эксперименты: Это метод, который используется для выявления причинно-следственных связей в сложных средах. Он включает полный контроль над механизмом назначения, и назначение является случайным1.
  2. Наблюдательные данные: Этот метод используется, когда эксперименты невозможны или непрактичны. Он включает анализ данных, собранных из естественных источников, таких как опросы или административные записи1.
  3. Инструментальные переменные: Этот метод используется для выявления причинно-следственных связей, когда есть проблемы с эндогенностью или отсутствием данных1.
  4. Сопоставление по склонности: Этот метод используется для сопоставления групп с похожими характеристиками, чтобы устранить влияние путаницы1.
  5. Оценщик разности в разности: Этот метод используется для анализа изменений во времени и между группами1.

Это лишь несколько из множества методов, которые используются для причинного вывода. Каждый метод имеет свои преимущества и недостатки, и выбор метода зависит от конкретной ситуации и доступных данных.


раскажы про п.1

Случайно контролируемые эксперименты, также известные как рандомизированные контролируемые испытания (RCT), являются мощным методом для выявления причинно-следственных связей. В RCT участники случайным образом разделяются на две или более группы. Одна группа получает воздействие (например, лекарство), а другая группа получает плацебо или стандартное лечение. Затем исследователи сравнивают результаты между группами, чтобы определить, есть ли разница в результатах.

Основным преимуществом RCT является то, что случайное распределение участников по группам помогает устранить смещение и путаницу. Это означает, что любые различия в результатах между группами могут быть приписаны воздействию, а не другим факторам.

Однако RCT не всегда возможны или практичны. Например, они могут быть дорогостоящими, требовать большого количества времени и ресурсов, или быть неприемлемыми с этической точки зрения. В этих случаях исследователи могут использовать другие методы причинного вывода.


======================================

Ты это делаешь? Это же фиче селекшн boruta по ходу 


 
Maxim Dmitrievsky #:

Проверять можете сами, я развил немного тему козула, чтобы не скучали.

Явно у вас переосмысленное и перегруженное (в программитском смысле) понятие тритмента. Исходно, это гораздо более простая и однозначная вещь. Не может ли настолько расширенное представление привести к переобучению? В том смысле, что большая гибкость всегда может привести к нему.

 
Aleksey Nikolayev #:

Явно у вас переосмысленное и перегруженное (в программитском смысле) понятие тритмента. Исходно, это гораздо более простая и однозначная вещь. Не может ли настолько расширенное представление привести к переобучению? В том смысле, что большая гибкость всегда может привести к нему.

Не знаю, я Макдональдс кушаю :) Наверное. Я просто обсасывал материал предложенный, со всех сторон.
 
mytarmailS #:

пакеты это хорошо, но сначало же надо понимать в принцепе что надо делать.


ответ чата про методы козули


Существует несколько методов, которые используются для причинного вывода. Некоторые из наиболее распространенных методов включают:

  1. Случайно контролируемые эксперименты: Это метод, который используется для выявления причинно-следственных связей в сложных средах. Он включает полный контроль над механизмом назначения, и назначение является случайным1.
  2. Наблюдательные данные: Этот метод используется, когда эксперименты невозможны или непрактичны. Он включает анализ данных, собранных из естественных источников, таких как опросы или административные записи1.
  3. Инструментальные переменные: Этот метод используется для выявления причинно-следственных связей, когда есть проблемы с эндогенностью или отсутствием данных1.
  4. Сопоставление по склонности: Этот метод используется для сопоставления групп с похожими характеристиками, чтобы устранить влияние путаницы1.
  5. Оценщик разности в разности: Этот метод используется для анализа изменений во времени и между группами1.

Это лишь несколько из множества методов, которые используются для причинного вывода. Каждый метод имеет свои преимущества и недостатки, и выбор метода зависит от конкретной ситуации и доступных данных.


раскажы про п.1

Случайно контролируемые эксперименты, также известные как рандомизированные контролируемые испытания (RCT), являются мощным методом для выявления причинно-следственных связей. В RCT участники случайным образом разделяются на две или более группы. Одна группа получает воздействие (например, лекарство), а другая группа получает плацебо или стандартное лечение. Затем исследователи сравнивают результаты между группами, чтобы определить, есть ли разница в результатах.

Основным преимуществом RCT является то, что случайное распределение участников по группам помогает устранить смещение и путаницу. Это означает, что любые различия в результатах между группами могут быть приписаны воздействию, а не другим факторам.

Однако RCT не всегда возможны или практичны. Например, они могут быть дорогостоящими, требовать большого количества времени и ресурсов, или быть неприемлемыми с этической точки зрения. В этих случаях исследователи могут использовать другие методы причинного вывода.


======================================

Ты это делаешь? Это же фиче селекшн boruta по ходу 


Ну про мета лернеры спроси и ортогональное обучение, все же есть в книге. И про кросс фитинг.
 
Maxim Dmitrievsky #:
Ну про мета лернеры спроси и ортогональное обучение, все же есть в книге

Мета-обучение - это подход к машинному обучению, который позволяет алгоритмам быстро адаптироваться к новым задачам на основе предыдущего опыта. В контексте причинного вывода мета-обучение может использоваться для повторного использования предсказательных моделей для причинного вывода1.

Все предсказательные модели, такие как линейная регрессия, усиленные деревья решений, нейронные сети или гауссовские процессы, могут быть адаптированы для причинного вывода с помощью подходов, описанных в этой главе. Таким образом, успех мета-обучения зависит от качества используемых предсказательных моделей и от того, насколько хорошо они адаптированы к задаче причинного вывода1.

Это довольно новая и активно развивающаяся область исследований, и существует множество различных подходов к мета-обучению в контексте причинного вывода.

========================

Ортогональное обучение - это подход к машинному обучению, который используется для улучшения причинного вывода. Один из примеров ортогонального обучения - это двойное машинное обучение (Double Machine Learning), предложенное Черножуковым и др. 1. Этот метод использует двухэтапную оценку, которая сначала ортогонализирует эффект высокоизмерных факторов путаницы с помощью сложных алгоритмов машинного обучения, включая Lasso2.

Ортогональное обучение также используется в других методах причинного вывода, таких как ортогональный случайный лес (Orthogonal Random Forest)1. Этот алгоритм сочетает двойное машинное обучение с обобщенными случайными лесами для статистической оценки условных моделей моментов с использованием случайных лесов.

В целом, ортогональное обучение позволяет улучшить точность и надежность причинного вывода, устраняя влияние факторов путаницы и снижая чувствительность к ошибкам в оценке параметров.

 
Aleksey Nikolayev #:

Явно у вас переосмысленное и перегруженное (в программитском смысле) понятие тритмента. Исходно, это гораздо более простая и однозначная вещь. Не может ли настолько расширенное представление привести к переобучению? В том смысле, что большая гибкость всегда может привести к нему.

Максим выше написал - на ООС не работает, а это главный признак переобучения модели.

По своему смыслу, как я понял, берется модель, результаты которой пытаются уточнить с целью уменьшения ошибки.

Но источником ошибки в МО являются сами данные, когда одни и те же значения предикторов предсказывают разные классы в разных ситуациях. Этот недостаток предикторов невозможно исправить никакими математическими упражнениями, нельзя исправить мусор, но на мусоре можно получить очень маленькую ошибку при обучении, потому что алгоритм найдет "удобные" данные и покажет хороший результат. Но на новых данных результат плачевный, потому как там свой мусор.

Вместе с тем проблема использования кажуал видится так.

Предположим у нас есть предикторы, 50% значений которых предсказывают один из классов, а другие 50% предсказывают случайным образом любой класс.

 Подгоняем модель и получаем ошибку классификации.

Теперь вопрос: эта ошибка классификации она соответствует разделению значений предикторов или нет? Если можно улучшить, то тогда кажуал, а если нельзя, то ни в коем случае НЕ кажуал, так как получаем сверх подгонку модели.

 
Maxim Dmitrievsky #:
Ну да. Тритмент переменную можно выкинуть из списка и сделать улучшатор без нее. С ней у меня не получается. А чтобы получить несмещенную оценку делается кросс фитинг.

Я точно так же вдуплял сидел в эти определения, так что не переживайте :)

тут не в терминологии вопрос , а вообще что это и как применять..

Двойное машинное обучение (Double Machine Learning) - это метод, который используется для оценки причинно-следственных связей в данных

1) Что оценивать?

2) Ну оценил и что дальше?

 
mytarmailS #:

тут не в терминологии вопрос , а вообще что это и как применять..

Двойное машинное обучение (Double Machine Learning) - это метод, который используется для оценки причинно-следственных связей в данных

1) Что оценивать?

2) Ну оценил и что дальше?

Дальше можно трансформировать целевые и получить веса, писал уже. Они будут несмещенными. Большая часть козули про несмещегные оценки.


Причина обращения: