Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3357

 
Andrey Dik #:

Ну как же, было множество попыток, правда я не знаю их успешных публичных результатов. Самое простое, что делалось - трактовать выход единичного нейрона как вероятность селл/бай в диапазоне [-1.0;1.0], ничего хорошего из этого не получилось, применение порога не помогает.

Другое дело, что можно применять распределение выходов нейрона как вероятность, но я не видел что бы это кто-то делал. К примеру, при одних и тех же сигналах селл/бай выходного нейрона сети при обучении, распределение значений может сильно отличаться, соответственно и поведение на OOS будет разным.

К тому же, я давно показывал графики обучения и поведения на OOS, где линия идёт не переламываясь, конечно без спреда, причем на вход подавались приращения простых машек с разных тайфреймов, элементарщина. А тут вот некоторые гении вдруг сделали "гениальный" вывод, что спред влияет на поведение на OOS.

Всё же, классификация - это относительно простой частный случай, в котором распределение выхода дискретно и потому всё относительно легко сводится к обычной "точечной", числовой задаче МО.

Интересен более широкий подход, с моделями для которых выходом служит не число, а любое (в разумных пределах, конечно) распределение. Примером может служить МО используемое в теории надёжности (где изучается распределение срока работы) или в вероятностном прогнозе погоды (когда строится вероятностное распределение для возможного количества осадков, например).

 
Aleksey Nikolayev #:

...

Интересен более широкий подход, с моделями для которых выходом служит не число, а любое (в разумных пределах, конечно) распределение. Примером может служить МО используемое в теории надёжности (где изучается распределение срока работы) или в вероятностном прогнозе погоды (когда строится вероятностное распределение для возможного количества осадков, например).


об этом я, собственно, и сказал, пытаться использовать распределение, а не сами значения выхода в качестве классификатора.
[Удален]  
Вероятности получают из уже обученной модели. Иначе вероятностям чего вы ее будете учить? Если вероятности известны, зачем обучать?

Моменты распределений в регрессивных моделях для оценки дов. интервалов? Не, не слышали? :) много напрогнозировали ими?

Сколько там, 20 лет назад вы уже все знали, но все стеснялись сказать? Немалый срок, чтобы уйти от переоптимизации ф-й.

Печаль какая-то, 20 лет..
 

Формирование распределения вероятности во время обучения, а не после.

А после обучения какой вообще смысл что-то делать? Новые знания у гипотетического машинного дурачка не появятся, если ему подкручивать отвёрткой мозги уже после обучения.

 
Maxim Dmitrievsky #:

Пример уже описал выше. Есть классификатор, который проходит оос, но доходности распределены 60/40. Вам это не нравится, вы поднимаете порог принятия решений, но ситуация не меняется, а иногда становится еще хуже. Вы чешете репу, почему так.

Дано объяснение, почему так: потому что в случае реальной оценки вероятностей ситуация должна меняться.

Дано решение.


Как Вам удается находить таких дебилов как этот Карпов? 

У человека каша в голове. Человек НЕ способен последовательно изложить мысль. Просто жуть!

С первых минут просто утверждает, что классификатор выдает НЕ вероятность. А где взять вероятность, не используя то, что выдает классификатор?

[Удален]  
СанСаныч Фоменко #:

Как Вам удается находить таких дебилов как этот Карпов? 

У человека каша в голове. Человек НЕ способен последовательно изложить мысль. Просто жуть!

Ну вас приглашали тоже работать в Англию с вашей кашей? )

чел вообще не парится, у него все хорошо.

Не уловить мысль != неправильно ее изложить. Это люди несколько другой формации, наверное в этом проблема.

Давно уже очевидно, что тема нуждается в новой крови. Я уже тоже олдфаг. Придут новые и покажут, если форум не заплесневеет в конец, конечно.

Самое страшное, что я понимаю какие изменения в мозгу происходят с возрастом, и почему люди рассуждают так, а не иначе. Эта очевидность порой вымораживает, но от нее никуда не уйти.

 
Maxim Dmitrievsky #:

Ну вас приглашали тоже работать в Англию с вашей кашей? )

чел вообще не парится, у него все хорошо.

Не уловить мысль != неправильно ее изложить. Это люди несколько другой формации, наверное в этом проблема.

Давно уже очевидно, что тема нуждается в новой крови. Я уже тоже олдфаг. Придут новые и покажут, если форум не заплесневеет в конец, конечно.

Самое страшное, что я понимаю какие изменения в мозгу происходят с возрастом, и почему люди рассуждают так, а не иначе. Эта очевидность порой вымораживает, но от нее никуда не уйти.

Причем тут Англия?

Вы, вроде квалифицированный человек, а постоянно тянет на помойку.

Крайне редко возражаете по существу... 

[Удален]  
СанСаныч Фоменко #:

Причем тут Англия?

Вы, вроде квалифицированный человек, а постоянно тянет на помойку.

Крайне редко возражаете по существу... 

я все понял из его вебинара. Что еще по существу?
Дополнительно там все названия методов присутствуют, можно загуглить. Он рассказал про 2 своих любимых.
Чел много курсов провел, уехал в Англию на подработку. В Гугл или мету, уже не помню. Для меня помойка - местные собеседники :)

У меня друзья хорошие должности в айти занимают, хотя сам далек от этого. Один полностью банковскую инфраструктуру поднял. Периодически осаживают за какой-то бред, иногда удивляются моим знаниям. Отсюда наверное интерес к МО. Так что все чики-пуки.

Я с этой сферой никак не связан, если что. Чисто по приколу. У меня математический базис нулевой, чисто на интуиции. То есть я вам не сдам даже какую-то вузовскую программу по вышке. И там по каким-нибудь паттернам программирования тоже.

Если сюда трушного МОшника привести - он вас всех развалит здесь в хлам. То есть если вы меня не понимаете, то он для вас будет Богом. Но он в этот зоопарк точно не придет :) и клал он на ваш R с высокой колокольни.

И первое, с чего он начнет - что вы здесь вообще конченые, раз сидите на этом Форексе :) 
[Удален]  

У классификаторов, таких как метод опорных векторов и деревья принятия решений, есть функция predict_proba, потому что они могут предоставлять оценки вероятностей классов на основе своих внутренних характеристик. Однако, эти оценки вероятностей могут быть не совсем точными или не отражать реальную уверенность классификатора.


Например, для метода опорных векторов функция predict_proba может вернуть оценки вероятностей на основе расстояния до разделяющей гиперплоскости, но эти значения могут быть искажены из-за особенностей самого метода.


Для деревьев принятия решений функция predict_proba может вычислять вероятности классов на основе количества объектов каждого класса в листовых узлах, но эти вероятности могут быть не совсем точными из-за структуры дерева.


Таким образом, хотя эти классификаторы имеют функцию predict_proba, вероятности, которые они предоставляют, могут быть менее достоверными по сравнению с методами, основанными на вероятностной модели, такими как наивный байесовский классификатор или логистическая регрессия.

[Удален]  

Дарю небольшой эксперимент для <удалено модератором>.

Обучил некоторую модель, не важно какую, без калибровки она не улучшает свои свойства при увеличении порога. Сделок становится меньше, профит фаткор не растет.

Откалибровал доступным способом, запустил с разными порогами. Калибровка была после 2015 года, все что раньше - ООС.

Способ кастомный, сам придумал. Потом сравню с общеизвестными, потомоу что есть небольшой завтык их экспорта в МТ5, потом решу.

порог 0.5

0.6

0.7

Протсой пример что калибровка даже изначально слабых моделей, дает некоторый результат.

ЧТД

Машинное обучение в трейдинге: теория, модели, практика и алготорговля - Хорошие свойства у имеющегося классификатора должны соответствовать изучаемым данным.
Машинное обучение в трейдинге: теория, модели, практика и алготорговля - Хорошие свойства у имеющегося классификатора должны соответствовать изучаемым данным.
  • 2023.12.25
  • www.mql5.com
это просто способ привести аутпуты в вероятностый вид. потому что использование сырых вероятностей модели вообще бесполезно. переход к чисто вероятностной постановке задач в трейдинге давно созрел и даже слегка перезрел