Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2962

 
Andrey Dik #:

я изначально говорил, что любое обучение есть максимизация ФФ.

вы с Фоменко утверждали, что подобный подход приведет к переобучению - в то же время я говорил что ФФ составлена не правильно раз происходит переобучение.

не знаю что вы там чуете.))

вижу что бросил привычку "тыкать" незнакомым людям, это уже хорошо.

Уверен тогда давно, разговор был немного другой , а сейчас вообще совсем другой и другом...


Да , зарекся после НГ ко всем обращаться на "вы"

 
Andrey Dik #:

просто нужно взглянуть на понятие ФФ под другим углом. минимизация ошибки - это тоже ФФ.

на самом деле выбор ФФ не мене важный, чем подбор обучающих данных. ФФ должна учитывать то что модель должна делать и что  делать не должна, т.е. максмизировать действия ТС нужные и минимизировать действия ТС ненужные.

Единственным вариантом вижу оптимизировать ее вне трейна, на тесте, а обучать МО на трейне. В этом еще есть какой-то смысл в плане вытащить что-то общее из разных исторических периодов
 
Maxim Dmitrievsky #:
Единственным вариантом вижу оптимизировать ее вне трейна, на тесте, а обучать МО на трейне. В этом еще есть какой-то смысл в плане вытащить что-то общее из разных исторических периодов

тут простор для фантазии как применять ФФ огромен, жаль что единого правильного рецепта приготовления ФФ нет, хотя есть некоторые рекомендации.

пример, оптимизируем по балансу. ТС показала 90% прибыли в одной сделке, а остальные стотыш сделок около нуля. это хорошая ФФ? может быть и хорошая, но не для этой стратегии. а может быть и стратегия так себе раз наличествуют такие варианты результатов в оптимизации.

таким образом ФФ должна учитывать всё, что требуется от модели и задача сводится к максимизации глобального оптимума. и вытекает ещё один вывод - модель и ФФ не могут быть сами по себе, хорошая модель может быть испорчена неподходящей ФФ и наоборот тоже верно. хотя отдельно от модели говорить о ФФ вообще не имеет смысла в общем случае.

 
Andrey Dik #:

что любопытно? так об этом же говорилось пару месяцев назад в этой ветке в диалогах с моим участием)) тут многие спорили что макс/минить фф нивкоем случае нельзя)))

как фф задашь так моарабль и поплывёт...

Как ничего не понимали, так и не понимаете: речь не идет о самой оптимизации ВООБЩЕ - это инструмент для создания учителя для обучения.

В МО всего несколько проблем и первая - это толковый учитель.

А качество учителя НЕ определяется качеством ФФ и не определяется качеством оптимизации - ранее шла речь локальный/глобальный оптимум. В примере не заморачивались и взяли первый попавшийся алгоритм и использовали в лоб, что совершенно правильно.

Качество учителя определяется возможностью подобрать такие предикторы, которые не будут терять свою предсказательную способность в будущем.  Но при определении этого свойства учителя ФФ вообще не используется. 

 
СанСаныч Фоменко #:

Как ничего не понимал, так и не понимаешь: речь не идет о самой оптимизации ВООБЩЕ - это инструмент для создания учителя для обучения. В МО всего несколько проблем и первая - это толковый учитель.

нет. ты как не понимал так не понимаешь. МО без оптимизации не может быть в принципе. без оптимизации вообще ничего не может существовать. совсем, ничего.

что такое "толковый учитель"? где критерии соответствия этому толковому учителю? ты же будешь как то оценивать соответствие модели учителю. оценка соответствия и есть ФФ, как же не дохрдят до тебя элементарные вещи.

ФФ это и есть критерии оценки. оптимизация означает максимизация критериев оценки.
 
Andrey Dik #:

нет. ты как не понимал так не понимаешь. МО без оптимизации не может быть в принципе. без оптимизации вообще ничего не может существовать. совсем, ничего.

что такое "толковый учитель"? где критерии соответствия этому толковому учителю? ты же будешь как то оценивать соответствие модели учителю. оценка соответствия и есть ФФ, как же не дохрдят до тебя элементарные вещи.

ФФ это и есть критерии оценки. оптимизация означает максимизация критериев оценки.

Пока Вы писали, я дополнил.

Добавлю.

Использование оптимизации при создании учителя - это одно, является внешним по отношению к модели.

Использование оптимизации при поиске параметров модели - это другое, встроено в саму модель, бывают модели, в которых можно выбрать вариант оптимизации.

Оценка использования модели классификации - это третье и здесь оптимизацией не пахнет. Существует своя система оценки ошибок классификации.

Например матрица ошибок



Более содержательно



Есть специальные пакеты, которые расширяют приведенные примеры оценки моделей классификации. Например,  PerformanceAnalytics package
 
СанСаныч Фоменко #:

Как ничего не понимали, так и не понимаете: речь не идет о самой оптимизации ВООБЩЕ - это инструмент для создания учителя для обучения.

В МО всего несколько проблем и первая - это толковый учитель.

А качество учителя НЕ определяется качеством ФФ и не определяется качеством оптимизации - ранее шла речь локальный/глобальный оптимум. В примере не заморачивались и взяли первый попавшийся алгоритм и использовали в лоб, что совершенно правильно.

Качество учителя определяется возможностью подобрать такие предикторы, которые не будут терять свою предсказательную способность в будущем.  Но при определении этого свойства учителя ФФ вообще не используется. 


на любом этапе используется оптимизация. в том числе на этапе выбора учителя и его параметров. потом на этапе соответствия учителю - минимизация ошибки. классификация - тоже без оптимизации никуда.
везде оптимизация, на всех этапах. нет ни одного ОСМЫСЛЕННОГО процесса без оптимизации, а в МО тем более.
любая оптимизация ведется по макс/мин ФФ.
осмысленные процессы - все подчинены оптимизации.
неосмысленные - не все.
 
Andrey Dik #:

на любом этапе используется оптимизация. в том числе на этапе выбора учителя и его параметров. потом на этапе соответствия учителю - минимизация ошибки. классификация - тоже без оптимизации никуда.
везде оптимизация, на всех этапах. нет ни одного ОСМЫСЛЕННОГО процесса без оптимизации, а в МО тем более.
любая оптимизация ведется по макс/мин ФФ.
осмысленные процессы - все подчинены оптимизации.
неосмысленные - не все.
Тут как бы вилка получается. Обсуждаемая тема повернула в обучение с подкреплением и может есть смысл использовать сразу оттуда все подходы. В трейдинге оно зарекомендовало себя примерно никак пока что. Либо это обучение с учителем на готовых примерах. Либо неведомые скрещенные носороги того и другого, но под это нет даже никакого теоретического аппарата :)

Если это чистое обучение с учителем, то логичнее искать ТС/сигналы и пробовать обучаться на их примере.
 
Maxim Dmitrievsky #:
Тут как бы вилка получается. Обсуждаемая тема повернула в обучение с подкреплением и может есть смысл использовать сразу оттуда все подходы. В трейдинге оно зарекомендовало себя примерно никак пока что. Либо это обучение с учителем на готовых примерах. Либо неведомые скрещенные носороги того и другого, но под это нет даже никакого теоретического аппарата :)

Если это чистое обучение с учителем, то логичнее искать ТС/сигналы и пробовать обучаться на их примере.

можно и так. ещё десять лет назад показал как найти идеальные входы для ТС на ВР - чем не учитель? - и там оптимизация. порог чувствительности в данном случае спред и комиссия, от порога будет зависеть частота торговли.
исследования не проводил, но было бы интересно посмотреть стат характеристики подобного "оптимального ряда" в качестве учителя.
 
Andrey Dik #:

можно и так. ещё десять лет назад показал как найти идеальные входы для ТС на ВР - чем не учитель? - и там оптимизация. порог чувствительности в данном случае спред и комиссия, от порога будет зависеть частота торговли.

Вот https://www.mql5.com/ru/code/903 тоже 11 лет назад. И график покрасивее, чем у  mytarmailS в его примере.

Но вроде не ваш. А ваш где?

Sampler
Sampler
  • www.mql5.com
Индикатор i_Sampler рассчитывает идеальные входы, предназначен для обучения нейросети.
Причина обращения: