Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2493

 
JeeyCi #:

я вот как раз сейчас вернулась к  посту от Evgeny Dyuka

т.к. встреталась мне своего рода критика библиотек Python на хабре

В стеке sklearn, в пакетах xgboost, lightGBM были встроенные методы оценки важности фичей (feature importance) для «деревянных моделей»:

  1. Gain
    Эта мера показывает относительный вклад каждой фичи в модель. для расчета мы идем по каждому дереву, смотрим в каждом узле дерева какая фича приводит к разбиению узла и насколько снижаетcя неопределенность модели согласно метрике (Gini impurity, information gain).
    Для каждой фичи суммируется её вклад по всем деревьям.
  2. Cover
    Показывает количество наблюдений для каждой фичи. Например, у вас 4 фичи, 3 дерева. Предположим, фича 1 в узлах дерева содержит 10, 5 и 2 наблюдения в деревьях 1, 2 и 3 соответственно Тогда для данной фичи важность будет равна 17 (10 + 5 + 2).
  3. Frequency
    Показывает, как часто данная фича встречается в узлах дерева, то есть считается суммарное количество разбиений дерева на узлы для каждой фичи в каждом дереве.


Основная проблема во всех этих подходах, что непонятно, как именно данная фича влияет на предсказание модели. Например, мы узнали, что уровень дохода важен для оценки платежеспособности клиента банка для выплаты кредита. Но как именно? Насколько сильно более высокий доход смещает предсказания модели?

Все эти методы не годны. Вот их проверка https://www.mql5.com/ru/blogs/post/737458
Деревья и леса быстро считаются - можно и просто добавлять/убавлять фичи по одной. И найти те которые улучшают и те которые ухудшают результат.

Сравнение разных методов оценки важности предикторов.
Сравнение разных методов оценки важности предикторов.
  • www.mql5.com
Провел сравнение разных методов оценки важности предикторов. Тесты проводил на данных титаника (36 фичей и 891 строки) при помощи случайного леса из 100 деревьев. Распечатка с результатами ниже. За
 
Что касается моделей то дело не в них, а в том что ИИ это по сути апроксиматор и  в этом его сила во всех остальных случаях кроме рынка, т.к. слишком много рыбы и годзил под гладью моря, которые вызывают волны цен. Хотя постулат о том что в цене все заложено и верен, этого всего слишком много. Нейросеть может быть только малой частью какой то системы, и кто с этим не согласен занимается самообманом.
 
eccocom #:
Что касается моделей то дело не в них, а в том что ИИ это по сути апроксиматор и  в этом его сила во всех остальных случаях кроме рынка, т.к. слишком много рыбы и годзил под гладью моря, которые вызывают волны цен. Хотя постулат о том что в цене все заложено и верен, этого всего слишком много. Нейросеть может быть только малой частью какой то системы, и кто с этим не согласен занимается самообманом.
А тот кто называет апрксиматоры ИИ чем занимаеться? )
 
mytarmailS #:
А тот кто называет апрксиматоры ИИ чем занимаеться? )
Ну я наверное был не прав называя ИИ, поскольку имел в виду только нейросеть, а это частный случай ИИ. Занимаюсь так же как и все, поиском Грааля, делаю это факультативно, без фанатизма). Сюда пришел за поиском идей по моделям (именно в понимании нейросети), есть чем поделиться самому.  20 лет опыта конечно нет но за сотню вариантов НС перебрал. Максимальная эффективность на небольших дистанциях которую достигал порядка 68%, но вы наверное понимаете что это не стабильно и ситуативно.
 
eccocom #:
Ну я наверное был не прав называя ИИ, поскольку имел в виду только нейросеть, а это частный случай ИИ. Занимаюсь так же как и все, поиском Грааля, делаю это факультативно, без фанатизма). Суда пришел за поиском идей по моделям (именно в понимании нейросети), есть чем поделиться самому.  20 лет опыта конечно нет но за сотню вариантов НС перебрал. Максимальная эффективность на небольших дистанциях которую достигал порядка 68%, но вы наверное понимаете что это не стабильно и ситуативно.
Да, конечно понимаю...
Но берегитесь експертов с 20- ти летним стажем которые клянчат код у других.  ;)
 
mytarmailS #:
Да, конечно понимаю...
Но берегитесь експертов с 20- ти летним стажем которые клянчат код у других.  ;)
Да мне кода не жалко, если человек хороший). Я кстати прочитал статью  Mihail Marchukajtes, некоторые идеи которые там применены я так же эксплуатирую, но причины к этому у меня были совершенно другие нежели у автора. Было бы интересно обсудить какие варианты моделей с какими слоями оказались наиболее эффективны. Михаил, судя по косвенным уликам, похоже применяет полносвязные слои  Sequential().

Mihail Marchukajtes
Mihail Marchukajtes
  • 2021.10.12
  • www.mql5.com
Профиль трейдера
 
eccocom #:
Да мне кода не жалко, если человек хороший). Я кстати прочитал статью  Mihail Marchukajtes, некоторые идеи которые там применены я так же эксплуатирую, но причины к этому у меня были совершенно другие нежели у автора. Было бы интересно обсудить какие варианты моделей с какими слоями оказались наиболее эффективны. Михаил, судя по косвенным уликам, похоже применяет полносвязные слои  Sequential().

Он не пользуеться нейронками вообще, он юзает готовую авторскую посредственную программу( там какой то гибрид SVM и МГУА) , не програмирует ни на питоне ни на Р- ке,  соответственно само слово Sequental() ему не знакомо, 20 лет стажа все таки в нейросетях, рано еще таким интерисоваться... 


 
mytarmailS #:
Он не пользуеться нейронками вообще, он юзает готовую авторскую посредственную программу( там какой то гибрид SVM и МГУА) , не програмирует ни на питоне ни на Р- ке,  соответственно само слово Sequental() ему не знакомо, 20 лет стажа все таки в нейросетях, рано еще таким интерисоваться... 


)))). Понятно, похоже у вас солидный багаж общения. Я сам признаться наверное в 8 из 10 случаев пишу  индусский код)), но все равно буду рад  если получиться обменяться опытом. И было бы отлично найти тех кто пишет на Питоне и не только нейросеть, но и всю структуру советников в целом.
 
eccocom #:
)))). Понятно, похоже у вас солидный багаж общения. Я сам признаться наверное в 8 из 10 случаев пишу  индусский код)), но все равно буду рад  если получиться обменяться опытом. И было бы отлично найти тех кто пишет на Питоне и не только нейросеть, но и всю структуру советников в целом.
Да я только за, но очень много чужых идей я отвергаю ~99 % так как это уже делал и результат для меня известен....  А вот свое видиние я уже понял что словами не передать, нужно образами те в формате видео роликов, но лень как то..
 
mytarmailS #:
Да я только за, но очень много чужых идей я отвергаю ~99 % так как это уже делал и результат для меня известен....  А вот свое видиние я уже понял что словами не передать, нужно образами те в формате видео роликов, но лень как то..
В вашем ответе чувствуется усталость от темы, и понимание бесперспективности выбраться за стабильные 55%)
Причина обращения: