Обсуждение статьи "Градиентный бустинг в задачах трансдуктивного и активного машинного обучения"

 

Опубликована статья Градиентный бустинг в задачах трансдуктивного и активного машинного обучения:

В данной статье вы познакомитесь с методами активного машинного обучения на реальных данных, узнаете какие плюсы и минусы они имеют. Возможно, эти методы займут свое место в вашем арсенале моделей машинного обучения. Термин трансдукции был введен Владимиром Наумовичем Вапником, изобретателем машины опорных векторов или SVM (support vector machine).

Перейдем сразу к активному обучению и протестируем его эффективность на наших данных.

На текущий момент существует несколько библиотек для активного обучения на языке Python, здесь я приведу три самые распространенные:

  • modAL это достаточно легкий в понимании и освоении пакет, который является своего рода оберткой для популярной библиотеки машинного обучения scikit-learn и полностью совместим с ней. В нем представлены наиболее популярные методы активного обучения.
  • Libact использует стратегию многорукого бандита поверх существующих стратегий запросов для динамического выбора наилучшего запроса. 
  • Alipy представляет собой некую лабораторию от поставщиков пакета, в котором собрано большое количество стратегий запросов.

Мой выбор пал на библиотеку modAL как на более интуитивную, подходящую для знакомства с философией активного обучения. Она дает большую свободу в конструировании моделей и создания своих собственных, используя стандартные блоки или создавая свои новые.

Давайте представим описанный выше процесс обучения на схеме, которая уже не требует детальных пояснений:

см. документацию

Автор: Maxim Dmitrievsky

 

Норм, конечно наличие ручных меток и разумные допущения это не ИИ) но реально снижает область данных и размерностей  для обучения, делает их приемлимыми хотя бы)

 
Valeriy Yastremskiy:

Норм, конечно наличие ручных меток и разумные допущения это не ИИ) но реально снижает область данных и размерностей  для обучения, делает их приемлимыми хотя бы)

Из ручного только выбор признаков (фичей). Думаю как избавиться от последнего ручного.

есть варианты, но пока руки не добрались
 
Maxim Dmitrievsky:

Из ручного только выбор признаков (фичей). Думаю как избавиться от последнего ручного.

есть варианты, но пока руки не добрались

И автоматическое определение целей)))

 
Valeriy Yastremskiy:

И автоматическое определение целей)))

это уже есть

 
Спасибо за замечательную статью.
 
Por:
Спасибо за замечательную статью.

Пожалуйста.

 

Ничего не понял :)

Сколько классов размечалось автоматически?

Если больше двух, то логично было бы каждому классу дать финансовую оценку - приносит он убыток или прибыль, а потом слить в два класса для финального обучения.

 
Aleksey Vyazmikin:

Ничего не понял :)

Сколько классов размечалось автоматически?

Если больше двух, то логично было бы каждому классу дать финансовую оценку - приносит он убыток или прибыль, а потом слить в два класса для финального обучения.

Чем я могу облегчить непонимание? 2 класса, как обычно

Вопрос о вариантах применения активного обучения открыт. Это слишком большая и, отчасти, философская и экспериментаторская работа, чтобы сделать все в рамках одной статьи 
 

Congratulations for such a great article  after long time!!


How to train and test other currency pairs?


The coding part is complicated for me to do any editing or any form of improvements for testing purpose:)


Can you please help with the errors in the screenshot?

Thanks
Файлы:
USDCAD_pair.png  46 kb
 
FxTrader562:

Congratulations for such a great article  after long time!!


How to train and test other currency pairs?


The coding part is complicated for me to do any editing or any form of improvements for testing purpose:)


Can you please help with the errors in the screenshot?

Thanks

You can not compile py file in MetaEditor5, for this purpose you need to install PyCharm program and run this script.

Причина обращения: