Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1843

[Mihail Marchukajtes]

Знаете мне вот тут мысль пришла на днях.

Качество выложенного мною видео оставляет желать лучшего, но судя по просмотрам никому не интересны высокие материи и научный обоснования. Всем интересно смотреть на красивую тёлочу которая пол часа распинается про отмену самоизоляции в парке Горького. Она буквально на глазах за сутки набрала 500 000 просмотров против моих 70-ти. Вывод: Научные темы нынче не входу. Главное красивая мордашка и приятный голос, а что там с ИИ так и в обще никому не интересно. Печаль :-(

[Aleksey Vyazmikin]

elibrarius:

Хочу со всеми посоветоваться.
В пакете Darch нашел такой вариант оценки модели:
Считаем ошибку на трэйн и на ооб участках.
Потом итоговую ошибку считаем как
err = oob_error * comb_err_tr + train_err * (1 - comb_err_tr);

На мой взгляд, обучение надо контролировать по среднему значению показателей полноты и точности по всей выборке, разбив выборку на окна по, допустим 10%-20%. Сам я листья отбираю таким методом, но учитываю ещё финансовый результат.

[[Удален]]

Mihail Marchukajtes:

Знаете мне вот тут мысль пришла на днях.

Качество выложенного мною видео оставляет желать лучшего, но судя по просмотрам никому не интересны высокие материи и научный обоснования. Всем интересно смотреть на красивую тёлочу которая пол часа распинается про отмену самоизоляции в парке Горького. Она буквально на глазах за сутки набрала 500 000 просмотров против моих 70-ти. Вывод: Научные темы нынче не входу. Главное красивая мордашка и приятный голос, а что там с ИИ так и в обще никому не интересно. Печаль :-(

Никому не нужна правда, Миша )) Все хотят красивых иллюзий

тебе не обязательно самому быть красивой соской - создай у зрителя представление об этом, включи его воображение, а уже потом режь правду-матку ))

только стук отбойного молотка на фоне напрягает )

[Mihail Marchukajtes]

Maxim Dmitrievsky:

Никому не нужна правда, Миша )) Все хотят красивых иллюзий

тебе не обязательно самому быть красивой соской - создай у зрителя представление об этом, включи его воображение, а уже потом режь правду-матку ))

только стук отбойного молотка на фоне напрягает )

Ну да, со звуком буду решать отдельно...

[Aleksei Kuznetsov]

Aleksey Vyazmikin:

На мой взгляд, обучение надо контролировать по среднему значению показателей полноты и точности по всей выборке, разбив выборку на окна по, допустим 10%-20%. Сам я листья отбираю таким методом, но учитываю ещё финансовый результат.

Это кросс валидация. Или еще можно валкинг - форвард, чтобы проверочный набор был всегда позже тренировочного.
Давайте уточним терминологию:
- точность, вы имеете в виду стандартное Accuracy (доля правильно классифицированных примеров)
- полнота. Это число примеров/размер выборки для обучения? Как ее выбирать? Подбором?

[Aleksey Vyazmikin]

elibrarius:

Это кросс валидация. Или еще можно валкинг - форвард, чтобы проверочный набор был всегда позже тренировочного.

Важно проверять на устойчивость сигнала на протяжении всей выборки, а не смотреть на итоговый показатель - методы могут быть разные, один из них я вкратце описал.

elibrarius:

Давайте уточним терминологию:
- точность, вы имеете в виду стандартное Accuracy (доля правильно классифицированных примеров)
- полнота. Это число примеров/размер выборки для обучения? Как ее выбирать? Подбором?

Precision - точность и Recall - полнота. Эти показатели важны, если больше одного класса, и если сигнальным является один класс из множества. К примеру при тройной классификации - покупать(1)/ждать(0)/продавать(-1) или на поиск волатильности - будет сильное(1) движение или слабое(0). Если в логике два класса равнозначны, то смысл этих показателей размывается немного.

[mytarmailS]

Ну что там Максимка? Читал что то? есть резы?

Немного улучшил подход, результат тоже получше стал..  Все  входы показали + :))

Но есть проблемы..

1) сигналов мало

2) модель умирает со временем

Но все же мне кажется я начал что то понимать в этом чертовом рынке, а значит прорыв не за горами ))

[Aleksei Kuznetsov]

Aleksey Vyazmikin:

Важно проверять на устойчивость сигнала на протяжении всей выборки, а не смотреть на итоговый показатель - методы могут быть разные, один из них я вкратце описал.

Precision - точность и Recall - полнота. Эти показатели важны, если больше одного класса, и если сигнальным является один класс из множества. К примеру при тройной классификации - покупать(1)/ждать(0)/продавать(-1) или на поиск волатильности - будет сильное(1) движение или слабое(0). Если в логике два класса равнозначны, то смысл этих показателей размывается немного.

Спасибо. Я пользовался Precision, называя (для себя) его Accuracy для класса. Буду называть общепринятыми терминами теперь).
А в целом Precision можно считать основной метрикой при наличии класса "ждать". Ошибки по Precision - это прямые убытки от неправильной классификации.
А Recall - означает упущенная прибыль, т.е. мы ждали вместо того, чтобы действовать.
В итоге нужно максимизировать F1, который найдет лучшее значение при минимуме ошибок предсказания и минимуме упущенной прибыли.

[[Удален]]

mytarmailS:

Ну что там Максимка? Читал что то? есть резы?

Немного улучшил подход, результат тоже получше стал..  Все  входы показали + :))

Но есть проблемы..

1) сигналов мало

2) модель умирает со временем

Но все же мне кажется я начал что то понимать в этом чертовом рынке, а значит прорыв не за горами ))

 

[[Удален]]