Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 96

 

Данные о лепестках ирисов это не сигнал, эта таблица для теста foreca совсем не подходит. Для пакета подойдут только временные ряды, когда вам через определённые промежутки времени приходят новые значения, и вы их объединяете в вектор. По этой причине для foreca нельзя менять порядок строк в таблице данных. И нельзя убирать рандомно часть строк для валидации, всё должно быть строго по порядку - сначала данные для тренировки, потом данные для валидации. Никакого sample.

Лучшее что можно сделать с ирисами - использовать максимальное число компонент min(dim(forec.dt)) = 14, но думаю что точность всё равно будет ниже 100%.

 
Dr.Trader:

Лучшее что можно сделать с ирисами - использовать максимальное число компонент min(dim(forec.dt)) = 14, но думаю что точность всё равно будет ниже 100%.

делал и так, получилось точность около 85% а просто форест показал 95%
 
Dr.Trader:

Данные о лепестках ирисов это не сигнал, эта таблица для теста foreca совсем не подходит. Для пакета подойдут только временные ряды, когда вам через определённые промежутки времени приходят новые значения, и вы их объединяете в вектор. По этой причине для foreca нельзя менять порядок строк в таблице данных. И нельзя убирать рандомно часть строк для валидации, всё должно быть строго по порядку - сначала данные для тренировки, потом данные для валидации. Никакого sample.

Лучшее что можно сделать с ирисами - использовать максимальное число компонент min(dim(forec.dt)) = 14, но думаю что точность всё равно будет ниже 100%.

Мне кажется пост про ирисы очень важным.

Дело в том, что rf феноменально склонен к переобучению.

А тут оказывается, что foreCA такой склонностью не обладает. Значит весьма полезный пакет. 

 
Dr.Trader:


А у вас там какие результаты с ВР ?
 
СанСаныч Фоменко:

Мне кажется пост про ирисы очень важным.

Дело в том, что rf феноменально склонен к переобучению.

А тут оказывается, что foreCA такой склонностью не обладает. Значит весьма полезный пакет. 

Лес хоть и переобучается, но если к 4 предикторам для ирисов добавить ещё 10 колонок с рандомными значениями, то лес всё равно предсказывает новые данные с почти 100% точностью. Я удивлён, и рад что лес справился. Сам раньше не проводил такой эксперимент, учту на будущее. 

foreCA в свою очередь назвал вообще все предикторы шумом с прогнозируемостью ~ 1% (и длины лепестков, и предикторы из случайных значений), и попытался из всего этого извлечь хоть какой-то сигнал. Извлекать сигнал оттуда где его не должно быть - по-моему бесполезно, этот эксперимент для foreca ничего не говорит.

mytarmailS:
А у вас там какие результаты с ВР ?

Модель ещё учится. Я подал наверное слишком много данных, но отменять уже не хочется, пускай работает до конца, я оставлю. Потом напишу о результатах когда всё закончится.

 
Я конечно не хочу забегать вперёд, но Решетов такую крутую штуку замутил в новом релизе.... Что ваши задачи раскусит на раз. Я ему идею подкинул, но он и сам уже об этом думал, так что у дураков мысли сошлись и в итоге мощнейшая штука получилась. Зря вы на него бочку катили.....
 
Mihail Marchukajtes:
Я конечно не хочу забегать вперёд, но Решетов такую крутую штуку замутил в новом релизе.... . Зря вы на него бочку катили.....

Крутые разговоры про крутые штуки...

А хоть одно сравнение с общепринятым и общеизвестным и общепризнанным увидим? 

 
СанСаныч Фоменко:

Крутые разговоры про крутые штуки...

А хоть одно сравнение с общепринятым и общеизвестным и общепризнанным увидим? 

Когда нибудь увидите, отчего же нет то.....
 
Dr.Trader:

Лес хоть и переобучается, но если к 4 предикторам для ирисов добавить ещё 10 колонок с рандомными значениями, то лес всё равно предсказывает новые данные с почти 100% точностью. Я удивлён, и рад что лес справился. Сам раньше не проводил такой эксперимент, учту на будущее. 

Да я сам удивлен что он настолько блестяще игнорировал шум и отличал от предикторов,  тоже никогда так не делал, самому было интересно....

Так еще до сегодняшнего дня я абсолютно не доверял функцией   importense

n 

но она меня заставила поверить 

 
Продолжайте не доверять importance при использовании для форекс. Ирис это очень простые данные, там есть прямые закономерности между имеющимеся данными и классами. RF достаточно найти минимальный набор предикторов на которых можно определить классы iris - и всё готово. 
Причина обращения: