Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2792

 
СанСаныч Фоменко #:

В первом приближении Вы, несомненно, правы - надо иметь конечную оценку, если вы имеете ввиду под оценкой моделью ее показатели результативности. 

Но, есть один нюанс, который перевешивает все.

Оценка моделью через ее результативность  - это оценка на исторических данных. А как поведет себя модель в будущем?  

Оценивайте валкинг-форвард тестом.

 
elibrarius #:

Оценивайте валкинг-форвард тестом.

Это оценка всего стада. А паршивых овец выбраковывают поштучно.

 
СанСаныч Фоменко #:

Это оценка всего стада. А паршивых овец выбраковывают поштучно.

50 фичей = 50 валкинг фовард тестов с удалением фичей по 1. Долго, но результат будет получен моделью.
[Удален]  

на 500 барах оценивать - это вообще не статистика, можно подогнать все что угодно, по закону больших чисел

 
elibrarius #:
50 фичей = 50 валкинг фовард тестов с удалением фичей по 1. Долго, но результат будет получен моделью.

Этим способом результат можно получить только в случае полной независимости фичей, а так не бывает.   

 
Maxim Dmitrievsky #:

на 500 барах оценивать - это вообще не статистика, можно подогнать все что угодно, по закону больших чисел

Для оценки предсказательной способности вполне достаточно. Можно отобрать фичи, которые дают ошибку предсказания учителя до 20% по технологии скользящего окна.

 
СанСаныч Фоменко #:

Этим способом результат можно получить только в случае полной независимости фичей, а так не бывает.   

В свои пакеты вы те же данные подаете. Тоже ничего получить невозможно?
 
elibrarius #:
В свои пакеты вы те же данные подаете. Тоже ничего получить невозможно?

В препроцессинге , как этап, удаляю коррелированные фичи. Из 170 остается примерно 50 при коррелированности не выше  75%(!). При коррелированности не выше 50% остается несколько штук. Но я не ставил цель набрать НЕ коррелированные фичи. 

 
СанСаныч Фоменко #:

В препроцессинге , как этап, удаляю коррелированные фичи. Из 170 остается примерно 50 при коррелированности не выше  75%(!). При коррелированности не выше 50% остается несколько штук. Но я не ставил цель набрать НЕ коррелированные фичи. 

Вот эти 50 и можно проверять моделью.
 
elibrarius #:
Вот эти 50 и можно проверять моделью.

Так они коррелированы! Результат зависит от порядка отбрасывания фичей.