Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3400

Новый комментарий
 

Итак сравниваем - обучено 100 моделей CB - первый картинка будет с применением метода abess, а вторая без, результат на выборке train 


Выборка test - по ней останавливаем обучение.

Выборка exam - отложенная выборка, не участвующая в процессе обучения


Кажется, что метод abess отбора не очень то эффективно работает...

Замечу, что у меня очень не сбалансированные классы, единиц порядка 16% всего - может это влияет на отбор.

 
Aleksey Vyazmikin #:

Кажется, что метод abess отбора не очень то эффективно работает...

Замечу, что у меня очень не сбалансированные классы, единиц порядка 16% всего - может это влияет на отбор.

У меня есть 5 вариантов

1. Что то намучено с сохраненим данных. К коду есть БОЛЬШИЕ  вопросы, он максимально странный и мне не понятный, это опять gpt?? 

2. Возможно нужна нормализация данных

3. Возможно в самих данных что то не так

4. Возможно дисбананс

5. Возможно действительно хуже работает 
 
mytarmailS #:
У меня есть 5 вариантов

1. Что то намучено с сохраненим данных. К коду есть БОЛЬШИЕ  вопросы, он максимально странный и мне не понятный, это опять gpt?? 

2. Возможно нужна нормализация данных

3. Возможно в самих данных что то не так

4. Возможно дисбананс

5. Возможно действительно хуже работает 

1. Сохраняет правильно - соответствует выводу в лог. Код мне наоборот понятен - это компиляция изначального кода и предложенного ранее вами тут.

2. Возможно нужна для этого метода. Попробую сделать.

3. Ну в данных явно может что-то не так - для этого и процесс с отбором нужен. Данные получены корректно, если об этом речь.

4. Так я об этом и пишу. Может надо как то в параметрах задать автобалансироку?

5. Пока получается так. Может со стационарными данными было бы нормально.

 
Aleksey Vyazmikin #:

1. Сохраняет правильно - соответствует выводу в лог. Код мне наоборот понятен - это компиляция изначального кода и предложенного ранее вами тут.

2. Возможно нужна для этого метода. Попробую сделать.

3. Ну в данных явно может что-то не так - для этого и процесс с отбором нужен. Данные получены корректно, если об этом речь.

4. Так я об этом и пишу. Может надо как то в параметрах задать автобалансироку?

5. Пока получается так. Может со стационарными данными было бы нормально.

Получение индексов предикторов, которые не входят в список для исключения
индексы_оставшихся_предикторов <- setdiff(индексы_всех_предикторов, match(Pred, все_предикторы))

# Уменьшение индексов на 1
индексы_оставшихся_предикторов <- индексы_оставшихся_предикторов - 1
Вот это вот мне не понятно вообще. 



Нормализировать легко,  просто к данным прменить scale(данные)  перед всеми процедурами.  Это нормализирует матрицу по столбцам
 
mytarmailS #:
Вот это вот мне не понятно вообще. 

Для CatBoost нужно подать список предикторов, которые подлежат исключению, т.е. те, что не выбраны. Уменьшение значения на -1 нужно так как индекс в том же CatBoost считается от нудя, как и во многих других языках.

mytarmailS #:
Нормализировать легко,  просто к данным прменить scale(данные)  перед всеми процедурами.  Это нормализирует матрицу по столбцам 
# Нормализация выбранных предикторов
normalized_data <- scale(data_without_excluded)
data_without_excluded  <- normalized_data

Так допустимо?

В общем результат идентичный, что и без нормализации.

 
Aleksey Vyazmikin #:

Для CatBoost нужно подать список предикторов, которые подлежат исключению, т.е. те, что не выбраны. Уменьшение значения на -1 нужно так как индекс в том же CatBoost считается от нудя, как и во многих других языках.


Так допустимо?

В общем результат идентичный, что и без нормализации.

Да, допустимо. 

Значит проблема в другом,  мне не понятен тот код что я выделил, но без компа не раз шифруюю, завтра посмотрю.. 

Блин выпил кофе в 18:30,  сейчас уже почти 3:40 ночи, а я лежу и смотрю в потолок
[Удален]  
mytarmailS #:

Блин выпил кофе в 18:30,  сейчас уже почти 3:40 ночи, а я лежу и смотрю в потолок
Это не кофе, тебя МО не отпускает, это уже болезнь
 
mytarmailS #:
Да, допустимо. 

Значит проблема в другом,  мне не понятен тот код что я выделил, но без компа не раз шифруюю, завтра посмотрю.. 

Блин выпил кофе в 18:30,  сейчас уже почти 3:40 ночи, а я лежу и смотрю в потолок

Значит кофе был не поддельный...

 
Maxim Dmitrievsky #:
Это не кофе, тебя МО не отпускает, это уже болезнь

Хмм... может и болезнь, в палате было троя...

[Удален]  
Aleksey Vyazmikin #:

Хмм... может и болезнь, в палате было троя...

Это хорошая болезнь, доброкачественная 
1...339333943395339633973398339934003401340234033404340534063407...3745
Новый комментарий