Есть ли закономерность в хаосе? Попробуем поискать! Машинное обучение на примере конкретной выборки. - страница 16

 
Maxim Dmitrievsky #:

в нормальной ситуации seed почти не влияет, важен алгоритм. Если приходится заморачиваться с seed, данные уже мусор

проверка на новых данных решает, если признаков всего 10, а не 1000, в этом уже можно быть уверенным на сколько-то

глубина вроде по дефолту 6 стоит, тоже не сильно влияет, кроме критических значений

глубина обучения влияет по-разному, в зависимости от исторической изменчивости

Да, возможно на 4 предикторах seed не сильно влияет. Про мусор - заблуждение. Как раз от seed зависит по сути, сколько будет использовано предикторов в модели.

Все параметры влияют. Я просто хотел сказать, что у Вас там комбинаций, возможно, получилось на порядок больше, чем примеров. При 4 предикторах я вижу смысл в модели из 1-3 деревьев CB, со скоростью обучения 0,3-0,5, иначе уже подгонка. 

 
Aleksey Vyazmikin #:

Можно просто попробовать подавать разные выборки для продолжения обучения на новых данных. Вроде даже CatBoost это умеет. Ещё он умеет объединять модели, но я с этим не разбирался.

это же градиентный бустинг...

то есть обучение происходит на ошибках предыдущего

а нам нужно обучить только на одной модели, причем несколько раз

модели отличаются только тем, что выборки сдвинуты по времени

 
Renat Akhtyamov #:

это же градиентный бустинг...

то есть обучение происходит на ошибках предыдущего

а нам нужно обучить только на одной модели, причем несколько раз

модели отличаются только тем, что выборки сдвинуты по времени

Мой мозг не может переварить то, что Вы написали.

 
Aleksey Vyazmikin #:

Да, возможно на 4 предикторах seed не сильно влияет. Про мусор - заблуждение. Как раз от seed зависит по сути, сколько будет использовано предикторов в модели.

Все параметры влияют. Я просто хотел сказать, что у Вас там комбинаций, возможно, получилось на порядок больше, чем примеров. При 4 предикторах я вижу смысл в модели из 1-3 деревьев CB, со скоростью обучения 0,3-0,5, иначе уже подгонка. 

seed не влияет нигде, где есть нормальный оптимум

+- замыкание, роли не играет

можно немного подтюнить, но уже не принципиально

 
Maxim Dmitrievsky #:

seed не влияет нигде, где есть нормальный оптимум

+- замыкание, роли не играет

можно немного подтюнить, но уже не принципиально

И где это он есть?

 
Aleksey Vyazmikin #:

И где это он есть?

там, где вариации на тему seed не сильно влияют на результат, вестимо )

 
Maxim Dmitrievsky #:

там, где вариации на тему seed не сильно влияют на результат, вестимо )

Явно не в нашем случае...

 
Aleksey Vyazmikin #:

Явно не в нашем случае...

Ну вот, есть к чему стремиться значит 
 
Maxim Dmitrievsky #:
Ну вот, есть к чему стремиться значит 

Есть. Но это разговор на тему идеального Мира, иногда лучше адаптироваться под имеющейся.

 
Maxim Dmitrievsky #:
Это из области что лучше: тыкаться наугад или придерживаться априорной достоверной информации 

Кроме как время начала чего либо и окончания (сессий, календарных) на ум ничего не приходит. Что имелось ввиду?

Причина обращения: