Можете представить, что мы сделали преобразование через некую функцию - условную синусоиду. Функция одинакова на всех выборках. Это и изменило шкалу и порядок построения на этой шкале.
Самое простое для понимания: вы же блоки/кванты из столбцов перемещаете в другое место (на другие строки), но столбец учителя не меняете. В новом месте эти перемещенные кванты не соответствуют строкам учителя (они остались в старом месте). Т.е. ответы учителя в новом месте становятся случайным для перемещенных квантов/строк.
Forester #: Самое простое для понимания: вы же блоки/кванты из столбцов перемещаете в другое место (на другие строки), но столбец учителя не меняете. В новом месте эти перемещенные кванты не соответствуют строкам учителя (они остались в старом месте). Т.е. ответы учителя в новом месте становятся случайным для перемещенных квантов/строк.
Не, не так. Представьте, что у нас есть диапазоны у предиктора:
1. От 0 до 10 - вероятность 55%
2. От 10 до 15 - вероятность 45%
3. От 15 до 25 - вероятность 50%
Вот я взял и просто поменял номера после упорядочения по вероятности, теперь новая нумерация относительно старой 1=2, 2=3, 3=1. По сути я поменял только их обозначение.
Соответственно алгоритм построения дерева получил более гладкий переход вероятности задетектить "1" по своему диапазону.
Не, не так. Представьте, что у нас есть диапазоны у предиктора:
1. От 0 до 10 - вероятность 55%
2. От 10 до 15 - вероятность 45%
3. От 15 до 25 - вероятность 50%
Вот я взял и просто поменял номера после упорядочения по вероятности, теперь новая нумерация относительно старой 1=2, 2=3, 3=1. По сути я поменял только их обозначение.
Соответственно алгоритм построения дерева получил более гладкий переход вероятности задетектить "1" по своему диапазону.
Я конечно, может чего упускаю из виду и не прав.
Насколько я понял, странно, что вообще что-то поменялось. Возможно модель банально неустойчива и разные реализации дают разные результаты.
Насколько я понял, странно, что вообще что-то поменялось. Возможно модель банально неустойчива и разные реализации дают разные результаты.
Математика дерева работает так - перебирая сплит от большего к меньшему, после упорядочения становится проще это делать, что приводит к более быстрому обучению. Ну, а оно не верно, так как вероятности потом изменятся на новых данных более чем в 50% случаев.
Aleksey Vyazmikin #: Такой вопрос давно меня тревожил, а что будет, если в предикторах поменять их цифровое значение, ну, допустим поменять местами 1 и 10, изменится ли результат обучения на том же CatBoost?
Должен измениться конечно, АКФ признаков же изменится.
А зачем удалять ак?
А зачем он мне? Неск лет здесь не был и дальше не планирую. Вот, смотрю ветку Маш обучения - воз и ныне там.
TensorFlow? Остановки не будет, сколько назначено эпох, столько и будет.
CatBoost.
А зачем он мне? Неск лет здесь не был и дальше не планирую. Вот, смотрю ветку Маш обучения - воз и ныне там.
Серьёзно?
А зачем он мне? Неск лет здесь не был и дальше не планирую. Вот, смотрю ветку Маш обучения - воз и ныне там.
Можете представить, что мы сделали преобразование через некую функцию - условную синусоиду. Функция одинакова на всех выборках. Это и изменило шкалу и порядок построения на этой шкале.
Самое простое для понимания: вы же блоки/кванты из столбцов перемещаете в другое место (на другие строки), но столбец учителя не меняете. В новом месте эти перемещенные кванты не соответствуют строкам учителя (они остались в старом месте). Т.е. ответы учителя в новом месте становятся случайным для перемещенных квантов/строк.
Не, не так. Представьте, что у нас есть диапазоны у предиктора:
1. От 0 до 10 - вероятность 55%
2. От 10 до 15 - вероятность 45%
3. От 15 до 25 - вероятность 50%
Вот я взял и просто поменял номера после упорядочения по вероятности, теперь новая нумерация относительно старой 1=2, 2=3, 3=1. По сути я поменял только их обозначение.
Соответственно алгоритм построения дерева получил более гладкий переход вероятности задетектить "1" по своему диапазону.
Я конечно, может чего упускаю из виду и не прав.
Не, не так. Представьте, что у нас есть диапазоны у предиктора:
1. От 0 до 10 - вероятность 55%
2. От 10 до 15 - вероятность 45%
3. От 15 до 25 - вероятность 50%
Вот я взял и просто поменял номера после упорядочения по вероятности, теперь новая нумерация относительно старой 1=2, 2=3, 3=1. По сути я поменял только их обозначение.
Соответственно алгоритм построения дерева получил более гладкий переход вероятности задетектить "1" по своему диапазону.
Я конечно, может чего упускаю из виду и не прав.
Насколько я понял, странно, что вообще что-то поменялось. Возможно модель банально неустойчива и разные реализации дают разные результаты.
Насколько я понял, странно, что вообще что-то поменялось. Возможно модель банально неустойчива и разные реализации дают разные результаты.
Математика дерева работает так - перебирая сплит от большего к меньшему, после упорядочения становится проще это делать, что приводит к более быстрому обучению. Ну, а оно не верно, так как вероятности потом изменятся на новых данных более чем в 50% случаев.
Такой вопрос давно меня тревожил, а что будет, если в предикторах поменять их цифровое значение, ну, допустим поменять местами 1 и 10, изменится ли результат обучения на том же CatBoost?
Должен измениться конечно, АКФ признаков же изменится.
Должен измениться конечно, АКФ признаков же изменится.
Это разве используется в алгоритме обучения? Не могу понять, где.