Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1334

 
Aleksey Vyazmikin:

Но смысл кажется тот же, нет? Я просто вообще не знаю, что там внутри за алгоритм...

--bagging-temperature

Defines the settings of the Bayesian bootstrap. It is used by default in classification and regression modes.

Use the Bayesian bootstrap to assign random weights to objects.

The weights are sampled from exponential distribution if the value of this parameter is set to “1”. All weights are equal to 1 if the value of this parameter is set to “0”.

Possible values are in the range . The higher the value the more aggressive the bagging is.

1

это другое естессно

ну типа полезно когда много фичей, наверное

немного будет менять модель, чисто тонкий тюнинг не более

подробности надо читать, в целом понятно но не до окнца

 

Кстати, вот нашел лекции, о которых ранее говорил, с примерами на питоне, кому надо по XGboost в основном. Там, или в следующих лекциях регуляризация так же разбирается.


 
Maxim Dmitrievsky:

это другое естессно

ну типа полезно когда много фичей, наверное

немного будет менять модель, чисто тонкий тюнинг не более

Посмотрим какой будет разброс - сегодня или завтра будут очередные 100к моделей, решу, стоит ли применять в переборе данный параметр...

 
Aleksey Vyazmikin:

Посмотрим какой будет разброс - сегодня или завтра будут очередные 100к моделей, решу, стоит ли применять в переборе данный параметр...

а че инструкции нет нормальной по параметрам? я пока не юзаю катб, про другое читаю

 
Maxim Dmitrievsky:

а че инструкции нет нормальной по параметрам? я пока не юзаю катб, про другое читаю

Ну, всё что есть это настройки и краткое описанию, плюс известный ролик с пояснениями.

 
Aleksey Vyazmikin:

Если внимательно посмотреть, то видно, что финансовый результат у моделей в одной выборке может сильно отличаться - от 5000 до 1500, т.е. значительно, а значит Seed всё ж таки оказывает влияние на модели. Предположу, что похожи именно отобранные модели (проверю), при этом у них немного разнятся участки прибыли, а вот флет по середине модели почти у всех, что и удивляет - ошибаются на одинаковых участках (аномалия в новых данных?).

У вас есть коробка, внутри которой создан некий оч. холмистый пейзаж. Мы бросаем туда много шариков (это сид и есть), и наша задача, сделать так, чтобы большинство шариков попало в самые глубокие впадины. Это и будет обучение, и по этому принципу обучение в МО и устроено.

1. Если мы будем слегка покачивать коробку, то большинство шариков не смогут покинуть впадин, куда они попали изначально - обучение не произойдет.

2. если мы будем сильно трясти коробку, то у части шариков есть шанс попасть и остаться только в самых глубоких впадинах, но менее глубокие останутся не заполнены, т.к. шарики будут оттуда выскаивать. Полноценное обучение не произойдет.

3. если мы будем трясти коробку со средней силой, то заполнятся только глубокие и средние впадины, но остальные шарики ничего не найдут и будут продолжать случайно скакать по коробке. Обучение лучше, чем в 1 и 2, но тоже не айс.

В методах обучения всегда имеются настройки - как именно и когда трясти ящик, чтобы получить наиболее эффективное обучение.

Если различные "сид" не сходятся, то, либо что-то не так с алгоритмом обучения - не так трясете, либо какие либо глубокие впадины за которые можно зацепиться, в нашем ящике отсутствуют.

 
Yuriy Asaulenko:

У вас есть коробка, внутри которой создан некий оч. холмистый пейзаж. Мы бросаем туда много шариков (это сид и есть), и наша задача, сделать так, чтобы большинство шариков попало в самые глубокие впадины. Это и будет обучение, и по этому принципу обучение в МО и устроено.

1. Если мы будем слегка покачивать коробку, то большинство шариков не смогут покинуть впадин, куда они попали изначально - обучение не произойдет.

2. если мы будем сильно трясти коробку, то у части шариков есть шанс попасть и остаться только в самых глубоких впадинах, но менее глубокие останутся не заполнены, т.к. шарики будут оттуда выскаивать. Полноценное обучение не произойдет.

3. если мы будем трясти коробку со средней силой, то заполнятся только глубокие и средние впадины, но остальные шарики ничего не найдут и будут продолжать случайно скакать по коробке. Обучение лучше, чем в 1 и 2, но тоже не айс.

В методах обучения всегда имеются настройки - как именно и когда трясти ящик, чтобы получить наиболее эффективное обучение.

Если различные "сид" не сходятся, то, либо что-то не так с алгоритмом обучения - не так трясете, либо какие либо глубокие впадины за которые можно зацепиться, в нашем ящике отсутствуют.

либо коробка из-под ботинок )

с шариками хорошее объяснение

а хорошая коробка сама себя встряхивает

 
Yuriy Asaulenko:

У вас есть коробка, внутри которой создан некий оч. холмистый пейзаж. Мы бросаем туда много шариков (это сид и есть), и наша задача, сделать так, чтобы большинство шариков попало в самые глубокие впадины. Это и будет обучение, и по этому принципу обучение в МО и устроено.

1. Если мы будем слегка покачивать коробку, то большинство шариков не смогут покинуть впадин, куда они попали изначально - обучение не произойдет.

2. если мы будем сильно трясти коробку, то у части шариков есть шанс попасть и остаться только в самых глубоких впадинах, но менее глубокие останутся не заполнены, т.к. шарики будут оттуда выскаивать. Полноценное обучение не произойдет.

3. если мы будем трясти коробку со средней силой, то заполнятся только глубокие и средние впадины, но остальные шарики ничего не найдут и будут продолжать случайно скакать по коробке. Обучение лучше, чем в 1 и 2, но тоже не айс.

В методах обучения всегда имеются настройки - как именно и когда трясти ящик, чтобы получить наиболее эффективное обучение.

Если различные "сид" не сходятся, то, либо что-то не так с алгоритмом обучения - не так трясете, либо какие либо глубокие впадины за которые можно зацепиться, в нашем ящике отсутствуют.

Хорошая абстракция, если под глубокими впадинами подразумевать ответы с минимальной ошибкой на валидации, по которым происходит остановка обучения, то этим можно объяснить и то, что у него получилось улучшение результатов при увеличении размера валидационной выборки, а это м.б. результат формального увеличения размера абстрактного рельефа и соответственно количества впадин.
 
Aleksey Vyazmikin:
Максим, я поменял выборку местами - для обучения и валидации, тестовую оставил - какой будет результат исходя из научных догмат? Сам пока я не знаю, обработка ещё не завершена.

Если ваши данные и модель адекватны, то по идее, результат должен ухудшиться.

 

Я, все-таки, в вашем МО чего-то не понимаю. Складывается впечатление, что вы просто даете МО набор данных-предикторов- и пр., и говорите - а теперь иди, и ищи мне прибыль, и чем больше - тем лучше.

Это похоже - вот тебе, Иван, конь, вот меч и щит, а теперь иди, и принеси мне жар-птицу, ходят слухи - где-то есть, за морем-за окияном. Не найдешь - секир-башка. У Ивана хоть Конек-Горбунок был, который все знал, а МО только методом тыка способна - нашла чего-то, спрашивает - Ну, че?, Жар-птица, не? - Не - Ну ладно, давай еще поищем.

Все-таки, Ивану неплохо было-бы дать хоть какую-то предварительную информацию, типа, в Бухаре или в Индии у шаха такого-то. Всего-то в два места скататься. И МО тоже неплохо, все вариантов перебирать меньше, да и задача более конкретно сформулирована.

Причина обращения: