Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 360

Новый комментарий
 
Mihail Marchukajtes:
Занятно!!! Но проблема немного вдругом. Предположим Ваша ТС просела на 20%. Воспрос??? Выберется она из просадки и заработает сверху или продолжит сливать???? Как определить что ТС нужно переоптимизировать???
Имхо, это "КАК..." ничем не отличается от любых других систем. МО или не МО - не имеет никакого значение. Выберите критерий, и решаете когда и что.
 
Mihail Marchukajtes:
Занятно!!! Но проблема немного вдругом. Предположим Ваша ТС просела на 20%. Воспрос??? Выберется она из просадки и заработает сверху или продолжит сливать???? Как определить что ТС нужно переоптимизировать???

ТС НЕ должна быть переобучена - в этом весь смысл создания ТС. Все остальное - это игра в цифирь
 
СанСаныч Фоменко:

ТС НЕ должна быть переобучена - в этом весь смысл создания ТС. Все остальное - это игра в цифирь
Переобучена, или не переобучена, но рано или поздно сливать она начнет по любому. Я думаю в этом был вопрос Mihail Marchukajtes - как узнать когда?
 
Yuriy Asaulenko:
Переобучена, или не переобучена, но рано или поздно сливать она начнет по любому. Я думаю в этом был вопрос Mihail Marchukajtes - как узнать когда?


Не понимаете слова "переобучена". 

Сначала надо озаботиться тем, что ТС не переобучена - доказать этот факт. А потом это доказательство повторять. Если не удается доказать, что не переобучена, то пользоваться нельзя. 

 
СанСаныч Фоменко:


Не понимаете слова "переобучена". 

Сначала надо озаботиться тем, что ТС не переобучена - доказать этот факт. А потом это доказательство повторять. Если не удается доказать, что не переобучена, то пользоваться нельзя. 

Полагаю, что понимаю.)

Переобучение (переподгонка, пере- в значении «слишком», англ. overfitting) в машинном обучении и статистике — явление, когда построенная модель хорошо объясняет примеры из обучающей выборки, но относительно плохо работает на примерах, не участвовавших в обучении (на примерах из тестовой выборки).

Это связано с тем, что при построении модели («в процессе обучения») в обучающей выборке обнаруживаются некоторые случайные закономерности, которые отсутствуют в генеральной совокупности.

Даже тогда, когда обученная модель не имеет чрезмерного количества параметров, можно ожидать, что эффективность её на новых данных будет ниже, чем на данных, использовавшихся для обучения[1]. В частности, значение коэффициента детерминации будет сокращаться по сравнению с исходными данными обучения.

Способы борьбы с переобучением зависят от метода моделирования и способа построения модели. Например, если строится дерево принятия решений, то можно обрезать некоторые его ветки в процессе построения.
https://ru.wikipedia.org/wiki/Переобучение

Думаю, что это несколько упрощенное определение. Поэтому пользоваться, все таки, не только можно, а возможно даже и нужно. Все от конкретики зависит.

Мы же используем грубые модели, а это можно интерпретировать и как переобученные.

 
Mihail Marchukajtes:
Занятно!!! Но проблема немного вдругом. Предположим Ваша ТС просела на 20%. Воспрос??? Выберется она из просадки и заработает сверху или продолжит сливать???? Как определить что ТС нужно переоптимизировать???

Если заново обученная модель в тестере не даст просадки 20% за этот период а старая модель на реале дала - то переобучать однозначно, модель потеряла свою актуальность и надо что бы учла новые закономерности. А почему бы не переобучать модель после каждой новой сделки? что в этом плохого. Еще и историю сделок обновленную на вход подавать ей.
 
Maxim Dmitrievsky:

Если заново обученная модель в тестере не даст просадки 20% за этот период а старая модель на реале дала - то переобучать однозначно, модель потеряла свою актуальность и надо что бы учла новые закономерности. А почему бы не переобучать модель после каждой новой сделки? что в этом плохого. Еще и историю сделок обновленную на вход подавать ей.
)) Только вчера размышлял на эту тему. Решил, что неплохо бы записывать сделку, и после ее окончания подавать на вход обучающую выборку. Дообучение по ходу пьесы.
 
Yuriy Asaulenko:

Полагаю, что понимаю.)

Думаю, что это несколько упрощенное определение. Поэтому пользоваться, все таки, не только можно, а возможно даже и нужно. Все от конкретики зависит.

Мы же используем грубые модели, а это можно интерпретировать и как переобученные.


В цитате переобучение - это слишком тонкий учет особенностей, а у Вас огрубление - это переобучение?!

Вам виднее. Уж не первый раз.

 
Maxim Dmitrievsky:

Если заново обученная модель в тестере не даст просадки 20% за этот период а старая модель на реале дала - то переобучать однозначно, модель потеряла свою актуальность и надо что бы учла новые закономерности. А почему бы не переобучать модель после каждой новой сделки? что в этом плохого. Еще и историю сделок обновленную на вход подавать ей.

Обучать, переобучать и переобученность (сверх подгонка) принципиально разные вещи.

Все эти обучения на каждом новом баре - жевано и пережевано на этом форуме и вообще в рамках ТА.

В борьбе с переобучение (сверх подгонкой) мне известно два приема.

1. Очистка набора предикторов от предикторов не имеющих отношения к целевой переменной - очистка от шума входного набора предикторов. На первых 100 илстах этой ветки очень подробрно рассматривался этот вопрос

2. Имея очищенный от шума набор предикторов начинаем подгонку (fit) модели на обучающей выборке, затем на тестовой и валидационной, которые являются случайными выборками из одного файла. Ошибка на всех этих трех наборах должна быть примерно одинакова.

3. Затем берем файл, который находится отдельно предыдущего и на нем прогоняем модель. Ошибка опять же должна быть примерно одинакова с предыдущими.

4. Если эти проверки делать регулярно, то ваш вопрос: "просадка 20% - это сигнал для переобучения" вообще не стоит так как в результате первых трех шагов получена просадка как параметр модели и выход за ее пределы говорит, что модель не работоспособна и все надо начинать сначала.

 
СанСаныч Фоменко:


В цитате переобучение - это слишком тонкий учет особенностей, а у Вас огрубление - это переобучение?!

Вам виднее. Уж не первый раз.

Огрубление тоже. Но почему только огрубление. Другой пример прямо в определении - чрезмерно сложная модель находит то, чего не существует - кажущиеся закономерности.

Вы оч упрощенно или односторонне понимаете переобучение, имхо.

СанСаныч Фоменко:

Обучать, переобучать и переобученность (сверх подгонка) принципиально разные вещи.

Все эти обучения на каждом новом баре - жевано и пережевано на этом форуме и вообще в рамках ТА.

В борьбе с переобучение (сверх подгонкой) мне известно два приема.

.....

4. Если эти проверки делать регулярно, то ваш вопрос: "просадка 20% - это сигнал для переобучения" вообще не стоит так как в результате первых трех шагов получена просадка как параметр модели и выход за ее пределы говорит, что модель не работоспособна и все надо начинать сначала.

Ну, да. Но не совсем пережевано. В литературе этот вариант серьезно рассматривается - доубучение в ходе пьесы. Как и когда это делать можно, а когда нет - эт совсем другой вопрос. Ограничения есть везде.
1...353354355356357358359360361362363364365366367...3496
Новый комментарий
Причина обращения: