Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 352

 
Maxim Dmitrievsky:

Ну как неправильно, вы создаете классификационную модель. Чем больше выборка тем сильнее обобщение, модель становится более устойчивой в целом и менее точной в частностях, соответственно меньше профит

Давайте в терминах КПД. Если в результате усложнения КПД системы падает, такая система неинтересна. Снижение величины прибыль+убытки говорит о снижении КПД.

С ростом устойчивости КПД должно расти. Под КПД можно принять соотношение прибыль/(прибыль+убытки). Можно еще КПД на сделку.

 
Yuriy Asaulenko:

Давайте в терминах КПД. Если в результате усложнения КПД системы падает, такая система неинтересна. Снижение величины прибыль+убытки говорит о снижении КПД.

С ростом устойчивости КПД должно расти. Под КПД можно принять соотношение прибыль/(прибыль+убытки). Можно еще КПД на сделку.


К НС это неприменимо )) получается, что долгосрочный кпд растет а краткосрочный кпд падает ) Ну какой бы пример провести.. есть татктика а есть стратегия.. при краткосрочном обучении НС выигрывает тактически, а при долгосрочном стратегически, разные факторы начинают влиять...
 
Yuriy Asaulenko:

Давайте в терминах КПД. Если в результате усложнения КПД системы падает, такая система неинтересна. Снижение величины прибыль+убытки говорит о снижении КПД.

С ростом устойчивости КПД должно расти. Под КПД можно принять соотношение прибыль/(прибыль+убытки). Можно еще КПД на сделку.

Давайте без велосипедов под названием КПД.

В эконометрике используются информационные критерии.

Вот определение

Информационный критерий — применяемая в эконометрике (статистике) мера относительного качества эконометрических (статистических) моделей, учитывающая степень «подгонки» модели под данные с корректировкой (штрафом) на используемое количество оцениваемых параметров. То есть критерии основаны на неком компромиссе между точностью и сложностью модели

Информационные критерии используются исключительно для сравнения моделей между собой, без содержательной интерпретации значений этих критериев. Они не позволяют тестировать модели в смысле проверки статистических гипотез. Обычно чем меньше значения критериев, тем выше относительное качество модели.


Если мы возьмем пакет, в котором предполагается выбор модели, то будет использоваться один из информационных критериев. 

 
Дмитрий:


Фаа пишет верную мысль, но излагает её неправильно.

У тебя есть ряд и набор предикторов. Делишь ряд на три части - обучающая выборка и форвард (самый простой случай).

Строишь, например, 20 моделей.

Суть - отбор модели из списка идет не по критерию лучшей на обучающей выборке и не по критерию лучшей на форварде. А отбирается модель, которая дает примерно одинаковые оценки качества как на обучающей, так и на форварде 

Мы оба правы.

Используется информационный критерий, который позволяет выбрать более простую, но информационный критерий ни в коем случае не исключает форвард тестирование.

 
СанСаныч Фоменко:

Давайте без велосипедов под названием КПД.

В эконометрике используются информационные критерии.

Одно другому абсолютно не мешает и не заменяет. В экономике есть критерии эффективности по смыслу абсолютно соответствующие КПД. Изобретать ничего не надо.

В данном случае, мы оцениваем результат, а не процесс. Критерии процесса нас уже не волнуют. Система - черный ящик. Вот и сравниваем характеристики ящиков.

Есть еще критерии оценки - эффективность на 1 рубь вложений, средняя эффективность сделки и пр. На таких критериях весь бизнес работает. А мы чем занимаемся, в итоге?

 
Maxim Dmitrievsky:
Хорошо. Вы увеличили стабильность системы - убрали просадки. Пусть даже суммарная прибыль даже не упала, а осталась постоянной. Вопрос - куда делись сделки, которые в предыдущем варианте позволяли Вам выбраться из этих ям? Если бы Вы их не убрали, только они увеличили бы прибыль системы.
 
Yuriy Asaulenko:
Хорошо. Вы увеличили стабильность системы - убрали просадки. Пусть даже суммарная прибыль даже не упала, а осталась постоянной. Вопрос - куда делись сделки, которые в предыдущем варианте позволяли Вам выбраться из этих ям? Если бы Вы их не убрали, только они увеличили бы прибыль системы.

Если вы обучите нейронку на разных временных интервалах то у вас будут разные результаты, тут вообще нечего сравнивать даже.. будут разные сигналы, модель обучится по другому и на это никак нельзя повлиять. Я ничего не убирал ) 
 
Maxim Dmitrievsky:

Если вы обучите нейронку на разных временных интервалах то у вас будут разные результаты, тут вообще нечего сравнивать даже.. будут разные сигналы, модель обучится по другому и на это никак нельзя повлиять. Я ничего не убирал ) 

Эт понятно, что оптимизатор убрал. Но повторяемость результатов требование любого эксперимента. Т.е. если при обучении на разных участках, мы имеем различные результаты на тесте это повод задуматься.

Представьте, мы обучаем идентичные НС распознаванию речи по одному ТЗ, а потом заявляем, что их даже сравнивать нельзя, т.к. они по разному обучались.

 
Yuriy Asaulenko:

Эт понятно, что оптимизатор убрал. Но повторяемость результатов требование любого эксперимента. Т.е. если при обучении на разных участках, мы имеем различные результаты на тесте это повод задуматься.

Представьте, мы обучаем идентичные НС распознаванию речи по одному ТЗ, а потом заявляем, что их даже сравнивать нельзя, т.к. они по разному обучались.


Ну как бы да, но в текущей модели это невозможно, она не настолько сложная что бы аппроксимировать одинаковым образом маленький наборчик данных и огромный
 
Maxim Dmitrievsky:

Ну как бы да, но в текущей модели это невозможно, она не настолько сложная что бы аппроксимировать одинаковым образом маленький наборчик данных и огромный

Вообще, если говорить о минутах, то рынок статистически однороден, т.е. статистика мало меняется (стабильна) от недели к недели, от месяца к месяцу. На бОльших ТФ, не знаю, вопрос не изучал. Насколько помню, вы на 1 мин работаете.

В принципе, простые системы должны быстрее сходиться, если они сходящиеся. Т.е имеют один высокий максимум. Мы, кстати, эти доп максимумы сами порождаем, через "неправильные" предикторы.

Причина обращения: