Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3606

Новый комментарий
[Удален]

Первый тест с рандомными настройками. ООС справа от вертикальной пунктирной линии.

Алго работает, ошибок нет. Дальше будут тесты с разными настройками (наверное уже завтра).

Ошибки обучения для основной и мета моделей:

>>> models[-1][1].get_best_score()
{'learn': {'Accuracy': 0.6983374882369451, 'Logloss': 0.5674870408082323}, 'validation': {'Accuracy': 0.6428351309707242, 'Logloss': 0.5995984001032943}}
>>> models[-1][2].get_best_score()
{'learn': {'Logloss': 0.17194942035963293, 'F1': 0.775644666590935}, 'validation': {'Logloss': 0.17439066040537665, 'F1': 0.7693925848014725}}
>>>

Немного непонятно, что вторая модель не смогла безошибочно отделить плохие кластеры от хороших, хотя они линейно разделимы.

Ошибка второй оценивается через F1, потому что классы могут оказаться сильно несбалансированными.

Еще пример с другим кол-вом кластеров. Странно, почему у некоторых форумян ничего не получается, ведь это так просто и даже код есть.


[Удален]

Таким образом, переобучение моделей снимается через удаление противоречий в разметке. Признаков здесь вообще не касаемся. А для лучших зафитов нужна другая теория.

Самое вкусное (про вероятности) будет потом. Нужно подготовить тесты.

Еще можно немного тригернуть ... Оно работает сразу, без оптимизируемых параметров/гиперпараметров.

Maxim Dmitrievsky #:

ООС справа от вертикальной пунктирной линии.

К сожалению, чем короче OOS, тем выше вероятность облома.
[Удален]
fxsaber #:
К сожалению, чем короче OOS, тем выше вероятность облома.
Ф-я для самостоятельной проверки обломов.
Чаще вероятность обломов растет пропорционально кол-ву опт проходов.
Maxim Dmitrievsky #:
Ф-я для самостоятельной проверки обломов

Конструктивно.

Maxim Dmitrievsky #:
Чаще вероятность обломов растет пропорционально кол-ву опт проходов.

Возможно, в теме МО именно так - чем больше проходов, тем сильнее подгонка. В классике такого не наблюдал.

[Удален]
fxsaber #:

Возможно, в теме МО именно так - чем больше проходов, тем сильнее подгонка. В классике такого не наблюдал.

Подразумевал что-то вроде пи хакинга, когда делаются множественные подгонки кривых и из них выбираются лучшие. Потому акцентировал внимание, что кривые были получены не через перебор вариантов, а сразу. То есть ничего не оптимизмровалось/не подгонялось.
Maxim Dmitrievsky #:
Чаще вероятность обломов растет пропорционально кол-ву опт проходов.
Ошибка множественного тестирования(p- hacking)

Те ето заеономерно с математической точки зрения
Maxim Dmitrievsky #:
То есть ничего не оптимизмровалось/не подгонялось.

Обучения не было?

[Удален]
fxsaber #:

Обучения не было?

Обучение на размеченных данных это не оптимизация ТС. Это обучение уже готовой ТС, на готовых примерах. 

Оптимизация ТС это пойди туда не знаю куда, принеси то не знаю что. Много раз сходили, принесли много чего.

Вообще не хотелось бы продолжать эту тему, потому что кто-то не понимает чем обучение отличается от оптимизации. Есть более интересные темы.

1...359936003601360236033604360536063607360836093610361136123613...3745
Новый комментарий