Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1114

 

Действительно давайте по рассуждает....

Все текущие метрики говорят о текущем качестве обучвения и ни капельки не говорят о будущей работе модели. То есть получив отличный результат самой лучшей метрики не гарантирует качественнй результат в будущем. Поэтому я глубоко убеждёт, что помимо периода обучения и валидайии должен быть ещё участок контроля и именно на котнрольном участке оценивается работа модели и принимается решение о ёё пригодности. Если всзглянуть это через проценты то обдучающая выборка должна состоять из обучение/валидация/котнроль как 45/45/10 процентов соответственно ИМХО, что я  и хочу довисать в оптимизаторе. Чтобы после получения модели, когда обучение идёт с огляткой на тестовый участок, происходило котнрольное оценимает и если результа оценки будет удовлетворительный то обучение останавливается с возможностью сохраниеть модель, если контроль не прошёл, то запускаем обучение снова и так либо до получение нужного результата на котрольном участке либо после определённого количество итераций обучения. Сейчас уже как раз осталось сделать именно это.

Нужно полученную модель прогнать на контроле и если контроль не прошёл, то запустить обучение вновь и так раз 10. Проблема в том что контрольный участок сьедает драгоценный период работоспособности модели, который начинает сремится к нулю сразу же после периода обучения на ООС. И я придумал один вариант, который уже поведал Доку уже давно, пару месяцев назад и он в принципе заценил его как вполне логичный. Сейчас я его не пользую по определённым причинам поэтому хочу поделится с им с Вами, если вы не против....

 
itslek:

выкладывай данные с таргетом, если есть какая-то взаимосвязь, то машинка ее найдет.

Данных мало не бывает - чем больше, тем лучше.

ок. Скажу сразу что их не много. Я могу сделать выгрузку гигантскую, но делать МТ это будет долго и боюсь зависнет, так что попробуй обучить её на том что есть. Я сам сделаю предобработку и выложу уже предобработанный набор данных. ок?

 
Mihail Marchukajtes:


С таргетом у меня всё в порядке ты за это не переживай, а оптимизатор написан на Яве. Думаешь там не возможно реализовать сколь угодно сложную метрику???? я тя умоляю....

Мне кажется, что Вы мне давали свои данные и по ним я сделал заключение, что Ваши предикторы не имеют никакого отношения к целевой.


Или я ошибаюсь?

А можно начать с доказательства, что Ваши предикторы имеют отношение к целевой?

 
itslek:

выкладывай данные с таргетом, если есть какая-то взаимосвязь, то машинка ее найдет.

Данных мало не бывает - чем больше, тем лучше.

Ты сам раздели на обучающую и оос. Н обуч делаешь все что угодно можно с кв. Резы озвуч(аccuracy) для интереса. Чем и как делал рассказывать не обязательно разумеется.

 
Mihail Marchukajtes:

и выложу уже предобработанный набор данных. ок?

Нет не ок, сырые + предобработка.

 
СанСаныч Фоменко:

Мне кажется, что Вы мне давали свои данные и по ним я сделал заключение, что Ваши предикторы не имеют никакого отношения к целевой.


Или я ошибаюсь?

А можно начать с доказательства, что Ваши предикторы имеют отношение к целевой?

Всё верно, но с того времени я сделал ряд ключевых изменений что увеличило количество значимых данных. Тем более я скидывал полный набор, а сейчас после предобработки количество входов уменьшается и остаются только существенные. Можешь пропробовать ещё раз оценить.... если интерессно!!!

 
Vizard_:

Нет не ок, сырые + предобработка.

Не имеет значения, пусть сначала докажет, что у него НЕ шум.

 
Maxim Dmitrievsky:

шел 10-й год освоения Оптимизатора...

но счастливые часов не наблюдают

Так из меня програмист курица лапой, что ты хотел. Я эклипс только пол года изучал чтоб окошки расположить удобно. Помошников же нету..... на этом форуме програмистов днём с огнём не сыскать, поэтому всё так медленно :-(

 
Mihail Marchukajtes:

Всё верно, но с того времени я сделал ряд ключевых изменений что увеличило количество значимых данных. Тем более я скидывал полный набор, а сейчас после предобработки количество входов уменьшается и остаются только существенные. Можешь пропробовать ещё раз оценить.... если интерессно!!!

Давай файл.

 
Mihail Marchukajtes:

ок. Скажу сразу что их не много. Я могу сделать выгрузку гигантскую, но делать МТ это будет долго и боюсь зависнет, так что попробуй обучить её на том что есть. Я сам сделаю предобработку и выложу уже предобработанный набор данных. ок?

datetime не забудь, чтоб я разбивку данных смог сделать корректно. всетки временные ряды...

Причина обращения: