Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3616

[[Удален]]

mytarmailS #:
Там есть же чат, пообщайся с такими же

Сегодня будет целая ночь :)

[[Удален]]

Maxim Dmitrievsky #:
Сегодня будет целая ночь :)

По результатам: улучшений нет :)

сверточную нейронку тоже попробовал, результат ожидаемо хуже леса и бустинга

Бустинг:

106:    learn: 0.5703702        test: 0.3621375 best: 0.3731653 (60)    total: 3.35s    remaining: 27.9s
107:    learn: 0.5724813        test: 0.3600689 best: 0.3731653 (60)    total: 3.38s    remaining: 27.9s
108:    learn: 0.5732323        test: 0.3605623 best: 0.3731653 (60)    total: 3.4s     remaining: 27.8s
109:    learn: 0.5730131        test: 0.3624452 best: 0.3731653 (60)    total: 3.44s    remaining: 27.8s
110:    learn: 0.5707056        test: 0.3637406 best: 0.3731653 (60)    total: 3.47s    remaining: 27.8s
Stopped by overfitting detector  (50 iterations wait)

bestTest = 0.3731652564
bestIteration = 60

Shrink model to first 61 iterations.
test score:
Accuracy: 0.3730531636209162

Нейронка:

Epoch 45/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 0s 3ms/step - accuracy: 0.5362 - loss: 1.2519 - val_accuracy: 0.5055 - val_loss: 1.3550
Epoch 46/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 1s 3ms/step - accuracy: 0.5366 - loss: 1.2640 - val_accuracy: 0.5050 - val_loss: 1.3632
Epoch 47/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 0s 3ms/step - accuracy: 0.5415 - loss: 1.2693 - val_accuracy: 0.5089 - val_loss: 1.3603
Epoch 48/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 1s 3ms/step - accuracy: 0.5477 - loss: 1.2415 - val_accuracy: 0.5017 - val_loss: 1.3649
Epoch 49/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 1s 3ms/step - accuracy: 0.5354 - loss: 1.2828 - val_accuracy: 0.5061 - val_loss: 1.3784
Epoch 50/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 1s 3ms/step - accuracy: 0.5331 - loss: 1.2766 - val_accuracy: 0.5100 - val_loss: 1.3636
57/57 ━━━━━━━━━━━━━━━━━━━━ 0s 2ms/step
Balanced Accuracy: 0.30404839813244877

[[Удален]]

Теперь очевидно, что задачка именно на причинно-следственный вывод. Через перебор признаков и подгонку моделей результат не сильно улучшается, наступает переобучение.

В дискорде есть персонажи, которые обучали нейронки на gpu 2 дня (не знаю чему так долго там обучать) и добились скора 43. Думаю, что это все равно плохой результат, скор должен быть > 50.

В следующий заход попробую применить техники causal inference, с которыми знаком.

[mytarmailS]

Если хочешь показать результат, генери признаки и делй фиче селекшн...  Все остальное бестолковое дрочево

[[Удален]]

mytarmailS #:
Если хочешь показать результат, генери признаки и делй фиче селекшн...  Все остальное бестолковое дрочево

Я думаю, что это первое, что 6к участникам пришло в голову :) результаты на лице

А твой конкурс закончился? Скажи же прикольно, сам процесс 

[mytarmailS]

Maxim Dmitrievsky #:
Я думаю, что это первое, что 6к участникам пришло в голову :) результаты на лице

Нет, первое что приходт в голову всем это то самое что пришло тебе  -"я самый умный я сам напишу код найду лучшее решение"

А вот создать код который будет сам писать другой код и сам проверять это другой левел.

Maxim Dmitrievsky #:

А твой конкурс закончился? Скажи же прикольно, сам процесс 

Да, закончился слава богу..

Сначало было очень прикольно но в последние дни я его пркленал и просто мечтал чтобы это все поскорей закончилось..

Самые крутые и зрелые идеи приходят на основании уже +- богатого опыта решения этой задачи.

Те сгенерил с десяток идей, реализовал, получил ответ и только тогда начинают рождаться интересные идеи, но мотивация писать уже около ноля (тупо задолбался писать), а времени на реализацию супер идеи остаються считаные дни или даже часы, стрес нереальный...

[[Удален]]

mytarmailS #:

Нет, первое что приходт в голову всем это то самое что пришло тебе  -"я самый умный я сам напишу код найду лучшее решение"

А вот создать код который будет сам писать другой код и сам проверять это другой левел.

Да, закончился слава богу..

Сначало было очень прикольно но в последние дни я его пркленал и просто мечтал чтобы это все поскорей закончилось..

Самые крутые и зрелые идеи приходят на основании уже +- богатого опыта решения этой задачи.

Те сгенерил с десяток идей, реализовал, получил ответ и только тогда начинают рождаться интересные идеи, но мотивация писать уже около ноля (тупо задолбался писать), а времени на реализацию супер идеи остаються считаные дни или даже часы, стрес нереальный...

Проверю все, если успею :)

[[Удален]]

Я вообще такой сижу вчера и приходит гениальная идея: а зачем вообще признаки, есть же сами графы. И наверняка есть алгоритмы чтобы обойти весь граф и собрать с него описательные статистики. Найти кратчайший путь и так далее.

Фигня вопрос. Нахожу библиотеку, начинаю это делать.. а они ацикличные и неполносвязные. На таких графах обход всех ребер не работает.

Прадо красавчик :)

Потом такой ладно. Возьму марковские цепи и определю графы через скрытые состояния. Будут признаки. Опять облом, на трейне все супер, на тесте плохо :)

Начинаю злиться. Беру регрессионные метрики, генерю много их. Неплохо! Но не могу пройти дальше 0.43 ошибки, не ползет вверх. 

То есть в совокупности я сгенерил много признаков, но это не решает проблему.

[mytarmailS]

Maxim Dmitrievsky #:

То есть в совокупности я сгенерил много признаков, но это не решает проблему.

1) пробуй разные МОшки (например в моем конкурсе деревяные МО вообще не работали, работали только функциональные МО  :  SVM, нейронки, линейка) 

2) не подавай все признаки кучей, а ищи лучшый поднабор признаков, на практике до 3-7 штук выходит

можно на 1000 признаках получить 0.8 , а на 5-ти  признаках  0.1 

[Aleksey Vyazmikin]

Обсудим конкурс?

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Обсудим потребность в конкурсе по поиску закономерностей. Будите участвовать в конкурсе?

Aleksey Vyazmikin, 2024.09.18 18:08

Такая идея по конкурсу:

1. Конкурс проводится по выявлению закономерностей, которые организатором помещаются на чарт в процессе генерации котировок. Т.е. исходным материалом будет файл с минутными барами за, допустим, пяток лет. Надо найти одну или более закономерностей. Может вероятность будет не 100%, что б интересней было, можно обсудить. Возможно, даны ещё какие то критерии.

2. Участвует кто хочет.

3. Результат публичный, т.е. закономерность надо либо описать словами, а лучше предоставить код. Обсуждаемо.

4. Время течения конкурса - неделя или пару - думаю, что лучше делать много конкурсов, для поддержания интереса.

5. Вознаграждения у меня нет - просто на интерес, либо может будут спонсоры, или предложения.

Что даст конкурс:

1. Развлекательный элемент в повседневность.

2. Возможность на деле доказать свои способности в работе с данными.

3. Возможность оценить сложность отделения случайных закономерностей от неслучайных.

4. Прокачать свои навыки.

Закономерность можно закладывать через набор правил, допустим 3 правила,описываемых переменными через неравенства между собой или константами. Распознание одного правила даёт какой то балл. Проводим пяток конкурсов, кто набрал больше балов - победил. Бонусы за скорость можно. 

Результат можно выкладывать в ветке в виде архива, защищённым паролем, в конце периода конкурса участник публикует пароль и организатор проверяет результаты и подсчитывает баллы. Всё публично.

Что думаете? Вроде конкурс доступный получается для широкого круга, можно использовать разные методы.