Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3615

[mytarmailS]

Maxim Dmitrievsky #:
Нет таких мощей и люблю более вдумчивый подход :)

Сколько там признаков всего?

[[Удален]]

mytarmailS #:
Сколько там признаков всего?

Там нет признаков. Там графы с ребрами. Ребра описаны числовыми значениями, из которых надо сделать признаки, либо применить любой иной подход. Все графы имеют разное количество узлов и ребер.

То есть не обязательно использовать обучение с учителем, но можно, как опцию.

Графы, в свою очередь, описывают причинно-следственные связи между x, y и промежуточными/отдельно стоящими узлами. Всего 8 типов связей.

Нужно определить что на что влияет, что на что не влияет, что чему мешает и так далее :)

Ещё они в своем дискорде пишут, что можно изменять сами графы. Это ещё усложняет задачу.

[mytarmailS]

Maxim Dmitrievsky #:
Там нет признаков. Там графы с ребрами. Ребра описаны числовыми значениями, из которых надо сделать признаки, либо применить любой иной подход. Все графы имеют разное количество узлов и ребер.

То есть не обязательно использовать обучение с учителем, но можно, как опцию.

Графы, в свою очередь, описывают причинно-следственные связи между x, y и промежуточными/отдельно стоящими узлами. Всего 8 типов связей.

Нужно определить что на что влияет, что на что не влияет, что чему мешает и так далее :)

Ещё они в своем дискорде пишут, что можно изменять сами графы. Это ещё усложняет задачу.

Значит нужен поиск те оптимизация..

Бери символьную регрессию и пишы программу переборов , перестановок узлов и ребер графа и делай оцеку

[[Удален]]

mytarmailS #:
Значит нужен поиск те оптимизация..

Бери символьную регрессию и пишы программу переборов , перестановок узлов и ребер графа и делай оцеку

Я пока не уверен что там нужно. Когда начинаю обо всем думать, то понимаю, что не понимаю смысл задачи.

И Прадо ещё как будто подтрунивает: "вам не обязательно понимать смысл этой задачи"

Нужно обсудить это с хорошим психологом 

[mytarmailS]

Maxim Dmitrievsky #:
Я пока не уверен что там нужно. Когда начинаю обо всем думать, то понимаю, что не понимаю смысл задачи.

И Прадо ещё как будто подтрунивает: "вам не обязательно понимать смысл этой задачи"

Нужно обсудить это с хорошим психологом 

Там есть же чат, пообщайся с такими же

[[Удален]]

mytarmailS #:
Там есть же чат, пообщайся с такими же

Сегодня будет целая ночь :)

[[Удален]]

Maxim Dmitrievsky #:
Сегодня будет целая ночь :)

По результатам: улучшений нет :)

сверточную нейронку тоже попробовал, результат ожидаемо хуже леса и бустинга

Бустинг:

106:    learn: 0.5703702        test: 0.3621375 best: 0.3731653 (60)    total: 3.35s    remaining: 27.9s
107:    learn: 0.5724813        test: 0.3600689 best: 0.3731653 (60)    total: 3.38s    remaining: 27.9s
108:    learn: 0.5732323        test: 0.3605623 best: 0.3731653 (60)    total: 3.4s     remaining: 27.8s
109:    learn: 0.5730131        test: 0.3624452 best: 0.3731653 (60)    total: 3.44s    remaining: 27.8s
110:    learn: 0.5707056        test: 0.3637406 best: 0.3731653 (60)    total: 3.47s    remaining: 27.8s
Stopped by overfitting detector  (50 iterations wait)

bestTest = 0.3731652564
bestIteration = 60

Shrink model to first 61 iterations.
test score:
Accuracy: 0.3730531636209162

Нейронка:

Epoch 45/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 0s 3ms/step - accuracy: 0.5362 - loss: 1.2519 - val_accuracy: 0.5055 - val_loss: 1.3550
Epoch 46/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 1s 3ms/step - accuracy: 0.5366 - loss: 1.2640 - val_accuracy: 0.5050 - val_loss: 1.3632
Epoch 47/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 0s 3ms/step - accuracy: 0.5415 - loss: 1.2693 - val_accuracy: 0.5089 - val_loss: 1.3603
Epoch 48/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 1s 3ms/step - accuracy: 0.5477 - loss: 1.2415 - val_accuracy: 0.5017 - val_loss: 1.3649
Epoch 49/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 1s 3ms/step - accuracy: 0.5354 - loss: 1.2828 - val_accuracy: 0.5061 - val_loss: 1.3784
Epoch 50/50
132/132 ━━━━━━━━━━━━━━━━━━━━ 1s 3ms/step - accuracy: 0.5331 - loss: 1.2766 - val_accuracy: 0.5100 - val_loss: 1.3636
57/57 ━━━━━━━━━━━━━━━━━━━━ 0s 2ms/step
Balanced Accuracy: 0.30404839813244877

[[Удален]]

Теперь очевидно, что задачка именно на причинно-следственный вывод. Через перебор признаков и подгонку моделей результат не сильно улучшается, наступает переобучение.

В дискорде есть персонажи, которые обучали нейронки на gpu 2 дня (не знаю чему так долго там обучать) и добились скора 43. Думаю, что это все равно плохой результат, скор должен быть > 50.

В следующий заход попробую применить техники causal inference, с которыми знаком.

[mytarmailS]

Если хочешь показать результат, генери признаки и делй фиче селекшн...  Все остальное бестолковое дрочево

[[Удален]]

mytarmailS #:
Если хочешь показать результат, генери признаки и делй фиче селекшн...  Все остальное бестолковое дрочево

Я думаю, что это первое, что 6к участникам пришло в голову :) результаты на лице

А твой конкурс закончился? Скажи же прикольно, сам процесс