Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2038

 
elibrarius:

Видимо это не для миллионов строк рекомендация. Попробуйте 15

Это как раз для очень больших выборок в ширину и глубину.

Я же говорю, что обучение легко идет, но выявленные закономерности при обучении не подтверждаются на контрольной выборке.

 
Aleksey Vyazmikin:

Это как раз для очень больших выборок в ширину и глубину.

Я же говорю, что обучение легко идет, но выявленные закономерности при обучении не подтверждаются на контрольной выборке.

На мой взгляд число столбцов не так важно для глубины. Только большому числу строк надо увеличивать глубину. А столбцы - да хоть миллион. Они все будут проверены и выбраны лишь некоторые лучшие.
 
Igor Makanu:

с анализом рыночной информации, в целом нет проблем... за исключением жадности исследователя, который считает, что рынок дает информацию только ему и нужно обрабатывать все данные, т.е. тут задача формализуется как ищем повторяющуюся закономерность, остальные данные должны быть отброшены (не используются)

с принятием решения все грустно - сгенерировать ТС которые пройдут тестирование и форвард можно, но вот найти связи между статистикой тестера стратегий и временем живучести ТС или возможности определения соответствия ТС контексту рынка - тут проблема

, т.е как Вы пишете проблема то в будущем


считаю, что в целом немного продвинулись в формализации задачи,

в принципе не сложно сделать выгрузку статистики тестирования и попробовать в Python обучить НС,

определение  контекста рынка, имхо это как Вы писали - только решение трейдера, т.е. сомневаюсь, что можно формализовать или алгоритмизировать или исследовать

С атомами проще 2 уровня материя молекулы атомы в неорганике и материя большая молекула и куча атомов в органике. В анализе рынка государства, хозсубъекты люди. и люди сложнее атомов и их составляющих.  точно сложнее чем органическая химия.

 
elibrarius:
На мой взгляд число столбцов не так важно для глубины. Только большому числу строк надо увеличивать глубину. А столбцы - да хоть миллион. Они все будут проверены и выбраны лишь некоторые лучшие.

В общем такой результат - 2 дерева в итоге

Метрика

Оценка важности предиктооров по выбранному методу

Приложил модель C++  и bin, и таблицу квантования.

По мне так выборку или надо перемешивать, или это максимум - смущает разница в метрике между тестовой и экзаменационной выборкрй.

Файлы:
model.zip  19 kb
 
Valeriy Yastremskiy:

С атомами проще 2 уровня материя молекулы атомы в неорганике и материя большая молекула и куча атомов в органике. 

именно так и есть, но пока вы рассматриваете атомы, а как только решите рассмотреть кристаллическую решетку, "все приплыли" - в большинстве случаев очень трудно решаемая задача, читал когда то , кстати там и используют нейросети - быстрее результат процесса моделирования получают

так и с рынками, пока рассматриваем один - два тика, вариантов не много - или вверх или вниз, все усложняется если переходим к изучению "вот здесь открыли ордер, а вот тут закрыли" )))

Valeriy Yastremskiy:

В анализе рынка государства, хозсубъекты люди. и люди сложнее атомов и их составляющих.  точно сложнее чем органическая химия.

да, это некая живая структура, но она имеет поведенческую модель - пусть это паттерны называется или контекст рынка, не суть

изучить поведение на истории возможно, осталось принять решение, что делать в будущем

 
Aleksey Vyazmikin:

В общем такой результат - 2 дерева в итоге

Метрика

Оценка важности предиктооров по выбранному методу

Приложил модель C++  и bin, и таблицу квантования.

По мне так выборку или надо перемешивать, или это максимум - смущает разница в метрике между тестовой и экзаменационной выборкрй.

Перемешивать внутри  train или test можно, но нет смысла, а между train и test - нельзя. Вы там не перемешали их случайно, что-то очень хороший результат для теста с экзаменом.

А разница - потому что рынок не всегда одинаков, а меняется. Главное- чтобы в среднем была прибыль)

 
elibrarius:

Перемешивать внутри  train или test можно, но нет смысла, а между train и test - нельзя. Вы там не перемешали их случайно, что-то очень хороший результат для теста с экзаменом.

Я не перемешивал и результат как раз не очень хороший для тестовой выборки - Recall маленький.

А вот перемешивать вполне можно, если считаем, что закономерность устойчива, а не уменьшается к концу выборки. Тут как раз формерование файла могло быть с помощью цикла и часть параметров просто не попали в зону исследования.

 
Aleksey Vyazmikin:

Я не перемешивал и результат как раз не очень хороший для тестовой выборки - Recall маленький.

А вот перемешивать вполне можно, если считаем, что закономерность устойчива, а не уменьшается к концу выборки. Тут как раз формерование файла могло быть с помощью цикла и часть параметров просто не попали в зону исследования.

Если перемешаете - то тест сразу улучшится, - будет подглядывание, по соседнему бару. Т.е. один бар (10:00) попал в трейн, соседний  (10:01) в тест , а они ну очень похожи, как по прошлому, так и по целевой.
 
elibrarius:
Если перемешаете - то тест сразу улучшится, - будет подглядывание, по соседнему бару. Т.е. один бар (10:00) попал в трейн, соседний  (10:01) в тест , а они ну очень похожи, как по прошлому, так и по целевой.

А там в выборке бары по очереди? Просто я не обучаю на каждом баре, а беру только сигналы и в таком случае считаю возможным смешать выборки - это увеличивает объем информации для обучения без увеличения размера выборки, что по моим данным улучшает экзаменационную выборку.

 
Aleksey Vyazmikin:

А там в выборке бары по очереди?

Я уже удалил файл, посмотрите у себя. Думаю что по очереди, это самый логичный способ формирования CSV файла.