Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2038

 
dr.mr.mom:

кроме улыбки ни чего не вызывает) а почему Вы не допускаете что у меня такая модель до которой тензорфлоу/торчу ещё пару лет, и при этом я утрою отрыв, почему не допускаете?)

это уже даунские разговоры начались, к сожалению

 
Aleksey Vyazmikin:

Так CB строит ансамбли, т.е. резанье происходит и так, и мельчашение зависит от числа деревьев вообще они максимум рекомендуют глубину 10.

Видимо это не для миллионов строк рекомендация. Попробуйте 15

 
elibrarius:

Видимо это не для миллионов строк рекомендация. Попробуйте 15

Это как раз для очень больших выборок в ширину и глубину.

Я же говорю, что обучение легко идет, но выявленные закономерности при обучении не подтверждаются на контрольной выборке.

 
Aleksey Vyazmikin:

Это как раз для очень больших выборок в ширину и глубину.

Я же говорю, что обучение легко идет, но выявленные закономерности при обучении не подтверждаются на контрольной выборке.

На мой взгляд число столбцов не так важно для глубины. Только большому числу строк надо увеличивать глубину. А столбцы - да хоть миллион. Они все будут проверены и выбраны лишь некоторые лучшие.
 
Igor Makanu:

с анализом рыночной информации, в целом нет проблем... за исключением жадности исследователя, который считает, что рынок дает информацию только ему и нужно обрабатывать все данные, т.е. тут задача формализуется как ищем повторяющуюся закономерность, остальные данные должны быть отброшены (не используются)

с принятием решения все грустно - сгенерировать ТС которые пройдут тестирование и форвард можно, но вот найти связи между статистикой тестера стратегий и временем живучести ТС или возможности определения соответствия ТС контексту рынка - тут проблема

, т.е как Вы пишете проблема то в будущем


считаю, что в целом немного продвинулись в формализации задачи,

в принципе не сложно сделать выгрузку статистики тестирования и попробовать в Python обучить НС,

определение  контекста рынка, имхо это как Вы писали - только решение трейдера, т.е. сомневаюсь, что можно формализовать или алгоритмизировать или исследовать

С атомами проще 2 уровня материя молекулы атомы в неорганике и материя большая молекула и куча атомов в органике. В анализе рынка государства, хозсубъекты люди. и люди сложнее атомов и их составляющих.  точно сложнее чем органическая химия.

 
elibrarius:
На мой взгляд число столбцов не так важно для глубины. Только большому числу строк надо увеличивать глубину. А столбцы - да хоть миллион. Они все будут проверены и выбраны лишь некоторые лучшие.

В общем такой результат - 2 дерева в итоге

Метрика

Оценка важности предиктооров по выбранному методу

Приложил модель C++  и bin, и таблицу квантования.

По мне так выборку или надо перемешивать, или это максимум - смущает разница в метрике между тестовой и экзаменационной выборкрй.

Файлы:
model.zip  19 kb
 
Valeriy Yastremskiy:

С атомами проще 2 уровня материя молекулы атомы в неорганике и материя большая молекула и куча атомов в органике. 

именно так и есть, но пока вы рассматриваете атомы, а как только решите рассмотреть кристаллическую решетку, "все приплыли" - в большинстве случаев очень трудно решаемая задача, читал когда то , кстати там и используют нейросети - быстрее результат процесса моделирования получают

так и с рынками, пока рассматриваем один - два тика, вариантов не много - или вверх или вниз, все усложняется если переходим к изучению "вот здесь открыли ордер, а вот тут закрыли" )))

Valeriy Yastremskiy:

В анализе рынка государства, хозсубъекты люди. и люди сложнее атомов и их составляющих.  точно сложнее чем органическая химия.

да, это некая живая структура, но она имеет поведенческую модель - пусть это паттерны называется или контекст рынка, не суть

изучить поведение на истории возможно, осталось принять решение, что делать в будущем

 
Aleksey Vyazmikin:

В общем такой результат - 2 дерева в итоге

Метрика

Оценка важности предиктооров по выбранному методу

Приложил модель C++  и bin, и таблицу квантования.

По мне так выборку или надо перемешивать, или это максимум - смущает разница в метрике между тестовой и экзаменационной выборкрй.

Перемешивать внутри  train или test можно, но нет смысла, а между train и test - нельзя. Вы там не перемешали их случайно, что-то очень хороший результат для теста с экзаменом.

А разница - потому что рынок не всегда одинаков, а меняется. Главное- чтобы в среднем была прибыль)

 
elibrarius:

Перемешивать внутри  train или test можно, но нет смысла, а между train и test - нельзя. Вы там не перемешали их случайно, что-то очень хороший результат для теста с экзаменом.

Я не перемешивал и результат как раз не очень хороший для тестовой выборки - Recall маленький.

А вот перемешивать вполне можно, если считаем, что закономерность устойчива, а не уменьшается к концу выборки. Тут как раз формерование файла могло быть с помощью цикла и часть параметров просто не попали в зону исследования.

 
Aleksey Vyazmikin:

Я не перемешивал и результат как раз не очень хороший для тестовой выборки - Recall маленький.

А вот перемешивать вполне можно, если считаем, что закономерность устойчива, а не уменьшается к концу выборки. Тут как раз формерование файла могло быть с помощью цикла и часть параметров просто не попали в зону исследования.

Если перемешаете - то тест сразу улучшится, - будет подглядывание, по соседнему бару. Т.е. один бар (10:00) попал в трейн, соседний  (10:01) в тест , а они ну очень похожи, как по прошлому, так и по целевой.
Причина обращения: