Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 82

 
mytarmailS:

при тренировке модели , чем больше деревьев тем сильнее обучается класс "0" и по мере того как класс  "0" все лучше и сильнее обучается он начинает как бы ( поглощать - выдавливать ) классы "1"  , " -1"  ,  вот почему чем больше деревьев тем меньше сделок

Что-то неправильно, лес почти всегда тренируется на точность в 100% с любыми перекосами. На валидации с такими данными возможны проблемы, но предсказывать результаты на данных для обучения лес будет всегда точно. Могу предположить что вы используете не классификацию а регрессию, и при тесте модели вы получаете не чёткие классы -1;0;1, а действительные числа в интервале от -1 до 1. С таким перекосом с регрессией добра не выйдет.

Лучше сделать так, допустим что у вас есть таблица trainingData, где последняя колонка это целевая переменная, а все остальные колонки это предикторы:

trainingData <- data.frame(trainingData) #на всякий случай сконвертировать таблицу из матрицы в датафрейм, если не было сделано раньше
trainingData[,ncol(trainingData)] <- factor(trainingData[,ncol(trainingData)]) #тип последней колонки сменить на фактор. Модели в R обычно сразу по этому типу понимают что нужна классификация, и работают чуть иначе чем при регрессии
 
mytarmailS:

не совсем так...

то что я пишу - это применимо только к моему подходу у вас будет по другому 

вы знаете как я делаю целевую,  это развороты

у меня есть три класса разворот "вверх", "вниз" и "не разворот"    ( 1  ,  -1   ,  0) 

 так же вы знаете что перекос по классам колоссальный,  класса "0" в десятки раз больше чем "-1" и "1"

а это значит что модель лучше всего натренируеться на классе "0"  ведь на него приходиться больше всего наблюдений, и вот при тренировке модели , чем больше деревьев тем сильнее обучается класс "0" и по мере того как класс  "0" все лучше и сильнее обучается он начинает как бы ( поглощать - выдавливать ) классы "1"  , " -1"  ,  вот почему чем больше деревьев тем меньше сделок

Для меня Вы пишите удивительные вещи!

Очень оригинальный подход для несбалансированных классов.

Тогда, в моем понимании, у Вас перечень предикторов не только не содержат шумовых, но и имеют очень высокую предсказательную силу.

Если это так, то как Вы этого добились? 

 
Dr.Trader:

Что-то неправильно, лес почти всегда тренируется на точность в 100% с любыми перекосами. На валидации с такими данными возможны проблемы, но предсказывать результаты на данных для обучения лес будет всегда точно. Могу предположить что вы используете не классификацию а регрессию, и при тесте модели вы получаете не чёткие классы -1;0;1, а действительные числа в интервале от -1 до 1. С таким перекосом с регрессией добра не выйдет.

Лучше сделать так, допустим что у вас есть таблица trainingData, где последняя колонка это целевая переменная, а все остальные колонки это предикторы:

100% для дерева абсолютная чушь!

Если все Ваши предикторы шумовые, то такого результата очень сложно добиться: все равно ошибка будет 3%-5%. Шум всегда дает очень качественные результаты при всех кроссвалидациях и прочих ухищрениях.

Точность 100% означает единственное: среди предикторов у Вас находится дубль целевой переменной (какая-то ее модификация). Т.е. модель заглядывает в будущее.

 
СанСаныч Фоменко:


Точность 100% означает единственное: среди предикторов у Вас находится дубль целевой переменной (какая-то ее модификация). Т.е. модель заглядывает в будущее.

это data leak. Нужно проверить данные еще раз. 
 
Alexey Burnakov:

А что вам не нравится в этом подходе? Как параметры собираетесь подбирать? 

Да подход то замечательный, сложно что то лучше придумать, беда в самом рынке...

Помните я рассказывал про свои эксперименты, корреляции и поиск паттернов в истории(не SSA, а ранее), что я делал :

я брал текущую ситуацию  и искал ее аналоги в прошлом и смотрел чем они заканчивались, если находилась такая ситуация "Х" когда было найдено 20  аналогов из которых 17 закончились падением а 3 ростом , те статистический перевес на лицо (надо продавать),  кстати чем вам не кроссвалидацыя? просто по отдельному паттерну вы согласны? То выяснялось что паттерн этот  нифига не сработает, выяснилось что с огромной долей вероятности рынок пойдет вверх, те рынок ходит против своей же статистики с огромной статистической вероятностю. 

Если еще проще если у нас вчера было событие "х" и после него было падение и позавчера было событие  "х"  и после тоже все упало и поза поза вчера был обвал после события  "х"  -  то если сегодня наступит  "х"   - все вырастет  , какая кросвалидацыя тут поможет?? никакая, никогда 

 Поясню самое главное, понимание процесса

Рынок ето жестокий бизнес где одни люди которые построили  этот бизнес легально отбирают деньги у других , толпа, она же большинство всегда обязана проиграть, об этом все знают, об этом все пишут,  этого никто не скрывает , кароч ето аксиома - ето закономерность 95% трейдеров теряют деньги - те рынок ходит против большинства с той вероятностью с которой трейдеры теряют деньги те 95%

А чем же пользуется толпа при торговле? А у толпы по сути нет ничего кроме одного что заставляет их делать сделки.

Любые действия начиная от визуального просмотра графиков и поиска закономерностей в пролом и заканчивая тренировкой нейросетей  есть ничто иное как торговля по статистике, по той самой которая не работает на рынке, понимаете о чем я вообще говорю?

рынок ходит против сделок толпы   -----   толпа действует по статистике    ------   все что нужно это предугадать действие толпы в будущем и сделать наоборот, предугадать можно единственным способом, ето статистика

 

))))  начал с одного а закончил третьим :)  , ну как то так, по крайней мере я выговорился )

 

p.s. все что я тут наговорил ето исключительно мое мнение, никому не ничего не навязываю , спорить и доказывать могу но не то настроение 

 
Dr.Trader:

Что-то неправильно, лес почти всегда тренируется на точность в 100% с любыми перекосами. На валидации с такими данными возможны проблемы, но предсказывать результаты на данных для обучения лес будет всегда точно. Могу предположить что вы используете не классификацию а регрессию, и при тесте модели вы получаете не чёткие классы -1;0;1, а действительные числа в интервале от -1 до 1. С таким перекосом с регрессией добра не выйдет.

Лучше сделать так, допустим что у вас есть таблица trainingData, где последняя колонка это целевая переменная, а все остальные колонки это предикторы:

нет, классификация , у вас что то не так...

qqq 

у меня приблизительно вот так выглядело ето две модели, отдельно бай и сел классы (1, 0)  и (-1, 0) 

выглядит мерзко )   согласен

 
mytarmailS:

Да подход то замечательный, сложно что то лучше придумать, беда в самом рынке...

Помните я рассказывал про свои эксперименты, корреляции и поиск паттернов в истории(не SSA, а ранее), что я делал :

я брал текущую ситуацию  и искал ее аналоги в прошлом и смотрел чем они заканчивались, если находилась такая ситуация "Х" когда было найдено 20  аналогов из которых 17 закончились падением а 3 ростом , те статистический перевес на лицо (надо продавать),  кстати чем вам не кроссвалидацыя? просто по отдельному паттерну вы согласны? То выяснялось что паттерн этот  нифига не сработает, выяснилось что с огромной долей вероятности рынок пойдет вверх, те рынок ходит против своей же статистики с огромной статистической вероятностю. 

Если еще проще если у нас вчера было событие "х" и после него было падение и позавчера было событие  "х"  и после тоже все упало и поза поза вчера был обвал после события  "х"  -  то если сегодня наступит  "х"   - все вырастет  , какая кросвалидацыя тут поможет?? никакая, никогда 

 Поясню самое главное, понимание процесса

Рынок ето жестокий бизнес где одни люди которые построили  этот бизнес легально отбирают деньги у других , толпа, она же большинство всегда обязана проиграть, об этом все знают, об этом все пишут,  этого никто не скрывает , кароч ето аксиома - ето закономерность 95% трейдеров теряют деньги - те рынок ходит против большинства с той вероятностью с которой трейдеры теряют деньги те 95%

А чем же пользуется толпа при торговле? А у толпы по сути нет ничего кроме одного что заставляет их делать сделки.

Любые действия начиная от визуального просмотра графиков и поиска закономерностей в пролом и заканчивая тренировкой нейросетей  есть ничто иное как торговля по статистике, по той самой которая не работает на рынке, понимаете о чем я вообще говорю?

рынок ходит против сделок толпы   -----   толпа действует по статистике    ------   все что нужно это предугадать действие толпы в будущем и сделать наоборот, предугадать можно единственным способом, ето статистика

 

))))  начал с одного а закончил третьим :)  , ну как то так, по крайней мере я выговорился )

 

p.s. все что я тут наговорил ето исключительно мое мнение, никому не ничего не навязываю , спорить и доказывать могу но не то настроение 

хорошо.

 

Для меня форекс это тупо сигнал с шумами. Если я нахожу зависимость ,я забираю деньги, если переобучаюсь, брокер забирает. А про толпы и т.д. информации у меня нет. А как ее в достаточном количестве получить не знаю.

 

После завершения этого эксперимента, хочу взяться за биржевые котировки. Там объемы еще будут реальные, тоже плюс. 

 
Alexey Burnakov:

хорошо.

 

Для меня форекс это тупо сигнал с шумами. Если я нахожу зависимость ,я забираю деньги, если переобучаюсь, брокер забирает. А про толпы и т.д. информации у меня нет. А как ее в достаточном количестве получить не знаю.

 

После завершения этого эксперимента, хочу взяться за биржевые котировки. Там объемы еще будут реальные, тоже плюс. 

форекс ето форекс, ето вообще не рынок(тот что мт4 ), если вы торгуете евродолар на форексе то нужно понимать что двигает эту вашу картинку фюч. на евродолар на бирже CME , двигает настоящая толпа настоящими сделками,  а то что у вас в терминале транслируют  это просто картинка которая повторяет движение настоящего евробакса и не более того, никакого влияния ваша сделка в мт4 на рынок не имеет,  ни на какой межбанк ваши 10$(образно) никто не выводит, вы торгуете со своим дц и все, вернее он торгует против вас, ведь ваш слив ето его чистый доход
 
Alexey Burnakov:

После завершения этого эксперимента, хочу взяться за биржевые котировки. Там объемы еще будут реальные, тоже плюс. 

поверьте, объемы вам мало помогут, вы можете их заменить обычной волатильностью, я практически всегда торговал только на реальном рынке, я знаю о чем я говорю
 
mytarmailS:
поверьте, объемы вам мало помогут, вы можете их заменить обычной волатильностью, я практически всегда торговал только на реальном рынке, я знаю о чем я говорю

ок. 

я попробую из объем сделать входные фичи и тогда посмотрим. 

Причина обращения: