Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 950

 
Aleksey Vyazmikin:

Зачем делить файл, если и так всё уже поделено на два файла? Просто не умею я в R этого делать, объяснить мне никто так и не смог - видимо глуп.

А может проще взять https://www.cs.waikato.ac.nz/ml/weka/downloading.html, если программирование изучать в лом?

Weka 3 - Data Mining with Open Source Machine Learning Software in Java
  • www.cs.waikato.ac.nz
There are two versions of Weka: Weka 3.8 is the latest stable version, and Weka 3.9 is the development version. For the bleeding edge, it is also possible to download nightly snapshots. Stable versions receive only bug fixes, while the development version...
 
СанСаныч Фоменко:

А вот другая модель:

Результат КАЧЕСТВЕННО другой, хотя и модель качественно другая, должна плохо работать на Ваших данных.


Надо доводить до ума randomForest

Понял, спасибо, тогда буду заниматься деревьями да лесами - они мне большое и по идеологии нравятся.

СанСаныч Фоменко:

Зачем делить файл, если и так всё уже поделено на два файла? Просто не умею я в R этого делать, объяснить мне никто так и не смог - видимо глуп.

Поделить - раз плюнуть, проблема в предубеждении к R.


Очень надеюсь, что сеть сможет переплюнуть оптимизированный советник на истории :)

А зачем сеть?

Да нет предубеждений, просто слабое знание языка, нет хэлпов на русском (есть уже одна книга, но книгу надо читать всю в отличии от хэлпа, и не факт, что там окажется то, что было нужно), в общем есть сложности с обучением. Ну и не ясно, почем люди так не любят GUI - это ж экономит время...

А насчет сети, я оговорился, речь просто о МО в целом.

 
Maxim Dmitrievsky:

Где вы понабрали столько пердикторов? вручную подбирали под стратегию? с ума сойти :)

логика у лесов +- одинаковая должна быть

Предикторов понабрал из горького опыта ручной торговли, когда происходит слив и ты не втыкаешь почему вход был ошибочен. У меня есть проблема - я не люблю терять деньги, и поэтому с трудом закрываю позицию из-за чего создаю крупные себе неприятности, если торгую руками. После таких событий просто работаешь на износ, тесты, анализ, ищешь решение того, как можно было бы избежать слива - генерируешь идеи, проверяешь их на истории, часть отбрасываешь, а часть нет. Много идей остаётся без реализации из-за сложности их мне запрограммировать, но они остаются на бумаге, бумаги заполняют стол...

Спасибо, про обнадеживающий ответ про леса!

 
Roffild:

А может проще взять https://www.cs.waikato.ac.nz/ml/weka/downloading.html, если программирование изучать в лом?

Да стоит у меня эта века - только хрен поймешь как ей пользоваться!

И, потом, как её с MT5 сдружить?

 

Всё это ***, в общем в Rattle на 2015 году обучил лес, настройки по умолчанию, выдал такой результат

Summary of the Random Forest Model
==================================

Number of observations used to build the model: 98573
Missing value imputation is active.

Call:
 randomForest(formula = as.factor(arr_Buy) ~ .,
              data = crs$dataset[crs$sample, c(crs$input, crs$target)],
              ntree = 500, mtry = 8, importance = TRUE, replace = FALSE, na.action = randomForest::na.roughfix)

               Type of random forest: classification
                     Number of trees: 500
No. of variables tried at each split: 8

        OOB estimate of  error rate: 6.89%
Confusion matrix:
      -1     0     1 class.error
-1 24452  2147    27  0.08164952
0   1138 42398  1180  0.05183827
1     36  2265 24930  0.08449928

Научился я значит csv файл для тестирования модели на других данных загружать(для этого этот файл надо с начала открыть, как файл для работы с данными, а потом экспортировать и уже этот экспортированный файл открывать во вкладке Evaluate) - загрузил за 2016 год.

Получил такой тухлый результат


Error matrix for the Random Forest model on Pred_027_2015_H2_T_sample.csv (counts):

      Predicted
Actual   -1     0    1 Error
    -1 4640 30809 4303  88.3
    0  5210 54059 6090  17.3
    1  3237 28118 5466  85.2

Error matrix for the Random Forest model on Pred_027_2015_H2_T_sample.csv (proportions):

      Predicted
Actual  -1    0   1 Error
    -1 3.3 21.7 3.0  88.3
    0  3.7 38.1 4.3  17.3
    1  2.3 19.8 3.9  85.2

Overall error: 54.7%, Averaged class error: 63.6%

Что это переобучение, неверные настройки, кардинально другой рынок?

Тогда какого лешива, я получаю на дереве в Deductor Studio результат лучше на тех же данных?


 

Добро пожаловать в мир курвафиттинга

кстати, поковырял EMD - декомпозицию приходится проводить на каждом новом баре, из-за этого ф-я зашумляется т.к. с добавлением новых данных все моды скачут туда-сюда. Ерунда, только для 1-разовых случаев подходит

ерундуха ерунда ерундовая елда. зато открыл новый способ управления позициями
 
Maxim Dmitrievsky:

Добро пожаловать в мир курвафиттинга

кстати, поковырял EMD - декомпозицию приходится проводить на каждом новом баре, из-за этого ф-я зашумляется т.к. с добавлением новых данных все моды скачут туда-сюда. Ерунда, только для 1-разовых случаев подходит

ерундуха ерунда ерундовая елда. зато открыл новый способ управления позициями

С начала подумал, ну всё, меня тут обругали, оказалось, что у сложного слова есть иное значение...

Полагаете, что дело в том, что выход из позиции у меня не по паттерну, а по стоплосу, и это сильно искажает результат?

По поводу EMD, то у меня возникла мысль использовать данный подход для создания контр трендовых каналов...

А что за способ управления позициями?
 
Aleksey Vyazmikin:

С начала подумал, ну всё, меня тут обругали, оказалось, что у сложного слова есть иное значение...

Полагаете, что дело в том, что выход из позиции у меня не по паттерну, а по стоплосу, и это сильно искажает результат?

По поводу EMD, то у меня возникла мысль использовать данный подход для создания контр трендовых каналов...

А что за способ управления позициями?

ЕМД в динамике применять вообще невозможно из-за вышеописанных причин

про способ долго объяснять, там все переплетено с RL

да и по вашему случаю - результат ожидаемый на новых данных. Такое почти всегда. Частично решается ансамблями независимых моделей
 
Aleksey Vyazmikin:

Получил такой тухлый результат


Что это переобучение, неверные настройки, кардинально другой рынок?

Тогда какого лешива, я получаю на дереве в Deductor Studio результат лучше на тех же данных?



Основное доказательство переобучения: я НЕ нашел НЕ шумовых предикторов - сплошной шум, поэтому такие хорошие результаты при обучении.

 
Maxim Dmitrievsky:

ЕМД в динамике применять вообще невозможно из-за вышеописанных причин

про способ долго объяснять, там все переплетено с RL

да и по вашему случаю - результат ожидаемый на новых данных. Такое почти всегда. Частично решается ансамблями независимых моделей

Вот допишу ещё пару предикторов и перейду к ансамблям.... и начнутся тогда бубны с плясками.

Причина обращения: