Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2800

[Aleksei Kuznetsov]

mytarmailS #:
И как книжка? 

4 года назад читал... уже конкретно про нее ничего сказать не могу. Вот одну страничку скопировал себе в блог, т.к. это было новое для меня и решил, что надо её оставить на память. )

[Aleksei Kuznetsov]

elibrarius #:

https://www.mql5.com/ru/blogs/post/723619

Кстати, а кто-нибудь знает как расчитать корень индекса Джини (корень понятно как, а вот сам индекс Джини )? Лучше пример кода. Инересно было бы поэкспериментировать с ним.
Как я тогда пометил "индекс и коэф Джини разные вещи - не путать ".
Для коэф Джини используется ГСЧ, т.е. добавляем шум. Прикрепил к статье найденный код расчета на R и PY.
Индекс - что-то другое.

[Aleksey Nikolayev]

elibrarius #:

Кстати, а кто-нибудь знает как расчитать корень индекса Джини (корень понятно как, а вот сам индекс Джини )? Лучше пример кода. Инересно было бы поэкспериментировать с ним.
Как я тогда пометил "индекс и коэф Джини разные вещи - не путать ".
Для коэф Джини используется ГСЧ, т.е. добавляем шум. Прикрепил к статье найденный код расчета на R и PY.
Индекс - что-то другое.

Есть Gini coefficient и есть Gini Impurity. Первый используется как метрика в бинарной классификации, статья. Второй используется в решающих деревьях как аналог энтропии.

[Aleksey Vyazmikin]

mytarmailS

Как то Вы делали скрипт, которым я решил вот снова воспользоваться

library('caret')

way <-         "D:\\FX\\MT5_CB\\MQL5\\Files\\Po_Vektoru_TP_0_SL_0\\EURUSD_0\\Setup"
df1 = read.csv("D:\\FX\\MT5_CB\\MQL5\\Files\\Po_Vektoru_TP_0_SL_0\\EURUSD_0\\Setup\\train.csv", header = TRUE, sep = ";",dec = ".")


cor.test.range <- seq(from = 0.1,to = 0.9,by = 0.1)  # диапазон перебора в коеф корр

get.findCorrelation <- function(data , not.used.colums , cor.coef){
  library('caret')
  df2 <-  cor(     data[, ! colnames(data)  %in%  not.used.colums])  
  not.need <- findCorrelation(df2, cutoff=cor.coef) 
  not.need.nms <- colnames(df2[,not.need])  # получаем имена переменных что не прошли коррел тест
  reduced_Data <- data[, ! colnames(data)  %in%  not.need.nms]
  return(reduced_Data)}


for(i in 1:length(cor.test.range)){
  
    reduced_Data <- get.findCorrelation(data = df1 , 
                                      not.used.colums = c("Target_100_Buy","Target_100_Sell","Target_P","Time","Target_100"),
                                      cor.coef = cor.test.range[i] )


  
  #reduced_Data <- get.findCorrelation(data = reduced_Data , 
  #                                    not.used.colums = c("Target_100_Buy","Target_100_Sell","Target_P","Time","Target_100"),
  #                                    cor.coef = cor.test.range[i]*-1 )  
    
  file.name <- paste0("train2_" , cor.test.range[i] , ".csv")
  final.way <- paste0(way , file.name)
  
  
  #write.csv2(x = reduced_Data,file = final.way,row.names = F)  # возможно это лучше
  
   write.table(reduced_Data, file = final.way,
               append = FALSE, quote = FALSE, sep=";",
               eol = "\n", na = "NA", dec = ".", row.names = FALSE,
               col.names = TRUE, qmethod = c("escape", "double"),
               fileEncoding = "")
}

Запустил его на выборке, а он выдает ошибку - не могу понять, где искать ошибку и как исправить - может Вы знаете, раз пользуетесь этими библиотеками/пакетами?

R version 4.0.5 (2021-03-31) -- "Shake and Throw"
Copyright (C) 2021 The R Foundation for Statistical Computing
Platform: x86_64-w64-mingw32/x64 (64-bit)

R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under certain conditions.
Type 'license()' or 'licence()' for distribution details.

R is a collaborative project with many contributors.
Type 'contributors()' for more information and
'citation()' on how to cite R or R packages in publications.

Type 'demo()' for some demos, 'help()' for on-line help, or
'help.start()' for an HTML browser interface to help.
Type 'q()' to quit R.

[Workspace loaded from F:/FX/R/.RData]

Loading required package: Matrix
Error: package or namespace load failed for ‘Matrix’ in getClassDef(class1):
 reached elapsed time limit
> source('F:/FX/R/Viborka_Korrelyaciya_v_02.R', echo=TRUE)

> library('caret')
Загрузка требуемого пакета: lattice
Загрузка требуемого пакета: ggplot2

> #way <- "F:\\FX\\Открытие Брокер_Demo\\MQL5\\Files\\Proboy_236_TP_4_SL_4\\Si\\Setup\\"
> #df1 = read.csv("F:\\FX\\Открытие Брокер_Demo\\MQL5\\Files\ ..." ... [TRUNCATED] 

> df1 = read.csv("D:\\FX\\MT5_CB\\MQL5\\Files\\Po_Vektoru_TP_0_SL_0_G_2_Bi_v2\\EURUSD_0\\Setup\\train.csv", header = TRUE, sep = ";",dec = ".")

> cor.test.range <- seq(from = 0.1,to = 0.9,by = 0.1)  # диапазон перебора в коеф корр

> get.findCorrelation <- function(data , not.used.colums , cor.coef){
+   library('caret')
+   df2 <-  cor(     data[, ! colnames(data)  %in%  not.use .... [TRUNCATED] 

> for(i in 1:length(cor.test.range)){
+   
+     reduced_Data <- get.findCorrelation(data = df1 , 
+                                       not.used.co .... [TRUNCATED] 
Warning messages:
1: пакет ‘caret’ был собран под R версии 4.1.0 
2: пакет ‘ggplot2’ был собран под R версии 4.1.0 
> source('F:/FX/R/Viborka_Korrelyaciya_v_02.R', echo=TRUE)

> library('caret')

> #way <- "F:\\FX\\Открытие Брокер_Demo\\MQL5\\Files\\Proboy_236_TP_4_SL_4\\Si\\Setup\\"
> #df1 = read.csv("F:\\FX\\Открытие Брокер_Demo\\MQL5\\Files\ ..." ... [TRUNCATED] 

> df1 = read.csv("D:\\FX\\MT5_CB\\MQL5\\Files\\Po_Vektoru_TP_0_SL_0\\EURUSD_0\\Setup\\train.csv", header = TRUE, sep = ";",dec = ".")

> cor.test.range <- seq(from = 0.1,to = 0.9,by = 0.1)  # диапазон перебора в коеф корр

> get.findCorrelation <- function(data , not.used.colums , cor.coef){
+   library('caret')
+   df2 <-  cor(     data[, ! colnames(data)  %in%  not.use .... [TRUNCATED] 

> for(i in 1:length(cor.test.range)){
+   
+     reduced_Data <- get.findCorrelation(data = df1 , 
+                                       not.used.co .... [TRUNCATED] 
Error in findCorrelation_fast(x = x, cutoff = cutoff, verbose = verbose) : 
  The correlation matrix has some missing values.
In addition: Warning message:
In cor(data[, !colnames(data) %in% not.used.colums]) :
  стандартное отклонение нулевое

На бинарной выборке все отработало нормально.

[mytarmailS]

Aleksey Vyazmikin #:

Как то Вы делали скрипт, которым я решил вот снова воспользоваться

Запустил его на выборке, а он выдает ошибку - не могу понять, где искать ошибку и как исправить - может Вы знаете, раз пользуетесь этими библиотеками/пакетами?

На бинарной выборке все отработало нормально.

Да не пользуюсь я этой библитекой,  делал разово, вроде для тебя как раз... Наверное ты что то в своих новых данных не то сделал если со старыми работает

[Aleksey Vyazmikin]

mytarmailS #:
Да не пользуюсь я этой библитекой,  делал разово, вроде для тебя как раз... Наверное ты что то в своих новых данных не то сделал если со старыми работает

Да, для меня. Работает с бинарными, раньше посмотрел то ж на бинарных запускалась в основном. Плохо, что не пишут в каком столбце\строке чтот не так.

[mytarmailS]

Aleksey Vyazmikin #:

Да, для меня. Работает с бинарными, раньше посмотрел то ж на бинарных запускалась в основном. Плохо, что не пишут в каком столбце\строке чтот не так.

Перепроверь свои данные, точно ли они соответствуют тем бинарным..

Если не разберёшься, то скинь мне маленький кусок твоих данных с которыми скрипт не работает, а также сам скрипт и напомни что он должен делать. 

Попробую помочь... 

[Aleksey Vyazmikin]

mytarmailS #:
Перепроверь свои данные, точно ли они соответствуют тем бинарным..

Если не разберёшься, то скинь мне маленький кусок твоих данных с которыми скрипт не работает, а также сам скрипт и напомни что он должен делать. 

Попробую помочь... 

Почему они должны соответствовать бинарным? Я просто сказал о том, что скрипт рабочий, но не со всеми данными работает.

Урезал выборку и приложил отдельным архивом скрипт.

Скрипт выкидывает коррелирующие столбцы из выборке и сохраняет новую выборку.

Исключение столбцов происходит в зависимости от порога корреляции.

[mytarmailS]

Aleksey Vyazmikin #:

Почему они должны соответствовать бинарным? Я просто сказал о том, что скрипт рабочий, но не со всеми данными работает.

Ну не знаю, может ты сепаратор поменял например или ещё что то..

И какую ошибку выдаёт скрипт я так и не понял

И почему ты установил пакеты на более новый Р, а используешь старый Р

[mytarmailS]

Aleksey Vyazmikin #:

Вот пробуй, пришлось все переписать наново, там такой говнокод был что я сам не понял что он делает

df <- read.csv(file = file.choose(), header = T,sep = ";",dec = ".",stringsAsFactors = F)


# указываем какие колонки не использовать
not_used_vars <- c("Target_100_Buy","Target_100_Sell","Target_P","Time","Target_100")


# сохраняем отдельно не испозуемые колонки
not_used_vars_df <- df[,not_used_vars]


# создаем датафрейм для поиска, без колонок  not_used_vars
df <- df[!names(df) %in% not_used_vars]


# чтобы прочитать как работает функция и примеры  ?caret::findCorrelation
# находим колонки которые не коррелированы с порогом корреляции 0,9    "cutoff = 0.9"
not_corr_colums <- caret::findCorrelation(as.matrix(df), cutoff = 0.9, exact = F,names = F)


# оставляем df с некоррелироваными колонками
df <- df[,not_corr_colums]


# обьединяем все в результирующий датафрейм
df <- cbind.data.frame(not_used_vars_df , df)


# сохраняем результат
res_save_way <- "C:\\......\\not_correl_data.csv"
write.csv2(x = df,file = res_save_way,row.names = F)