Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2833

Новый комментарий
 
mytarmailS #:
У меня с xgboost'ом не получилось...
Вернее получилось но обучение не пошло,  там с градиентами надо хорошо подружиться, те нужно делать фитнес функцию градиентной,  с генетикой намного проще

Да, в этом вся сложность. Нужно посчитать градиент и матрицу вторых производных - гессиан. Ещё гессиан наверняка должен быть положительно определённым.

Для прибыли, например, гессиан вырождается вроде (равен нулю). Надо как-то изощряться, подкручивая функцию потерь до разумного компромисса между потребностью и необходимостью.

 
Andrey Dik #:

1. моя фамилия не склоняется
2. вопрос не в том что глобальный изменится или нет (изменится обязательно), а в том, что может ли вообще находить глобальный экстремум. если вам всё равно, то можете просто инициальзировать веса сети случайными числами и всё на этом, ведь какая вообще разница, глобальный... локальный.))

1. На счет фамилии учту. Вы единственный знакомый с такой фамилией.

2. Хотелось бы возразить, что не надо доводить мысль до абсурда, но в реальности дело так и обстоит: не нужны любые оптимумы - нужны плато, чем обширнее, тем лучше, чем прибыльнее, тем лучше. А экстремум - это всегда неустойчивое состояние, а нужно устойчивое состояние, причем в будущем. Поэтому получается, что поиск оптимумов - это вредное занятие.

Я тут проталкиваю мысль, что устойчивость прибыли в будущем зависит от свойств предикторов и крайне мало зависит от модели, а тем более от алгоритмов оптимизации. То есть совершенно другой подход. 

 
СанСаныч Фоменко #:

Я тут проталкиваю мысль, что устойчивость прибыли в будущем зависит от свойств предикторов и крайне мало зависит от модели, а тем более от алгоритмов оптимизации. То есть совершенно другой подход. 

Можете прислать свою выборку? У нас одинаковое виденье проблемы плохого обучения моделей, хочется сравнить на сколько Ваш метод отбора лучше моего, и вообще подходит ли под Вашу выборку.

[Удален]  
Что предлагается подставить вместо логлосса?
 
Aleksey Nikolayev #:

Да, в этом вся сложность. Нужно посчитать градиент и матрицу вторых производных - гессиан. Ещё гессиан наверняка должен быть положительно определённым.

Для прибыли, например, гессиан вырождается вроде (равен нулю). Надо как-то изощряться, подкручивая функцию потерь до разумного компромисса между потребностью и необходимостью.

вот тут  как я понял  гессиан вообще не учитываеться

# Custom objective function (squared error)
myobjective <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  grad <- (preds-labels)    
  hess <- rep(1, length(labels))                
  return(list(grad = grad, hess = hess))
}

# Custom Metric
evalerror <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  err <- (preds-labels)^2        
  return(list(metric = "MyError", value = mean(err)))   
}

работает просто на уменьшение градиента

grad <- (preds-labels)  


А тут уже по другому

logregobj <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  preds <- 1 / (1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  return(list(grad = grad, hess = hess))
}


Помню намучился я с этим, так и забросил

Но было бы круто тренировать свои фитки))
 
СанСаныч Фоменко #:

 но в реальности дело так и обстоит: не нужны любые оптимумы - нужны плато, чем обширнее, тем лучше, чем прибыльнее, тем лучше. А экстремум - это всегда неустойчивое состояние, а 

А функция которая оценивает "на сколько плато/на сколько не плато" это не поиск максимума ?

А функция которая оценивает "чем прибыльнее тем лучше"  -  это не поиск максимума ?

А функция которая оценивает " чем обширнее, тем лучше "  -  это не поиск максимума ?

А функция по оценке "устойчивое/не устойчивое состояние" -  это не поиск максимума ?

Или тебе там тоже плато надо? )))) ну тогда смотри пункт первый ))))

ОХ уж эти профаны...



СанСаныч Фоменко #:

Я тут проталкиваю мысль, что устойчивость прибыли в будущем зависит от свойств предикторов и крайне мало зависит от модели, а тем более от алгоритмов оптимизации. То есть совершенно другой подход. 

Мысль надо не проталкивать, а доказывать или хотябы обосновывать...

Тут был один, проталкивал мысль что машка это самое лучшее что может быть, и толку с этих проталкиваний??????

[Удален]  
Еще круче было бы включить недостающий орган и подумать какую связь может описать профит фактор между фичами и метками. Примерно никакую 🤤
 
СанСаныч Фоменко #:

1. На счет фамилии учту. Вы единственный знакомый с такой фамилией.

2. Хотелось бы возразить, что не надо доводить мысль до абсурда, но в реальности дело так и обстоит: не нужны любые оптимумы - нужны плато, чем обширнее, тем лучше, чем прибыльнее, тем лучше. А экстремум - это всегда неустойчивое состояние, а нужно устойчивое состояние, причем в будущем. Поэтому получается, что поиск оптимумов - это вредное занятие.

Я тут проталкиваю мысль, что устойчивость прибыли в будущем зависит от свойств предикторов и крайне мало зависит от модели, а тем более от алгоритмов оптимизации. То есть совершенно другой подход. 

1. v

2. вот рисунок, типа кривая какой то гипотетической функции обучения

вас устроит, что сетка остановится на локальном экстремуме 1? а может быть 2? или какой, 3, типа посередине? так не известно заранее сколько их там локальных экстремумов, их может быть 100500 а может и больше. Поэтому важно стремление найти наивысший из всех локальных, до которых алгоритм в состоянии добраться.

 
Maxim Dmitrievsky #:
Что предлагается подставить вместо логлосса?

Если это мне вопрос, то прибыль или какой-то разумный её аналог. Прибыль - пусть пока просто сумма всех (close[i] - open[i])*prognos[i], где prognos[i] - прогноз цвета свечи и равен 1 или -1. Возможно, её придётся как-то модифицировать для хорошего поведения градиента и гессиана.

[Удален]  
Aleksey Nikolayev #:

Если это мне вопрос, то прибыль или какой-то разумный её аналог. Прибыль - пусть пока просто сумма всех (close[i] - open[i])*prognos[i], где prognos[i] - прогноз цвета свечи и равен 1 или -1. Возможно, её придётся как-то модифицировать для хорошего поведения градиента и гессиана.

Вот в генетике мы берем переменные и максимизируем по критерию. Здесь так не получится, ибо классификация. Связи между прибылью и метками классов нет. В лучшем случае получится ерунда. Поэтому такие критерии и вынесены в eval_metrics 
1...282628272828282928302831283228332834283528362837283828392840...3745
Новый комментарий