Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 89

 
Vizard_:
Скользящий контроль на любителя))) а то, что лишь в таком случае модель подходит - заблуждение.
Но это все ерунда, у всех свои закидоны-потребности на разных стадиях, можно и его добавить.
Имел ввиду вывод % и для об. и для тестовой(тестовая = ООS - применение формулы к новым данным)
Плюс оконных приложений, в их быстрой юзабельности. Есть возможность сделать нормальную оболочку,
Решетов кодер опытный, значит нужно сделать по нрмальному. Вот и все. Все имхо разумеется.
Я не буду пробовать софтину Юрия не потому, что я думаю, он сделал фигню. И пусть он опытный программер. Просто все реализовано уже, даже оказывается walk forward есть в пакете, который я пользую. И там прицепляются 150-200 моделей на выборк, от SVM, до линейной модели с регуляризацией, до XGBOOST.
 
Alexey Burnakov:


Там, где отбор хорошей модели на выборке дает хороший результат вне выборки - означает, что модель подходит под выбранную задачу.

Ещё раз повторю для особоодарённых: если модель прошла отбор то это вовсе не означает, что она потенциально подходит под выбранную задачу, особенно в нестационарных средах. Это всего лишь означает, что она каким-то образом, прошла отбор.

Если абитуриент прошёл отбор через вступительные экзамены в ВУЗ, то это вовсе не означает, что он защитит диплом и тем паче не означает, что он впоследствии будет работать по выбранной специальности.

Отбор всего лишь умаляет вероятность непригодности, но не всегда до нулевого значения. И не надо забывать, что результаты отбора могут быть также ложноположительными и ложноотрицательными. Т.е. существует ненулевая вероятность, что в процессе отбора выплеснули и "ребенка вместе с водой из купели".

 
Yury Reshetov:

Ещё раз повторю для особоодарённых: если модель прошла отбор то это вовсе не означает, что она потенциально подходит под выбранную задачу, особенно в нестационарных средах. Это всего лишь означает, что она каким-то образом, прошла отбор.

Если абитуриент прошёл отбор через вступительные экзамены в ВУЗ, то это вовсе не означает, что он защитит диплом и тем паче не означает, что он впоследствии будет работать по выбранной специальности.

Отбор всего лишь умаляет вероятность непригодности, но не всегда до нулевого значения. И не надо забывать, что результаты отбора могут быть также ложноположительными и ложноотрицательными. Т.е. существует ненулевая вероятность, что в процессе отбора выплеснули и "ребенка вместе с водой из купели".

Для особоупертых еще раз поясню.

Все результаты безусловно вероятностны!

 

Есть результаты модели на обучении, есть результаты на кроссвалидации или тестировании (чтобы подобрать параметры модели и сделать ранний останов обучения). Есть еще результаты модели вне выборки - финальная оценка.

Если результаты на тестировании хорошо коррелируют с результатами вне выборки, значит качество моделирования зависимостей обладает инерцией на период вне выборки. В этом случае можно взять лучшую на тестировании (не "вне выборки") модель. В дальнейшем можно переобучать модель на всех новых данных с известными параметрами и брать лучшую, так как связь с будущими результатами практически установлена.

 

Если результаты на тестировании плохо коррелируют с результатами вне выборки, брать лучшую модель на обучении бессмысленно. Брать лучшую модель на "вне выборки" - подгонка. Выход один - отбраковать сам метод построения модели или существенно поменять диапазоны параметров.

 
А я например для увеличения обобщающей способности по оптимизатору Решетова использую глубокое обучение, а с учётом новой возможности оценки качества предикта, так это вообще красота. При глубоком обучении с 50% обобщения можно поднять до 80-90% И при таком раскладе модель начинает работать на ура.... Так что, мотайте на ус, ребята. И не надо ссорится (с) Леопольд и все все все......
 
.

"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."

Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.

Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.

Всем пока!

 
Yury Reshetov:
.

"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."

Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.

Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.

Всем пока!

ОГО!! А я подумал что это ты написал... Хитрый ход... так то...
 
Yury Reshetov:
.

"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."

Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.

Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.

Всем пока!

Возвращайтесь.
 
Vizard_:

А я гляну потом для интереса, хотя и думаю, что сделал фигню)))
Да, +R в том, что там уже наверно все возможное реализовано. ML давно не юзаю, а просто модели без ретрейна. Одно из последнего что делал с ML - просто
набиваешь модель событиями, что бы они всегда попадали в целевую. Обьединяяшь, обычно получалось 93-96%. Остальное, уже тренишь. Другими словами -
если ребенка уже немного научил ходить, незачем ему повторять одно и то же каждый день, лишь подсказывай(ретрейн) когда надо перепрыгнуть лужу
(отсутствие предсказания в целевой).Немного капало, целевая разумеется не цвет свечи)))
можете как то перефразировать написанное более структурно что ли, а то написано вроде что то очень интересное но так сумбурно что нифига не понятно
 
Vizard_:

Немного капало, целевая разумеется не цвет свечи)))
Это просто так не разумеется )
 
Nested cross validation for model selection
Nested cross validation for model selection
  • stats.stackexchange.com
How can one use nested cross validation for model selection? From what I read online, nested CV works as follows: There is the inner CV loop, where we may conduct a grid search (e.g. running K-fold for every available model, e.g. combination of hyperparameters/features) There is the outer CV loop, where we measure the performance of the model...
Причина обращения: