Vizard_: Скользящий контроль на любителя))) а то, что лишь в таком случае модель подходит - заблуждение. Но это все ерунда, у всех свои закидоны-потребности на разных стадиях, можно и его добавить. Имел ввиду вывод % и для об. и для тестовой(тестовая = ООS - применение формулы к новым данным) Плюс оконных приложений, в их быстрой юзабельности. Есть возможность сделать нормальную оболочку, Решетов кодер опытный, значит нужно сделать по нрмальному. Вот и все. Все имхо разумеется.
Я не буду пробовать софтину Юрия не потому, что я думаю, он сделал фигню. И пусть он опытный программер. Просто все реализовано уже, даже оказывается walk forward есть в пакете, который я пользую. И там прицепляются 150-200 моделей на выборк, от SVM, до линейной модели с регуляризацией, до XGBOOST.
Там, где отбор хорошей модели на выборке дает хороший результат вне выборки - означает, что модель подходит под выбранную задачу.
Ещё раз повторю для особоодарённых: если модель прошла отбор то это вовсе не означает, что она потенциально подходит под выбранную задачу, особенно в нестационарных средах. Это всего лишь означает, что она каким-то образом, прошла отбор.
Если абитуриент прошёл отбор через вступительные экзамены в ВУЗ, то это вовсе не означает, что он защитит диплом и тем паче не означает, что он впоследствии будет работать по выбранной специальности.
Отбор всего лишь умаляет вероятность непригодности, но не всегда до нулевого значения. И не надо забывать, что результаты отбора могут быть также ложноположительными и ложноотрицательными. Т.е. существует ненулевая вероятность, что в процессе отбора выплеснули и "ребенка вместе с водой из купели".
Ещё раз повторю для особоодарённых: если модель прошла отбор то это вовсе не означает, что она потенциально подходит под выбранную задачу, особенно в нестационарных средах. Это всего лишь означает, что она каким-то образом, прошла отбор.
Если абитуриент прошёл отбор через вступительные экзамены в ВУЗ, то это вовсе не означает, что он защитит диплом и тем паче не означает, что он впоследствии будет работать по выбранной специальности.
Отбор всего лишь умаляет вероятность непригодности, но не всегда до нулевого значения. И не надо забывать, что результаты отбора могут быть также ложноположительными и ложноотрицательными. Т.е. существует ненулевая вероятность, что в процессе отбора выплеснули и "ребенка вместе с водой из купели".
Для особоупертых еще раз поясню.
Все результаты безусловно вероятностны!
Есть результаты модели на обучении, есть результаты на кроссвалидации или тестировании (чтобы подобрать параметры модели и сделать ранний останов обучения). Есть еще результаты модели вне выборки - финальная оценка.
Если результаты на тестировании хорошо коррелируют с результатами вне выборки, значит качество моделирования зависимостей обладает инерцией на период вне выборки. В этом случае можно взять лучшую на тестировании (не "вне выборки") модель. В дальнейшем можно переобучать модель на всех новых данных с известными параметрами и брать лучшую, так как связь с будущими результатами практически установлена.
Если результаты на тестировании плохо коррелируют с результатами вне выборки, брать лучшую модель на обучении бессмысленно. Брать лучшую модель на "вне выборки" - подгонка. Выход один - отбраковать сам метод построения модели или существенно поменять диапазоны параметров.
А я например для увеличения обобщающей способности по оптимизатору Решетова использую глубокое обучение, а с учётом новой возможности оценки качества предикта, так это вообще красота. При глубоком обучении с 50% обобщения можно поднять до 80-90% И при таком раскладе модель начинает работать на ура.... Так что, мотайте на ус, ребята. И не надо ссорится (с) Леопольд и все все все......
"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."
Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.
Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.
"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."
Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.
Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.
Всем пока!
ОГО!! А я подумал что это ты написал... Хитрый ход... так то...
"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."
Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.
Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.
А я гляну потом для интереса, хотя и думаю, что сделал фигню))) Да, +R в том, что там уже наверно все возможное реализовано. ML давно не юзаю, а просто модели без ретрейна. Одно из последнего что делал с ML - просто набиваешь модель событиями, что бы они всегда попадали в целевую. Обьединяяшь, обычно получалось 93-96%. Остальное, уже тренишь. Другими словами - если ребенка уже немного научил ходить, незачем ему повторять одно и то же каждый день, лишь подсказывай(ретрейн) когда надо перепрыгнуть лужу (отсутствие предсказания в целевой).Немного капало, целевая разумеется не цвет свечи)))
можете как то перефразировать написанное более структурно что ли, а то написано вроде что то очень интересное но так сумбурно что нифига не понятно
How can one use nested cross validation for model selection? From what I read online, nested CV works as follows: There is the inner CV loop, where we may conduct a grid search (e.g. running K-fold for every available model, e.g. combination of hyperparameters/features) There is the outer CV loop, where we measure the performance of the model...
Скользящий контроль на любителя))) а то, что лишь в таком случае модель подходит - заблуждение.
Но это все ерунда, у всех свои закидоны-потребности на разных стадиях, можно и его добавить.
Имел ввиду вывод % и для об. и для тестовой(тестовая = ООS - применение формулы к новым данным)
Плюс оконных приложений, в их быстрой юзабельности. Есть возможность сделать нормальную оболочку,
Решетов кодер опытный, значит нужно сделать по нрмальному. Вот и все. Все имхо разумеется.
Там, где отбор хорошей модели на выборке дает хороший результат вне выборки - означает, что модель подходит под выбранную задачу.
Ещё раз повторю для особоодарённых: если модель прошла отбор то это вовсе не означает, что она потенциально подходит под выбранную задачу, особенно в нестационарных средах. Это всего лишь означает, что она каким-то образом, прошла отбор.
Если абитуриент прошёл отбор через вступительные экзамены в ВУЗ, то это вовсе не означает, что он защитит диплом и тем паче не означает, что он впоследствии будет работать по выбранной специальности.
Отбор всего лишь умаляет вероятность непригодности, но не всегда до нулевого значения. И не надо забывать, что результаты отбора могут быть также ложноположительными и ложноотрицательными. Т.е. существует ненулевая вероятность, что в процессе отбора выплеснули и "ребенка вместе с водой из купели".
Ещё раз повторю для особоодарённых: если модель прошла отбор то это вовсе не означает, что она потенциально подходит под выбранную задачу, особенно в нестационарных средах. Это всего лишь означает, что она каким-то образом, прошла отбор.
Если абитуриент прошёл отбор через вступительные экзамены в ВУЗ, то это вовсе не означает, что он защитит диплом и тем паче не означает, что он впоследствии будет работать по выбранной специальности.
Отбор всего лишь умаляет вероятность непригодности, но не всегда до нулевого значения. И не надо забывать, что результаты отбора могут быть также ложноположительными и ложноотрицательными. Т.е. существует ненулевая вероятность, что в процессе отбора выплеснули и "ребенка вместе с водой из купели".
Для особоупертых еще раз поясню.
Все результаты безусловно вероятностны!
Есть результаты модели на обучении, есть результаты на кроссвалидации или тестировании (чтобы подобрать параметры модели и сделать ранний останов обучения). Есть еще результаты модели вне выборки - финальная оценка.
Если результаты на тестировании хорошо коррелируют с результатами вне выборки, значит качество моделирования зависимостей обладает инерцией на период вне выборки. В этом случае можно взять лучшую на тестировании (не "вне выборки") модель. В дальнейшем можно переобучать модель на всех новых данных с известными параметрами и брать лучшую, так как связь с будущими результатами практически установлена.
Если результаты на тестировании плохо коррелируют с результатами вне выборки, брать лучшую модель на обучении бессмысленно. Брать лучшую модель на "вне выборки" - подгонка. Выход один - отбраковать сам метод построения модели или существенно поменять диапазоны параметров.
"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."
Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.
Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.
Всем пока!
.
"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."
Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.
Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.
Всем пока!
.
"Можно предложить им создать ветку на неделю, например -- неделю народ выскажится -- потом пусть трут."
Не знаю какой барабашка вставил вышеприведённую цитату в моё сообщение, но это не мой пост.
Если модераторам что-то не нравится в моих постах, то - это их право. Только не надо вставлять чужой текст в мои сообщения, а поступать культурнее: указать что конкретно не понравилось и от своего имени. А я, чтобы не раздражать модераторов ухожу на с этого сайта на свой: ссылка в профиле.
Всем пока!
А я гляну потом для интереса, хотя и думаю, что сделал фигню)))
Да, +R в том, что там уже наверно все возможное реализовано. ML давно не юзаю, а просто модели без ретрейна. Одно из последнего что делал с ML - просто
набиваешь модель событиями, что бы они всегда попадали в целевую. Обьединяяшь, обычно получалось 93-96%. Остальное, уже тренишь. Другими словами -
если ребенка уже немного научил ходить, незачем ему повторять одно и то же каждый день, лишь подсказывай(ретрейн) когда надо перепрыгнуть лужу
(отсутствие предсказания в целевой).Немного капало, целевая разумеется не цвет свечи)))
Немного капало, целевая разумеется не цвет свечи)))
2 read на тему непредвзятого отбора обученной модели:
http://stats.stackexchange.com/questions/65128/nested-cross-validation-for-model-selection
/go?link=https://stats.stackexchange.com/questions/178174/when-is-nested-cross-validation-really-needed-and-can-make-a-practical-differenc