А теперь посчитай своим методом важность для рыночных данных, с 500к строк и 1000 признаков..
Через 20 лет расскажешь что там посчитало у тебя
Тест на малых данных показывает, что быстрые методы плохо работают. Для чего нужна оценка важности признаков? Чтобы удалив неважные, можно было бы быстрееобучать модель в будущем, без потери качества. Это просто тюнинг уже работающих данных и модели. А ни мне, ни вам (как я полагаю) тюнинговать еще нечего.
Поэтому просто обучаю модель. Модель сама будет использовать важные и не использовать неважные.
Если понять что важность признаков сильно плавает, то нет смысла в кросвалидации, так и написано, что не понятного то
Проснулся) Не согласен. Кросс валидация - это возможность выбросить модель, которая случайно оказалась удачной на одном куске истории. Проверка её на нескольких участках истории, может показать, что там она не будет работать. Как раз кросс валидация и показывает, что признаки и модель - плавают. Вам это "плавание" показывает другой метод, мне кросс валидация.
elibrarius #: Тест на малых данных показывает, что быстрые методы плохо работают. Для чего нужна оценка важности признаков? Чтобы удалив неважные, можно было бы быстрееобучать модель в будущем, без потери качества. Это просто тюнинг уже работающих данных и модели. А ни мне, ни вам (как я полагаю) тюнинговать еще нечего.
Поэтому просто обучаю модель. Модель сама будет использовать важные и не использовать неважные.
А если я хочу создать нейрону которая генерирует на выходе качественные признаки?
Уверен тебе такое даже в голову не приходило, но ты уже все выводы за меня сделал
mytarmailS #: А если я хочу создать нейрону которая генерирует на выходе качественные признаки?
Уверен тебе такое даже в голову не приходило, но ты уже все выводы за меня сделал
Не приходило. Выводы делаю только после проведения собственных экспериментов. Успехов в ваших экспериментах. По кросс валидации (валкинг форварду) так и не пояснили, чем она плоха. Мои эксперименты - показывают, что это работающий метод, по отсеву плохих моделей/идей.
Full instructions on how to install Iguanas can be found in the Github repo. However, it should just be a case of running: Example — Titanic data set Now we’ll see how Iguanas can be utilised to create a Rules-Based System using the famous Titanic data set, which is available from Kaggle to download. Note that I won’t go into details on the...
Как я понял, там ищутся (с помощью оптимизации с проверкой по кросс валидации) хорошие ветки дерева (или пути до некоторых листьев). Например такой путь
(X['Age']>-0.125)&(X['Embarked_C']==True)
И потом все эти пути подаются как признаки в новую модель. Но это не готовая модель для переноса в терминал - это готовые признаки для обучения.
Важность признаков в скользящем окне (индикаторы и цены)
В каокй то момент признак может быть важен на 10% а другой момент на 0,05% , вот такая правда жизни)
Тот кто тут топит за кросвалидацию думая что она что то решает , пора краснеть, пора..
Вот так выглядят 4 признака Ирисов Фишера
Ну или так если увеличить скользящее окно
Во, наконец-то.
Плевать на модели, брать надо самые быстрые и простые, прекрасная модель RF.
Главная проблема в признаках-предикторах. Показанные Вами - это просто барахло. Надо искать такие, у которых предсказательная способность слабо меняется при движении окна, хотя бы канале 10%. Если не можешь найти признаки со слабой изменчивостью, то целевая барахло. Надо искать другую целевую. И так годами.
PS.
Как-то выкладывал аналогичный результат по изменчивости моих признаков но в табличной форме. Часто встречаются такие, у которых sd > 100%. Но можно довольно быстро найти такие, у которых sd < 20%.
Круто..
Для чего нужна оценка важности признаков? Чтобы удалив неважные, можно было бы быстрееобучать модель в будущем, без потери качества. Это просто тюнинг уже работающих данных и модели. А ни мне, ни вам (как я полагаю) тюнинговать еще нечего.
Поэтому просто обучаю модель. Модель сама будет использовать важные и не использовать неважные.
Не проснулся ещё?))
Не согласен.
Кросс валидация - это возможность выбросить модель, которая случайно оказалась удачной на одном куске истории. Проверка её на нескольких участках истории, может показать, что там она не будет работать.
Как раз кросс валидация и показывает, что признаки и модель - плавают.
Вам это "плавание" показывает другой метод, мне кросс валидация.
Тест на малых данных показывает, что быстрые методы плохо работают.
Для чего нужна оценка важности признаков? Чтобы удалив неважные, можно было бы быстрееобучать модель в будущем, без потери качества. Это просто тюнинг уже работающих данных и модели. А ни мне, ни вам (как я полагаю) тюнинговать еще нечего.
Поэтому просто обучаю модель. Модель сама будет использовать важные и не использовать неважные.
А если я хочу создать нейрону которая генерирует на выходе качественные признаки?
По кросс валидации (валкинг форварду) так и не пояснили, чем она плоха. Мои эксперименты - показывают, что это работающий метод, по отсеву плохих моделей/идей.
По кросс валидации (валкинг форварду) так и не пояснили, чем она плоха
Тем что признаки плавают, это все подгонка под трейн/тест, валидация будет другая
Какую валидацию вы предлагаете?
рекомендация всплыла на медиуме на твою тему, может пригодится, не вникал
меня такой подход заинтересовал тем, что модельки обученные можно легко в терминал переносить (вроде бы)
https://medium.com/@james_laidler/generating-a-rules-based-system-using-iguanas-762843dd1418
рекомендация всплыла на медиуме на твою тему, может пригодится, не вникал
меня такой подход заинтересовал тем, что модельки обученные можно легко в терминал переносить (вроде бы)
https://medium.com/@james_laidler/generating-a-rules-based-system-using-iguanas-762843dd1418
(X['Age']>-0.125)&(X['Embarked_C']==True)
И потом все эти пути подаются как признаки в новую модель. Но это не готовая модель для переноса в терминал - это готовые признаки для обучения.Важность признаков в скользящем окне (индикаторы и цены)
В каокй то момент признак может быть важен на 10% а другой момент на 0,05% , вот такая правда жизни)
Тот кто тут топит за кросвалидацию думая что она что то решает , пора краснеть, пора..
Вот так выглядят 4 признака Ирисов Фишера
Ну или так если увеличить скользящее окно
Во, наконец-то.
Плевать на модели, брать надо самые быстрые и простые, прекрасная модель RF.
Главная проблема в признаках-предикторах. Показанные Вами - это просто барахло. Надо искать такие, у которых предсказательная способность слабо меняется при движении окна, хотя бы канале 10%. Если не можешь найти признаки со слабой изменчивостью, то целевая барахло. Надо искать другую целевую. И так годами.
PS.
Как-то выкладывал аналогичный результат по изменчивости моих признаков но в табличной форме. Часто встречаются такие, у которых sd > 100%. Но можно довольно быстро найти такие, у которых sd < 20%.