Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Кто пробовал использовать метод "Профиль компактности"?
Цель метода - исключение противоречивых примеров из выборки, что должно улучшать обучение и снижать размер модели, если используются методы обучения типа К ближайших соседей.
На питоне не смог найти реализации...
Кто пробовал использовать метод "Профиль компактности"?
Цель метода - исключение противоречивых примеров из выборки, что должно улучшать обучение и снижать размер модели, если используются методы обучения типа К ближайших соседей.
На питоне не смог найти реализации...
Работа экспериментальная. Вот цитата из http://www.ccas.ru/frc/papers/students/VoronKoloskov05mmro.pdf
Работа выполнена в рамках проектов РФФИ 05-01-00877, 05-07-90410 и программы ОМН РАН
Вряд ли каждому эксперименту создавали пакет.
Да и эксперимент искусственный. В четко разделенный по классам набор данных добавили шум. Причем четкое разделение всего по 1 фиче - по оси У. Если убрать шум (все данные от 0,2 до 0,8), то получится, что оставляем примеры только с расстоянием до другого класса не менее 0,6. Я про самый сложный 3-й вариант на картинке:
Переходим к реальной жизни и добавляем ваши 5000 предикторов, которые будут шумом к этой единственной рабочей фиче. В кластеризации вычисляется общее расстояние между точками в этом 5001 мерном пространстве. Работающие 0,6 никогда не будут найдены в этом хаосе.
Думаю любые классификаторы это сделают лучше, то же дерево найдет эту единственную фичу и поделит именно по ней, сначала через 0,5 и потом дойдет и до сплитов по 0,2 и 0,8 за которыми будут листья с 100%ной чистотой.
Кто пробовал использовать метод "Профиль компактности"?
Цель метода - исключение противоречивых примеров из выборки, что должно улучшать обучение и снижать размер модели, если используются методы обучения типа К ближайших соседей.
На питоне не смог найти реализации...
Работа экспериментальная. Вот цитата из http://www.ccas.ru/frc/papers/students/VoronKoloskov05mmro.pdf
Вряд ли каждому эксперименту создавали пакет.
Да и эксперимент искусственный. В четко разделенный по классам набор данных добавили шум. Причем четкое разделение всего по 1 фиче - по оси У. Если убрать шум (все данные от 0,2 до 0,8), то получится, что оставляем примеры только с расстоянием до другого класса не менее 0,6. Я про самый сложный 3-й вариант на картинке:
Переходим к реальной жизни и добавляем ваши 5000 предикторов, которые будут шумом к этой единственной рабочей фиче. В кластеризации вычисляется общее расстояние между точками в этом 5001 мерном пространстве. Работающие 0,6 никогда не будут найдены в этом хаосе.
Думаю любые классификаторы это сделают лучше, то же дерево найдет эту единственную фичу и поделит именно по ней, сначала через 0,5 и потом дойдет и до сплитов по 0,2 и 0,8 за которыми будут листья с 100%ной чистотой.
Никогда не найдет. Любая МО не найдет. От мусора надо избавляться ДО обучения модели. "Мусор на входе - мусор на выходе" - это закон статистики.
Никогда не найдет. Любая МО не найдет. От мусора надо избавляться ДО обучения модели. "Мусор на входе - мусор на выходе" - это закон статистики.
Я про конкретный искусственный пример, на котором проводились эксперименты. Там не мусор на входе и выходе. То что зарандомлено в этом примере - легко отсечь.
Я про конкретный искусственный пример, на котором проводились эксперименты. Там не мусор на входе и выходе. То что зарандомлено в этом примере - легко отсечь.
Уточню свою мысль.
Любой алгоритм МО пытается уменьшить ошибку. Более эффективно уменьшение ошибки получается на мусоре, так как в нем гораздо чаще встречаются "удобные" значения для уменьшения ошибки. В результате наверняка "важность" предикторов для мусора будет выше, чем для НЕ мусора. Именно поэтому существует препроцессинг, который гораздо более трудоемкий, че собственно подгонка модели.
Уточню свою мысль.
Любой алгоритм МО пытается уменьшить ошибку. Более эффективно уменьшение ошибки получается на мусоре, так как в нем гораздо чаще встречаются "удобные" значения для уменьшения ошибки. В результате наверняка "важность" предикторов для мусора будет выше, чем для НЕ мусора. Именно поэтому существует препроцессинг, который гораздо более трудоемкий, че собственно подгонка модели.
Скажите, пожалуйста, а что не является мусором? Я ни разу не встречал, чтобы кто-то говорил о чистых входных данных. А вот про мусор на форуме постоянно слышу.
Что они из себя представляют? Если вы говорите про мусор, значит имели не с немусором, иначе не с чем сравнивать
Уточню свою мысль.
Любой алгоритм МО пытается уменьшить ошибку. Более эффективно уменьшение ошибки получается на мусоре, так как в нем гораздо чаще встречаются "удобные" значения для уменьшения ошибки. В результате наверняка "важность" предикторов для мусора будет выше, чем для НЕ мусора. Именно поэтому существует препроцессинг, который гораздо более трудоемкий, че собственно подгонка модели.
Скажите, пожалуйста, а что не является мусором? Я ни разу не встречал, чтобы кто-то говорил о чистых входных данных. А вот про мусор на форуме постоянно слышу.
Что они из себя представляют? Если вы говорите про мусор, значит имели не с немусором, иначе не с чем сравнивать
Да никто не знает, что мусор а что нет, это гипотетические понятия.
Если бы чётко знали что есть что, то не было бы ветки на 3К страниц.))
Просто делают предположение, что выход за такие то пределы является "мусором", эти пределы тоже предположительные. Поэтому выражение "мусор на входе - мусор на выходе" не более чем красивая фраза, что для одного мусор - то для другого исследователя немусор. Тут как с волнами Элиота примерно.