Так я и написал в чем разница между жадным и генетикой для дерева - возможно не понял вопрос.
Про вытаскивания правил из нейросети не слышал. Можете дать ссылку? Пока рисуется что-то громоздкое в воображении.
Но, думаю, что нейросети тут будут явно медленней деревьев по скорости выдачи новых правил.
Вся Ваша идея отделить "хорошие" правила" от плохих совершенно тупиковая, методически тупиковая.
Вы, почему-то считаете, что "хорошие" правила (деревья) они реально "хорошие".
И дело не только в туманности их будущего, а дело в том, что правил, которые можно взять по некоторым критериям, не существует от слова совсем. Есть правил, которые порождают ВЕРОЯТНОСТЬ "хорошести", которая меняется по мере движения окна. и вполне возможно, что это правило из "хорошего" станет "плохим" по мере движения окна. Эта изменчивость определяется величиной, которая делит вероятность предсказания на классы.
Стандартно в алгоритмах МО деление на классы производится делением вероятности предсказания класса пополам, но это совершенно неверно. Я считаю величину деления на классы - она никогда не бывает равной 0,5: эта величина меняется и зависит от конкретного предиктора.
Теперь вернемся к Вашим "хорошим" деревьям.
Если Вы отобрали деревья, "Хорошесть" которых лежит близко к порогу, который движется. Поэтому выше я и утверждал, что отобранные Вами "хорошие" деревья запросто могут стать плохими.
Хороший учебник у Яндекса, неплохо написано. К тому, вокруг чего кружатся мои мысли, больше имеет отношения другой его раздел. Там описывается общий вид функции потерь, которые используются при построении деревьев. Суть в том, что там оптимизация средней цены ошибки, а максимизация прибыли эквивалентна оптимизации суммы цен ошибок.
Если перевести в термины прибыли, то это разница между суммарной прибылью и средней прибылью в сделке. Поскольку решаю задачу бинарной классификации (входим/не входим), то максимизация средней прибыли в сделке тупо приведёт ко входу в одну-две сделки и отбрасыванию остальных.
Пытаюсь понять - это непреодолимая граница между оптимизацией и МО или нет.
Хороший учебник у Яндекса, неплохо написано. К тому, вокруг чего кружатся мои мысли, больше имеет отношения другой его раздел. Там описывается общий вид функции потерь, которые используются при построении деревьев. Суть в том, что там оптимизация средней цены ошибки, а максимизация прибыли эквивалентна оптимизации суммы цен ошибок.
Если перевести в термины прибыли, то это разница между суммарной прибылью и средней прибылью в сделке. Поскольку решаю задачу бинарной классификации (входим/не входим), то максимизация средней прибыли в сделке тупо приведёт ко входу в одну-две сделки и отбрасыванию остальных.
Пытаюсь понять - это непреодолимая граница между оптимизацией и МО или нет.
Maxim Dmitrievsky #: Это я подытожил просто про дерево ) Гугл работает, сам пользуюсь. Дипмайнды обычно очень близко к тому, как сам воспринимаю реальность, делают.
Там сложно, вчера вечером искал по теме. Теми же деревьями из весов и слоев НС правила вытаскивают. Еще вытаскивают правила из сверхточных сетей. Как будет больше понимания - напишу. Дерево в разведочном анализе как-то слишком круто сейчас смотрится с такого ракурса поиска правил, наверное кратно превосходит генетическую оптимизацию по скорости, при правильно подготовленном датасете.
Ну, пока не могу понять как внедрить максимизацию прибыли в тот же бустинг, например.
Что-то делаю, разумеется, но хотелось бы услышать и другие содержательные мнения по поводу темы.
Accuracy нормально работает при сбалансированных классах. Пробовал все стандартные метрики, почти ничем результаты не отличаются. Максимизация прибыли внедряется через разметку с максимально прибыльными сделками, разве нет?)
Вся Ваша идея отделить "хорошие" правила" от плохих совершенно тупиковая, методически тупиковая.
Вы, почему-то считаете, что "хорошие" правила (деревья) они реально "хорошие".
И дело не только в туманности их будущего, а дело в том, что правил, которые можно взять по некоторым критериям, не существует от слова совсем. Есть правил, которые порождают ВЕРОЯТНОСТЬ "хорошести", которая меняется по мере движения окна. и вполне возможно, что это правило из "хорошего" станет "плохим" по мере движения окна. Эта изменчивость определяется величиной, которая делит вероятность предсказания на классы.
Стандартно в алгоритмах МО деление на классы производится делением вероятности предсказания класса пополам, но это совершенно неверно. Я считаю величину деления на классы - она никогда не бывает равной 0,5: эта величина меняется и зависит от конкретного предиктора.
Теперь вернемся к Вашим "хорошим" деревьям.
Если Вы отобрали деревья, "Хорошесть" которых лежит близко к порогу, который движется. Поэтому выше я и утверждал, что отобранные Вами "хорошие" деревья запросто могут стать плохими.
Это тупик.
Вы сами строите гипотезы о том, что я как считаю и им возражаете. Попробуйте задавать вопросы в начале.
Тупик или нет - но я показал реальные результаты. Покажите такие же лесом, что бы 50% листьев прибыльно классифицировало 3 класса, спустя два года после обучения. На сколько помню - у Вас концепция регулярного переобучения моделей, чуть ли не раз в неделю.
Про дрейф мне разъяснять не надо - на форуме создана мной отдельная ветка, где происходят попытки решить проблему - хотите поделиться идеями - присоединяйтесь.
Так что метод перспективный, но есть что улучшать и развивать.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Так я и написал в чем разница между жадным и генетикой для дерева - возможно не понял вопрос.
Про вытаскивания правил из нейросети не слышал. Можете дать ссылку? Пока рисуется что-то громоздкое в воображении.
Но, думаю, что нейросети тут будут явно медленней деревьев по скорости выдачи новых правил.
Вся Ваша идея отделить "хорошие" правила" от плохих совершенно тупиковая, методически тупиковая.
Вы, почему-то считаете, что "хорошие" правила (деревья) они реально "хорошие".
И дело не только в туманности их будущего, а дело в том, что правил, которые можно взять по некоторым критериям, не существует от слова совсем. Есть правил, которые порождают ВЕРОЯТНОСТЬ "хорошести", которая меняется по мере движения окна. и вполне возможно, что это правило из "хорошего" станет "плохим" по мере движения окна. Эта изменчивость определяется величиной, которая делит вероятность предсказания на классы.
Стандартно в алгоритмах МО деление на классы производится делением вероятности предсказания класса пополам, но это совершенно неверно. Я считаю величину деления на классы - она никогда не бывает равной 0,5: эта величина меняется и зависит от конкретного предиктора.
Теперь вернемся к Вашим "хорошим" деревьям.
Если Вы отобрали деревья, "Хорошесть" которых лежит близко к порогу, который движется. Поэтому выше я и утверждал, что отобранные Вами "хорошие" деревья запросто могут стать плохими.
Это тупик.
Яндекс что то похожее писал https://academy.yandex.ru/handbook/ml/article/optimizaciya-v-ml
Хороший учебник у Яндекса, неплохо написано. К тому, вокруг чего кружатся мои мысли, больше имеет отношения другой его раздел. Там описывается общий вид функции потерь, которые используются при построении деревьев. Суть в том, что там оптимизация средней цены ошибки, а максимизация прибыли эквивалентна оптимизации суммы цен ошибок.
Если перевести в термины прибыли, то это разница между суммарной прибылью и средней прибылью в сделке. Поскольку решаю задачу бинарной классификации (входим/не входим), то максимизация средней прибыли в сделке тупо приведёт ко входу в одну-две сделки и отбрасыванию остальных.
Пытаюсь понять - это непреодолимая граница между оптимизацией и МО или нет.
Хороший учебник у Яндекса, неплохо написано. К тому, вокруг чего кружатся мои мысли, больше имеет отношения другой его раздел. Там описывается общий вид функции потерь, которые используются при построении деревьев. Суть в том, что там оптимизация средней цены ошибки, а максимизация прибыли эквивалентна оптимизации суммы цен ошибок.
Если перевести в термины прибыли, то это разница между суммарной прибылью и средней прибылью в сделке. Поскольку решаю задачу бинарной классификации (входим/не входим), то максимизация средней прибыли в сделке тупо приведёт ко входу в одну-две сделки и отбрасыванию остальных.
Пытаюсь понять - это непреодолимая граница между оптимизацией и МО или нет.
Что мешает написать свою фун. потерь?
Это я подытожил просто про дерево ) Гугл работает, сам пользуюсь. Дипмайнды обычно очень близко к тому, как сам воспринимаю реальность, делают.
Спасибо за совет!
Спасибо за совет!
В ваших темах должны вы разбираться, а не кто то....
Я решаю задачи на MQL5, а речь шла об R.
Факт есть факт - брякнули не подумав, а потом в кусты.
Что мешает написать свою фун. потерь?
Ну, пока не могу понять как внедрить максимизацию прибыли в тот же бустинг, например.
Что-то делаю, разумеется, но хотелось бы услышать и другие содержательные мнения по поводу темы.
Ну, пока не могу понять как внедрить максимизацию прибыли в тот же бустинг, например.
Что-то делаю, разумеется, но хотелось бы услышать и другие содержательные мнения по поводу темы.
Вся Ваша идея отделить "хорошие" правила" от плохих совершенно тупиковая, методически тупиковая.
Вы, почему-то считаете, что "хорошие" правила (деревья) они реально "хорошие".
И дело не только в туманности их будущего, а дело в том, что правил, которые можно взять по некоторым критериям, не существует от слова совсем. Есть правил, которые порождают ВЕРОЯТНОСТЬ "хорошести", которая меняется по мере движения окна. и вполне возможно, что это правило из "хорошего" станет "плохим" по мере движения окна. Эта изменчивость определяется величиной, которая делит вероятность предсказания на классы.
Стандартно в алгоритмах МО деление на классы производится делением вероятности предсказания класса пополам, но это совершенно неверно. Я считаю величину деления на классы - она никогда не бывает равной 0,5: эта величина меняется и зависит от конкретного предиктора.
Теперь вернемся к Вашим "хорошим" деревьям.
Если Вы отобрали деревья, "Хорошесть" которых лежит близко к порогу, который движется. Поэтому выше я и утверждал, что отобранные Вами "хорошие" деревья запросто могут стать плохими.
Это тупик.
Вы сами строите гипотезы о том, что я как считаю и им возражаете. Попробуйте задавать вопросы в начале.
Тупик или нет - но я показал реальные результаты. Покажите такие же лесом, что бы 50% листьев прибыльно классифицировало 3 класса, спустя два года после обучения. На сколько помню - у Вас концепция регулярного переобучения моделей, чуть ли не раз в неделю.
Про дрейф мне разъяснять не надо - на форуме создана мной отдельная ветка, где происходят попытки решить проблему - хотите поделиться идеями - присоединяйтесь.
Так что метод перспективный, но есть что улучшать и развивать.
Ну, пока не могу понять как внедрить максимизацию прибыли в тот же бустинг, например.
Что-то делаю, разумеется, но хотелось бы услышать и другие содержательные мнения по поводу темы.
Ну я же показывал как обучать форест на максимизацию прибыли.
Это простое безградиентное обучение через фитнес функцию , по сути RL.
Код тут скидывал, но способ этот не сильно ефективен для большых задач.
Для большых задач надо перевести безградиентное обучение в градиентное, те в обычный типичный дип RL
Вот посмотрите первую половину этого видео , тут сказано как это надо обучать .
Там пример с нейронкой, но это не принцыпиально буст это или что то другое