Собираю команду для развития МО (Дерева решения/леса) применительно к трендовым стратегиям - страница 12

 
Если случится чудо и команда соберётся, то придётся выбирать алгоритм обучения и метод оценки модели.
 
Roffild:
Если случится чудо и команда соберётся, то придётся выбирать алгоритм обучения и метод оценки модели.

Могу покувыркаться в группе рефлексии. 

 
Aleksey Vyazmikin:

...надо будет подумать над альтернативной площадкой. Может кто знает подобную? Я думаю, что нудно что-то типа доски, где можно делиться картинками и как то редактировать их, отдельный чат, и что-то типа вместилища умных идей...

Например. Также подключается и репозитарий для обмена кодом. Ещё у них есть и мобильное приложение. Имхо, очень удобный сервис.

Trello
Trello
  • trello.com
Выбросьте длинные цепочки электронных писем, устаревшие таблицы, не такие уж и клейкие стикеры и неуклюжие программы для управления проектами. Trello помогает увидеть все детали проекта с первого взгляда. Зарегистрироваться – Это бесплатно.
 
Roffild:

Для оценки качества модели (сети или леса) используются значения ошибок MSE, OOB и т.д.

Но в отличии от распознавания картинок, где проверочную выборку делает человек, для ценового графика составить такую выборку очень сложно. Поэтому оценка ценовой модели по MSE, OOB и т.д. часто трактуется неверно.

Нет чёткого определения "переобучению" модели.

Поэтому я перестал проверять модель по MSE, OOB и т.д.

Сейчас я предпочитаю наложить результат обучения на ценовой график, чтобы увидеть всю картину целиком.

Вот мой метод оценки качества модели (я уже выкладывал эту картинку):


ИМХО, нужна не картина, а объективные, количественные метрики, а если речь о понятной потребительской оценке качества моделей для трейдинга, то мерять их можно, например продуктивностью сигналов.


 
Dennis Kirichenko:

Например. Также подключается и репозитарий для обмена кодом. Ещё у них есть и мобильное приложение. Имхо, очень удобный сервис.

Гм.. спасибо за наводку, очень интересный сервис. А Вы бесплатной версией пользуетесь? Можно сколько угодно расширений подключать?

 
Roffild:

Сейчас я предпочитаю наложить результат обучения на ценовой график, чтобы увидеть всю картину целиком.

Вот мой метод оценки качества модели (я уже выкладывал эту картинку):

Расскажите, как читать этот график в подвале. У Вас там сколько целевых (просто вижу расхождение по 4 точкам - 4 целевые?), правильно ли я понимаю, что предсказание происходят в начале бара (тогда почему открытие не совпадает или я не верно читаю график?) на один бар?

Визуализация - полезно для мыслительного процесса, но без выражения этих расхождений в цифре невозможно автоматизировать процесс оценки модели для той же фитнес функции.

 
Roffild:
Если случится чудо и команда соберётся, то придётся выбирать алгоритм обучения и метод оценки модели.

Так Вы в команде или нет?

 
Алексей Тарабанов:

Могу покувыркаться в группе рефлексии. 

Хорошо, так и запишем...

 
Dennis Kirichenko:

Например. Также подключается и репозитарий для обмена кодом. Ещё у них есть и мобильное приложение. Имхо, очень удобный сервис.

Спасибо, надо изучить сервис. Или как то глянуть имеющиеся проекты на его базе.

 

Поделюсь своими мыслями относительно оценки моделей МО.

Не знаю, существует ли в МО такое понятие как гербарий, но я его буду использовать и далее. Если кто не понял, то гербарий, это собранные хорошие(критерии оценки могут быть разными) листья с деревьев, при этом с одного дерева может быть собрано и один лист и множество. У такой модели, есть недостаток при голосовании - количество листьев описывающих одно явление(целевую) в разные моменты времени будут разными, т.е. если мы представим выборку как поле, то получится, что листы разбросаны по полю разными кучками, что будет влиять на качество голосования. Вот я и думаю, что для оценки такой модели (метод подойдет и для лесов, но там примитивней - акцент надо делать только на предсказательную способность в области) надо представить каждый лист(дерево) как слой, наложить эти слои друг на друга и, где листья пересекаются сделать расчет средней предсказательной способности, при этом добавив коэффициент, который будет влиять на произведение в зависимости от числа листьев(для лесов он не нужен),  потом посмотреть уже на получившуюся карту и оценить её равномерность. Карту такую можно оценивать по разному, как с добавлением третьего пространства - по вершинам, так и с применением метода карты Кохонена - по цвету - для наглядности, ну и найти по этой карте общее среднее значение и СКО. Тогда мы увидим качество модели, на сколько сильна её предсказательная способность на протяжении всей выборки, а не просто в совокупности. Такая оценка может помочь фитнес функции искать листья/деревья улучшающие области выборки с низкой средней предсказательной способностью.

Как думаете?

Или опять не ясно я излагаю мысли?

Причина обращения: