по сути фишка РЛ даже не в пакетах, а в подходе, т.е. переборе. Используется вместо генетики, но через аппроксиматор типа НС
основная сложность - сэмплить из нужных распределений
Ну то что простой пример это как бы норм, ведь пример не должен быть сложным, а то что есть уже готовые пакеты это гуд.... Я вот даже в том простом примере не разобрался(( не понял зачем матрицы забивать вероятностями и зачем эти вероятности вообще нужны и как их считали
Ну то что простой пример это как бы норм, ведь пример не должен быть сложным, а то что есть уже готовые пакеты это гуд.... Я вот даже в том простом примере не разобрался(( не понял зачем матрицы забивать вероятностями и зачем эти вероятности вообще нужны и как их считали
вероятности переходов в состояния, марковские цепи
типа вероятность покупки при каком-то условии, или продажи
матрица заполняется всеми возможными состояниями, потом из нее выбирается текущее состояние и смотрится сигнал.. это примитив табличный :)
в смысле роли? это таблица переходов из состояния в состояния и вероятности
ну не понял от куда взялись вероятности переходов, есть у нас 4 направления - влево, право, вверх , вниз . Алгоритм должен найти путь "куда то" путем правильной комбинации направлений. Еще до того как алгоритм начал поиск правильной комбинации создается матрица с вероятностями переходов , откуда они взяли эти вероятности?
Я скорей всего жестко туплю, но все же , если не впадло то обясни
ну не понял от куда взялись вероятности переходов, есть у нас 4 направления - влево, право, вверх , вниз . Алгоритм должен найти путь "куда то" путем правильной комбинации направлений. Еще до того как алгоритм начал поиск правильной комбинации создается матрица с вероятностями переходов , откуда они взяли эти вероятности?
Я скорей всего жестко туплю, но все же , если не впадло то обясни
читай основы, не на Р а просто в интернете
изначально вероятности задаются рэндомно, потом на протяжении итераций обновляются разными методами, в основном TD-метод, в конце они схдятся к оптимуму, т.е. решению изначальной задачи, например выйти из квартиры в которой несколько комнат самым быстрым способом, не заходя в другие комнаты. Для этого задается матрица состояний (value матрица) и матрица переходов (policy матрица), т.е. для каждого состояния (нахождение в определенной комнате) может быть несколько переходов в другие комнаты и их вероятности. После каждого действия возвращается численное вознаграждение (плохо-хорошо), суть метода в максимизации вознаграждения, т.е. за неправильные переходы агент штрафуется, за правильные поощряется
проверил PCA и LDA для предобработки предикторов (избавление от коллинеарности). Как и ожидалось, на новых данных это не работает т.к. сами компоненты начинают скакать, хотя модель, может быть, чуть лучше обучается на них на трейне. Но из-за того что сами компоненты ведут себя непредсказуемо на новых данных, получается все то же самое и даже еще хуже. В общем, многие из классических техник МО к рынку просто неприменимы, вернее, это в лоб не работает.
Пример с RL на R
http://dataaspirant.com/2018/02/05/reinforcement-learning-r/
да там какое-то все слишком простое
по сути фишка РЛ даже не в пакетах, а в подходе, т.е. переборе. Используется вместо генетики, но через аппроксиматор типа НС
основная сложность - сэмплить из нужных распределений
да там какое-то все слишком простое
по сути фишка РЛ даже не в пакетах, а в подходе, т.е. переборе. Используется вместо генетики, но через аппроксиматор типа НС
основная сложность - сэмплить из нужных распределений
Ну то что простой пример это как бы норм, ведь пример не должен быть сложным, а то что есть уже готовые пакеты это гуд.... Я вот даже в том простом примере не разобрался(( не понял зачем матрицы забивать вероятностями и зачем эти вероятности вообще нужны и как их считали
Ну то что простой пример это как бы норм, ведь пример не должен быть сложным, а то что есть уже готовые пакеты это гуд.... Я вот даже в том простом примере не разобрался(( не понял зачем матрицы забивать вероятностями и зачем эти вероятности вообще нужны и как их считали
вероятности переходов в состояния, марковские цепи
типа вероятность покупки при каком-то условии, или продажи
матрица заполняется всеми возможными состояниями, потом из нее выбирается текущее состояние и смотрится сигнал.. это примитив табличный :)
вероятности переходов в состояния, марковские цепи
Ну это я понял....
Не понял их роли в коде
Ну это я понял....
Не понял их роли в коде
в смысле роли? это таблица переходов из состояния в состояния и вероятности
в смысле роли? это таблица переходов из состояния в состояния и вероятности
ну не понял от куда взялись вероятности переходов, есть у нас 4 направления - влево, право, вверх , вниз . Алгоритм должен найти путь "куда то" путем правильной комбинации направлений. Еще до того как алгоритм начал поиск правильной комбинации создается матрица с вероятностями переходов , откуда они взяли эти вероятности?
Я скорей всего жестко туплю, но все же , если не впадло то обясни
ну не понял от куда взялись вероятности переходов, есть у нас 4 направления - влево, право, вверх , вниз . Алгоритм должен найти путь "куда то" путем правильной комбинации направлений. Еще до того как алгоритм начал поиск правильной комбинации создается матрица с вероятностями переходов , откуда они взяли эти вероятности?
Я скорей всего жестко туплю, но все же , если не впадло то обясни
читай основы, не на Р а просто в интернете
изначально вероятности задаются рэндомно, потом на протяжении итераций обновляются разными методами, в основном TD-метод, в конце они схдятся к оптимуму, т.е. решению изначальной задачи, например выйти из квартиры в которой несколько комнат самым быстрым способом, не заходя в другие комнаты. Для этого задается матрица состояний (value матрица) и матрица переходов (policy матрица), т.е. для каждого состояния (нахождение в определенной комнате) может быть несколько переходов в другие комнаты и их вероятности. После каждого действия возвращается численное вознаграждение (плохо-хорошо), суть метода в максимизации вознаграждения, т.е. за неправильные переходы агент штрафуется, за правильные поощряется
Не видел в ветке ничего про информационные критерии (байесовский или Акаике). Возможно, они используются по умолчанию (в применяемых пакетах для МО)?
Не видел в ветке ничего про информационные критерии (байесовский или Акаике). Возможно, они используются по умолчанию (в применяемых пакетах для МО)?
кросс энтропия используется или Лог лосс
для мультикласс и бинарной классификации соттветственно
для задач регрессии среднекв. (rms) и подобные
я так понял это и есть Акаике