Обсуждение статьи "Основы байесовского вывода в дискретном и непрерывном случаях: от теории к практической реализации моделей"

[MetaQuotes]

Опубликована статья Основы байесовского вывода в дискретном и непрерывном случаях: от теории к практической реализации моделей:

В статье рассматриваются основы байесовской статистики в дискретном и непрерывном случаях. Мы пройдём путь от классической теоремы Байеса и простых примеров с подбрасыванием монеты до сопряжённых распределений и динамического байесовского обновления, позволяющего проводить анализ котировок в режиме реального времени. На примере бета-биномиальной модели реализован простой индикатор разладки (change point detection), помогающий определять смену рыночного режима.

Предметом теории вероятностей является моделирование данных D по известным параметрам θ с помощью плотности вероятности p(D|θ). Математическая статистика, в свою очередь, решает обратную задачу: поиск неизвестных параметров θ на основе имеющихся данных D.

Существует два основных подхода к решению этой задачи — частотный и байесовский. И если с частотным подходом мы все в той или иной мере знакомы, то байесовская точка зрения освещена довольно слабо. Вместе с тем на сегодня ведущие специалисты по машинному обучению исповедуют именно байесовский взгляд на статистику.

В этой статье мы попробуем разобраться в основах данного метода. Чтобы не перегружать изложение, мы намеренно не будем касаться условных моделей вида P(y∣X, θ), где результат целевой переменной y зависит от набора входных признаков X (как, например, в байесовской логистической регрессии). Для усвоения байесовской философии правильнее начинать с более простых моделей, то есть с классической задачи оценивания параметров.

Мы пойдём по пути «от теории к практике»: абстрактные теоретико-множественные выкладки будут сразу подкрепляться конкретными примерами. Это позволит наглядно убедиться, что для работы с байесовскими моделями зачастую не требуется ничего сложнее базовых операций сложения и умножения вероятностей.

Автор: Evgeniy Chernish