Обсуждение статьи "Выборочные методы марковских цепей Монте-Карло. Алгоритм HMC"

[MetaQuotes]

Опубликована статья Выборочные методы марковских цепей Монте-Карло. Алгоритм HMC:

В статье исследуется гамильтонов алгоритм Монте-Карло (HMC) — золотой стандарт сэмплирования из сложных многомерных распределений. Представлена полноценная реализация HMC на языке MQL5, которая включает адаптивную настройку матрицы масс, поиск моды апостериорного распределения (MAP) с помощью метода оптимизации L-BFGS и комплексной диагностикой.

Байесовское моделирование и методы марковских цепей Монте-Карло (MCMC) лежат в основе решения сложных вероятностных задач машинного обучения. Однако традиционные MCMC-алгоритмы, основанные на случайном блуждании (например, Метрополис-Гастингс), сталкиваются с фундаментальной проблемой в высокоразмерных моделях — «проклятием размерности».

При увеличении числа оцениваемых параметров эти методы вынуждены делать чрезмерно маленькие шаги, чтобы сохранить разумную вероятность принятия. Это приводит к медленному исследованию пространства, высокой автокорреляции выборок и как следствие низкой производительности.

Гамильтонов алгоритм Монте-Карло (HMC) решает эту проблему, опираясь на принципы  гамильтоновой механики и информацию о градиенте логарифма целевой плотности. Вместо коротких, случайных шагов, HMC совершает большие, направленные траектории, эффективно перемещаясь к областям высокой вероятности. Как и в задаче оптимизации, доступ к градиенту радикально ускоряет поиск. Это позволяет HMC работать даже в пространствах высокой размерности, где традиционные методы терпят неудачу.

Для иллюстрации работы HMC используется сложный тестовый пример — сэмплирование 100-мерного коррелированного нормального распределения с сильно различающимися дисперсиями. Рассмотрены ключевые элементы, обеспечивающие  автономность и стабильность разработанной реализации:

• адаптивная настройки размера шага интегрирования epsilon и диагональной матрицы масс M,
• поиск оценки максимума апостериорной плотности (MAP) с помощью метода L-BFGS для ускорения  период прогрева.

Автор: Evgeniy Chernish