文章 "协方差矩阵自适应演化策略(CMA-ES)"

 

新文章 协方差矩阵自适应演化策略(CMA-ES)已发布:

本文探讨了一种最有趣的非梯度优化算法,该算法能够学习理解目标函数的几何特性。我们将重点关注对 CMA-ES 的经典实现,并稍作修改 — 用幂律分布代替正态分布。我们将深入探究算法背后的数学原理以及实际实现方式,并验证 CMA-ES 在哪些方面无懈可击,以及在哪些方面应避免使用。

CMA-ES 基于一个看似简单的方程: x_k ~ N(m, σ²C) 。然而,这种简洁的背后隐藏着深厚的数学结构。这里的每个符号都承载着关于搜索状态的重要信息:m 是当前对最优解位置的最佳猜测, σ 是我们愿意冒险偏离已知解的程度度量,而 C 是一个协方差矩阵,它编码了我们对函数几何特性的理解。我们唯一可以合理引入的改动是用幂律分布替换正态分布,这意味着实现将遵循一个修改后的方程:x_k ~ PowerDist(m, σ²C)。 这一修改改变了对搜索空间的探索方式(更大的‘跳跃’),但保留了算法的基本自适应性质。

协方差矩阵 C 是该算法的真正核心。它起初是一个不起眼的单位矩阵,代表一种球形分布。但每一次迭代都会有所演变,在快速改进的方向上不断延伸,而在进展缓慢的地方则有所收缩。逐渐地,球体变成一个椭圆,然后变成一个细长的椭球体,理想情况下,其方向与待优化函数的轮廓相一致。


作者:Andrey Dik