新文章 交易中的神经网络:通过Adam-mini优化减少内存消耗 已发布: 提高模型训练和收敛效率的一个方向是改进优化方法。Adam-mini是一种自适应优化方法,旨在改进基础的Adam算法。 当我们刚开始学习神经网络时,我们讨论了各种优化模型参数的方法。在我们的工作中,我们使用了不同的方法。我最常使用的是 Adam 方法,它允许自适应调整每个模型参数的最优学习率。然而,这种适应性是有代价的。 Adam 算法使用每个模型参数的一阶和二阶矩估计,这需要占用与模型本身相当的内存。这种内存消耗在训练大规模模型时成为一个显著的问题。在实践中,维持这种高内存需求的算法通常需要将计算任务卸载到 CPU