深度学习 常见优化器

一、基础优化器

1. 随机梯度下降（SGD）

   • 核心：∇θJ(θ) = η * ∇θJ(θ)

   • 特点：学习率固定，收敛路径震荡大

   • 适用场景：简单凸优化问题

   • 改进方向：动量加速

二、动量系优化器

2. SGD with Momentum

• 公式：v_t = γ v_{t-1} + η ∇θJ(θ)

• 效果：平滑梯度更新，加速收敛

• 经典参数：γ=0.9（多数场景推荐）

三、自适应学习率家族

3. Adagrad

• 创新：∇θJ(θ)_t = ∇θJ(θ) / (sqrt(ρ) + sqrt(∑g²))

• 特性：自动调节学习率，适合稀疏数据

• 缺陷：学习率单调衰减易过早停止

4. RMSProp

   • 改进：梯度平方移动平均代替累积和

   • 公式：E[g²] t = 0.9 rms_decay E[g²] {t-1} + 0.1*g²

   • 优势：缓解Adagrad学习率衰减问题

   • 默认参数：η=0.001, γ=0.9

5. Adam

   • 融合：动量 + RMSProp

   • 更新公式：

   m_t = β1*m_{t-1} + (1-β1) *g_t

   v_t = β2* v_{t-1} + (1-β2) *g_t²

   θ = θ - η* (m_t)/(1-β1 t)/(v_t/(1-β2 t))

   • 优势：计算高效，参数敏感度低

   • 推荐配置：β1=0.9, β2=0.999, η=0.001

四、进阶优化器

6. AdamW（权重衰减正则化）

• 改进：解耦权重衰减与梯度更新

• 效果：提升模型泛化能力，尤其在Transformer架构中表现显著

7. Nadam（Nesterov-accelerated Adam）

   • 创新：Nesterov动量提前修正梯度

   • 优势：比标准Adam更快收敛3-10%

8. LAMB（Large Batch Optimization）

   • 适用：大规模mini-batch训练

   • 特征：动态缩放学习率与梯度

五、选择建议矩阵

六、调试技巧

1. 学习曲线分析：观察loss曲面是否出现震荡（动量不足）或平台期（学习率过低）
2. 权重初始化验证：对He初始化配合SGD效果更佳
3. 混合精度训练：结合AMP技术可提升Adam训练速度3-5倍
4. 渐进式学习率：使用OneCycleLR策略可减少调参次数

七、最新进展

2023年ICML论文提出的AdaBelief优化器，在ImageNet-21k数据集上达到与AdamW相当的分类精度，但参数量减少15%。其核心创新是通过可信区间估计动态调整学习率，值得关注。

需要具体场景的配置建议或某个优化器的数学推导细节，我可以进一步展开说明。建议根据具体任务在Colab上运行对比实验，使用TensorBoard观察不同优化器的loss下降曲线差异。