站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
有效学习率主导语言模型预训练中的损失动态
Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
摘要显示，在语言模型预训练中发现有效学习率（ELR）坍缩现象：学习率与参数范数主要通过其比值（即有效学习率）影响损失动态。当ELR匹配时，不同运行间的损失轨迹在整个训练过程中坍缩，尽管学习率和参数范数差异显著。跨优化器、架构、数据集和模型规模，平均坍缩误差通常为几乘以10^-3，低于代表性配置中种子间变异。系统消融表明，归一化设计和学习率-范数变化的时间尺度是坍缩精度的关键决定因素。受控干预进一步显示，权重衰减和超球形状主要通过其诱导的ELR调度影响损失动态。用ELR替换学习率使拟合函数缩放定律（FSL）能跨范数控制方法迁移。基于ELR的FSL还解释了延迟加速这一范数控制的反复效应。这些结果确立了ELR作为连接学习率调度、范数控制和损失动态的公共坐标。
意义：为语言模型预训练提供统一的优化视角，有助于改进学习率调度与范数控制策略，提升训练效率与可预测性。