- 论文公开站arXiv
有效学习率主导语言模型预训练中的损失动态
Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
摘要显示，在语言模型预训练中发现有效学习率（ELR）坍缩现象：学习率与参数范数主要通过其比值（即有效学习率）影响损失动态。当ELR匹配时，不同运行间的损失轨迹在整个训练过程中坍缩，尽管学习率和参数范数差异显著。跨优化器、架构、数据集和模型规模，平均坍缩误差通常为几乘以10^-3，低于代表性配置中种子间变异。系统消融表明，归一化设计和学习率-范数变化的时间尺度是坍缩精度的关键决定因素。受控干预进一步显示，权重衰减和超球形状主要通过其诱导的…
意义：为语言模型预训练提供统一的优化视角，有助于改进学习率调度与范数控制策略，提升训练效率与可预测性。