- 论文公开站arXiv
目标 vs. 搜索：分解什么造就了好的分词器
Objective vs. Search: Decomposing What Makes a Good Tokeniser
摘要显示，研究将分词算法差异拆解为优化目标（压缩 vs 对数似然）与搜索过程（自底向上合并 vs 自顶向下剪枝）两个正交维度，并补全 2×2 设计空间，提出 BottomUpLL 与 TopDownComp 两种新算法。在不同模型规模、词表大小及单语/多语场景下训练语言模型并以 bits-per-byte 评估，发现搜索过程而非优化目标是主导因素，自底向上分词器在多数设置下取得更低 bits-per-byte；但在 BLiMP 任务上设…
意义：为开发者选择或设计分词器提供实证依据：优先关注搜索过程而非优化目标，可能更有效提升语言建模效率。
- 论文公开站arXiv
有效学习率主导语言模型预训练中的损失动态
Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
摘要显示，在语言模型预训练中发现有效学习率（ELR）坍缩现象：学习率与参数范数主要通过其比值（即有效学习率）影响损失动态。当ELR匹配时，不同运行间的损失轨迹在整个训练过程中坍缩，尽管学习率和参数范数差异显著。跨优化器、架构、数据集和模型规模，平均坍缩误差通常为几乘以10^-3，低于代表性配置中种子间变异。系统消融表明，归一化设计和学习率-范数变化的时间尺度是坍缩精度的关键决定因素。受控干预进一步显示，权重衰减和超球形状主要通过其诱导的…
意义：为语言模型预训练提供统一的优化视角，有助于改进学习率调度与范数控制策略，提升训练效率与可预测性。
- 论文公开站arXiv
自精炼流水线中的非对称容量分配研究
Asymmetric Capacity Allocation in Self-Refinement Pipelines
自精炼（生成、批评、修订）是提升大模型生成能力的常用范式，但现有方法多将模型大小视为实现细节而非研究对象。本文首次对自精炼流程进行分阶段模型规模研究，基于Qwen3和Gemma 3的多个尺寸在5个基准上实验，发现较大生成器和修订者通常提升性能，而过小的修订者可能损害性能；批评者大小对性能影响不敏感，但包含小型批评者仍优于完全省略。
意义：为多阶段LLM系统提供容量分配指导，避免资源浪费，助力构建计算高效的自精炼流水线。