- 论文公开站arXiv
分数中心化稳定离策略强化学习
Score Centering Stabilizes Off-policy Reinforcement Learning
摘要显示，大语言模型强化学习对训练引擎与推理引擎之间的微小差异（训练-推理不匹配，TIM）高度敏感，而完全消除 TIM 会显著牺牲 rollout 效率。作者认为 TIM 下 RL 不稳定的主因是「漂移」——训练与推理引擎间随训练步数累积的持续偏差，并提出加性的「分数中心化」修正项来抵消漂移。在 0.6B 至 30B 参数模型上，该方法在量化条件下匹配或优于基于重要性采样的方法，且不匹配越严重优势越大；由于修正是加性的，它还能与重要性采…
意义：为 LLM 强化学习训练中普遍存在的训练-推理引擎不一致问题提供了一种轻量、可组合的稳定性修正，有助于在不牺牲 rollout 效率的前提下提升大规模 RL 训练稳定性。
- 开源项目公开站GitHub
minimind：2小时从零训练64M参数大语言模型
jingyaogong/minimind — 🧠 Train a 64M-parameter LLM from scratch in just 2h!
GitHub项目minimind展示了从零开始训练一个仅64M参数的大语言模型，训练时间仅需2小时。该项目提供了完整的训练流程和代码，旨在降低LLM训练门槛，让开发者能够快速上手并理解大模型的基本原理。项目在GitHub上已获得超过5万星标。
意义：对开发者而言，降低了训练大模型的门槛，有助于快速理解LLM训练流程；对AI行业，展示了轻量化模型的高效训练可能性。