- 论文公开站arXiv
通过迭代去对齐估计罕见事件
Rare Event Estimation via Iterative Unalignment
摘要显示，该研究针对自主智能体随机输出轨迹中极稀有但可能灾难性的事件，提出一种新的重要性采样方法：通过可微扰动原模型权重构造提议分布，并联合事件放大可微代理与自适应正则化以平衡放大与估计稳定性。在约1.2亿和26亿参数模型、三类事件族、300多个稀有事件（稀有度低至10^-9）上评估，最可验证设置下相较朴素蒙特卡洛获得超过800倍计算加权效率提升。
意义：为评估自主智能体极端风险提供了可扩展的稀有事件概率估计工具，降低安全部署中风险量化的算力门槛。
- 论文公开站arXiv
分数中心化稳定离策略强化学习
Score Centering Stabilizes Off-policy Reinforcement Learning
摘要显示，大语言模型强化学习对训练引擎与推理引擎之间的微小差异（训练-推理不匹配，TIM）高度敏感，而完全消除 TIM 会显著牺牲 rollout 效率。作者认为 TIM 下 RL 不稳定的主因是「漂移」——训练与推理引擎间随训练步数累积的持续偏差，并提出加性的「分数中心化」修正项来抵消漂移。在 0.6B 至 30B 参数模型上，该方法在量化条件下匹配或优于基于重要性采样的方法，且不匹配越严重优势越大；由于修正是加性的，它还能与重要性采…
意义：为 LLM 强化学习训练中普遍存在的训练-推理引擎不一致问题提供了一种轻量、可组合的稳定性修正，有助于在不牺牲 rollout 效率的前提下提升大规模 RL 训练稳定性。