- 论文公开站arXiv
数学推理中顺序不变的答案与顺序敏感的表示
Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning
摘要显示，研究用合成多步函数复合任务测试16个1B至8B参数语言模型，在语义相同但规则顺序不同的题目下测量准确率与置换信噪比（SNR）。结果显示，能更准确解答重排问题的模型，其内部表征对不同规则顺序的区分度更高；层平均置换SNR与准确率在所有测试设置中均呈正秩相关，Spearman相关系数最高达0.86。研究据此提出应区分答案不变性与表征不变性。
意义：提示开发者：模型答案正确不等于内部表征对顺序不敏感，评估数学推理时需关注表征层面的顺序敏感性。
- 论文公开站arXiv
BPCO：一种稳定高效的评论家训练方法
How to Train a Critic Stably and Efficiently
摘要显示，基于组的强化学习方法（如GRPO）通过采样多个响应避免训练评论家，但标准评论家训练常不稳定。研究者提出BPCO配方，结合DPPO、奖励范围限定的值预测、蒙特卡洛值目标、未归一化策略优势及长度自适应GAE，并可在训练时向评论家提供奖励定义信息。在数学推理任务中，BPCO一致提升强评论家基线，并匹配或超越组基线，同时每个提示仅采样一个响应。
意义：为LLM强化学习提供稳定高效的评论家训练方案，减少采样成本，提升训练可靠性，对在线RL算法设计有重要参考价值。