- 论文公开站arXiv
临界状态RL：诊断多轮工具使用中的可训练状态
Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use
摘要显示，多轮工具调用失败常取决于单次模型调用，但仅靠奖励变化无法判断哪次调用值得训练，因为奖励可能反映后续随机性而非当前动作差异。作者提出 Critical-State RL，通过评估每次候选调用的局部奖励是否反映其对任务成功的贡献、以及相对参考策略是否存在改进空间，并用嵌套采样分离动作相关奖励变化与延续噪声，在选定状态上以上下文赌博机方式优化策略。在 BFCL v4 上，诊断选出的状态训练优于其他状态，missing-functio…
意义：为多轮工具调用智能体提供一种定位关键可训练步骤的方法，有助于减少无效训练信号、提升 RL 微调效率。
- 论文公开站arXiv
RetireOPD：面向智能体强化学习的自退役在线策略蒸馏
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
摘要显示，多轮智能体强化学习仅提供轨迹级标量奖励，因此有研究采用自我在线策略蒸馏（OPD）从具备特权任务技能的自我教师处提供词元级稠密监督。但作者发现，特权信息并不总能让教师可靠，教师监督的收益也依赖训练阶段。为此提出 RetireOPD：先用环境奖励优化解耦的技能条件教师，再以 RL 与 OPD 联合训练无技能学生，并采用自适应退役机制——当学生与教师差距不再缩小且达到教师成功率目标比例时自行弃用教师，之后仅用 RL 训练。在 1.5…
意义：为智能体强化学习提供了一种自适应蒸馏框架，避免教师监督在后期成为瓶颈，对训练多轮工具调用与任务型智能体有直接参考价值。