- 论文公开站arXiv
Harness-Zero：以智能体为框架的框架蒸馏
Harness-Zero: Harness Distillation via Agent-as-Harness
论文提出「智能体外壳蒸馏」问题：将针对特定领域或实例优化过的外部外壳（harness）所诱导的行为迁移进模型权重，使收益在部署时固定单一外壳下仍能保留。作者提出 Harness-Zero，借助「智能体即外壳」机制，由受优化外壳引导的智能体在目标外壳动作空间中修正学生回答，形成训练示范，再经微调内化。实验覆盖知识工作、工具使用与科学领域，摘要显示在相同演化外壳下 agent-as-harness 优于 code-as-harness。
意义：为智能体训练提供新范式：把外部外壳的优化收益固化进模型权重，减少对部署期专用外壳与路由的依赖。
- 论文公开站arXiv
临界状态RL：诊断多轮工具使用中的可训练状态
Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use
摘要显示，多轮工具调用失败常取决于单次模型调用，但仅靠奖励变化无法判断哪次调用值得训练，因为奖励可能反映后续随机性而非当前动作差异。作者提出 Critical-State RL，通过评估每次候选调用的局部奖励是否反映其对任务成功的贡献、以及相对参考策略是否存在改进空间，并用嵌套采样分离动作相关奖励变化与延续噪声，在选定状态上以上下文赌博机方式优化策略。在 BFCL v4 上，诊断选出的状态训练优于其他状态，missing-functio…
意义：为多轮工具调用智能体提供一种定位关键可训练步骤的方法，有助于减少无效训练信号、提升 RL 微调效率。
- 论文公开站arXiv
RetireOPD：面向智能体强化学习的自退役在线策略蒸馏
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
摘要显示，多轮智能体强化学习仅提供轨迹级标量奖励，因此有研究采用自我在线策略蒸馏（OPD）从具备特权任务技能的自我教师处提供词元级稠密监督。但作者发现，特权信息并不总能让教师可靠，教师监督的收益也依赖训练阶段。为此提出 RetireOPD：先用环境奖励优化解耦的技能条件教师，再以 RL 与 OPD 联合训练无技能学生，并采用自适应退役机制——当学生与教师差距不再缩小且达到教师成功率目标比例时自行弃用教师，之后仅用 RL 训练。在 1.5…
意义：为智能体强化学习提供了一种自适应蒸馏框架，避免教师监督在后期成为瓶颈，对训练多轮工具调用与任务型智能体有直接参考价值。
- 论文公开站arXiv
SPO++：面向异步智能体强化学习的流对齐策略优化
SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL
摘要介绍SPO++，一种改进的异步智能体强化学习算法。针对组相对强化学习等待同提示兄弟rollout的高成本，SPO使用持久提示级价值估计，但轨迹中心化未能正确居中行动者消费的token加权量。SPO++通过标准化行动token度量下的终端结果优势来修正，并依据策略事件而非接收顺序组织提示证据。在ALFWorld和Math-TIR上的实验显示，SPO++相比SPO提升了在线学习效率，消融实验表明行动token度量归一化是最有效的组件。
意义：为异步智能体强化学习提供更高效的策略优化方法，减少等待成本，提升在线学习效率，对长工具使用轨迹的智能体训练有重要意义。
