- 论文公开站arXiv
RetireOPD:面向智能体强化学习的自退役在线策略蒸馏
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
摘要显示,多轮智能体强化学习仅提供轨迹级标量奖励,因此有研究采用自我在线策略蒸馏(OPD)从具备特权任务技能的自我教师处提供词元级稠密监督。但作者发现,特权信息并不总能让教师可靠,教师监督的收益也依赖训练阶段。为此提出 RetireOPD:先用环境奖励优化解耦的技能条件教师,再以 RL 与 OPD 联合训练无技能学生,并采用自适应退役机制——当学生与教师差距不再缩小且达到教师成功率目标比例时自行弃用教师,之后仅用 RL 训练。在 1.5…
意义:为智能体强化学习提供了一种自适应蒸馏框架,避免教师监督在后期成为瓶颈,对训练多轮工具调用与任务型智能体有直接参考价值。
- 论文公开站arXiv
StageGuard:通过智能体蒸馏学习长时程机器人任务的阶段转换
StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation
摘要显示,针对长时程机器人任务中判断何时终止当前技能并切换到下一子任务的问题,作者提出 StageGuard,一种智能体蒸馏框架。该方法结合教师模型推理与演示轨迹,生成子任务完成与策略切换的结构化解释,再让轻量学生 VLM 生成紧凑自解释并做监督微调。在两个基准轨迹上评估阶段转换预测,并通过集成到 BEHAVIOR-1K 分层机器人控制中评估闭环任务成功率,还在真实机器人上做了进一步验证。结果称阶段转换预测显著提升,并支持高效在线监控。
意义:为长时程机器人任务提供轻量级阶段切换判断方案,降低对云端大模型推理的依赖,利于实时在线监控与端侧部署。
- 论文公开站arXiv
EG-ARSA:面向低资源场景的视觉道路安全审计开放专家模型
EG-ARSA: An Expert-Grounded Open Model for Visual Road Safety Auditing in Low-Resource Settings
该研究提出专家接地蒸馏(EGD)框架,将机构道路安全专业知识迁移至紧凑视觉语言模型,用于可扩展的视觉道路安全审计。通过量化校准阶段,教师模型与权威实地审计达成显著一致(Cohen's kappa=0.74)。蒸馏后的80亿参数学生模型采用低秩适应。研究还发布了首个开放专家接地的孟加拉道路安全审计数据集BD-ARSA,含21,947条图像审计记录,以及首个专为此任务开发的视觉语言模型EG-ARSA。实验显示,接地微调显著提升了序数风险评估…
意义:为低资源环境提供可扩展的视觉道路安全审计方案,通过专家接地蒸馏提升模型可靠性,对AI在公共安全领域的落地具有示范意义。