- 论文公开站arXiv
半事实信用增强策略优化
Semifactual Credit-Augmented Policy Optimization
可验证奖励强化学习（RLVR）提升了 LLM 推理能力，但其预测仍对任务无关的提示特征敏感。本文通过半事实提示干预研究这种敏感性。
- 论文公开站arXiv
面向智能体强化学习高效压缩的KV-streams
KV-streams for Efficient Compaction in Agentic Reinforcement Learning
扩展智能体LLM的时域受限于需将越来越长的上下文轨迹装入GPU内存。上下文压缩是缓解该问题最常用的机制，可在给定轨迹下保持GPU内存恒定，但多数压缩策略存在不足。
- 论文公开站arXiv
交错强化学习让统一模型学会原生反思
Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
统一多模态模型既能看图又能生成图，原则上可自我修复生成结果：诊断错误、修改、观察再诊断；但修改是否有益只有渲染后才能知晓。
- 论文公开站arXiv
约束强化学习中的视觉-语言信号：安全增益但无预判能力
Vision--Language Signals in Constrained RL: Safety Gains Without Anticipation
安全强化学习寻求在满足安全约束的同时最大化任务性能的策略。然而在驾驶基准中，碰撞成本通常仅在碰撞时出现，无法提前预警逼近的危险。冻结的视觉-语言模型被用于提供信号。
- 论文公开站arXiv
生成、跟踪、改进：基于RL微调运动生成器的感知型多技能人形机器人运动
Generate, Track, Improve: Perceptive Multi-Skill Humanoid Locomotion with RL-Fine-Tuned Motion Generators
摘要显示，该工作提出双层运动架构：感知式流匹配运动生成器从原始深度图规划全身轨迹，控制引导强化学习训练的感知跟踪策略执行动作。核心贡献是一种离策略强化学习微调循环，通过结构化搜索采集数据并进行优势加权回归，提升生成器在未见地形与技能组合上的一致性。摘要称地形通过成功率最高提升25个百分点，技能选择提升80个百分点；使用原始深度图无需里程计或高度图，单对策略即可驱动Unitree G1完成走、跑、站立与跳跃等动作。
意义：为开发者提供一种样本高效的离策略微调范式，使多技能人形机器人仅凭深度图即可适应复杂地形，降低感知与部署门槛。
- 论文公开站arXiv
信任引导的决策Transformer
Trust Guided Decision Transformer
摘要显示，Decision Transformer 在长程 rollout 中因条件上下文偏离训练分布而性能下降，这种漂移可通过模型自身的下一状态预测误差观察到。作者提出 Trust Guided Decision Transformer（TGDT），先用滚动下一状态预测误差并结合 split conformal prediction 校准阈值筛选可信上下文后缀，再由冻结 critic 在可信后缀中选择最高价值动作。D4RL 导航与运动…
意义：为离线强化学习中的长程决策提供了一种基于模型自检误差的上下文可靠性筛选思路，有助于提升 Decision Transformer 类方法的稳定性。
- 论文公开站arXiv
通过STL引导的Stein变分策略梯度从稀疏成功信号学习机器人策略
Learning Robot Policies from Sparse Success Signals via STL-Guided Stein Variational Policy Gradient
摘要显示，该研究针对稀疏成功信号下机器人策略学习难题，提出STL-SVPG方法：以平滑的信号时序逻辑（STL）鲁棒性作为轨迹级训练目标，通过动力学求导将信用按对完整任务规范的影响分配给策略动作，而非仅依据局部进展。在六项四旋翼与机械臂任务（含事件触发、严格顺序、截止时间响应与物理接触）中，该方法在五项取得最高平均成功率，且仿真训练策略可迁移到真实世界。
意义：为稀疏奖励与多条件时序任务提供可微轨迹级目标，利于机器人策略的信用分配与仿真到现实迁移。
- 论文公开站arXiv
PoEM：从现有策略预测强化学习结果
PoEM: Predicting RL Outcomes from Existing Policies
摘要显示，该研究提出 PoEM 框架，尝试在不重新运行强化学习的情况下预测新奖励函数下的策略结果。若新奖励可表示为已有奖励的线性组合，则新策略在对数空间中也可表示为已有对数策略的线性组合；即使奖励非线性相关，不同奖励训练出的对数策略也常近似张成低秩子空间。基于此，仅用奖励或基策略在样本上的输出即可估计组合权重，从而近似目标 RL 策略。实验在文本与图像模态的合成及真实奖励上验证了该方法。
意义：若成立，可大幅降低奖励模型变更或多奖励组合时的重复 RL 后训练成本，为开发者提供低成本策略预测与评估途径。
- 论文公开站arXiv
具身强化学习中用于私有轨迹重建的时间梯度反转
Temporal Gradient Inversion for Private Trajectory Reconstruction in Embodied Reinforcement Learning
摘要显示，分布式具身强化学习虽只在设备端保留原始传感器数据、仅上传策略梯度，但时序结构会放大隐私泄露。作者提出 TRACE，一种摊销式时序梯度反演攻击，利用相邻梯度间的跨时间相关性以及策略头梯度中动作的闭式恢复，自回归重建私有观测-动作轨迹。在留出的具身场景中，TRACE 达到 18.8 dB PSNR，动作恢复近乎完美，每帧重建耗时 3–4.5 毫秒。
意义：表明仅上传策略梯度并不足以保护具身智能体的轨迹隐私，联邦/分布式 RL 需引入序列感知的防御机制。
- 论文公开站arXiv
利用单一传感单元测量历史进行非定常流中的水下导航
Underwater Navigation in Unsteady Flows Using Measurement Histories from a Single Sensing Unit
摘要显示，研究提出一种因果观测器，仅凭单一传感单元的历史测量估计侧向流速，为固定导航控制器提供输入。在二维尾流仿真中，该虚拟传感接口将同步流场采样点从三个减少到机器人中心。仅在 Re=100 圆柱尾流上训练，未重新训练即在 Re=205 和 240 上分别达到 84.4% 和 80.6% 成功率，低于直接空间感知 7.4 和 4.6 个百分点，但显著优于仅当前流速观测器。
意义：为水下机器人减少传感器数量、降低布局约束提供思路，并验证单点流场历史在闭环控制中的可用性。
- 论文公开站arXiv
一种带延迟信息共享的分散式部分可观测团队决策方法
A Decentralized Partially Observable Team Decision Methodology with Delayed Information Sharing
摘要显示，该研究针对具有低秩隐动态且系统模型未知的去中心化部分可观测团队决策问题，提出结合团队理论等价性与低秩模型表示的框架。团队成员仅依据本地私有信息与延迟共享的公共信息，各自学习近似低秩马尔可夫决策过程，并用最小二乘值迭代求解策略，无需集中式协调者或集中训练。文中证明成员侧解可逼近集中式团队最优策略，并给出有限样本性能保证与样本复杂度界。
意义：为多智能体在通信受限、模型未知场景下提供去中心化学习与规划的理论保证，对分布式强化学习与协作决策系统有参考价值。
- 论文公开站arXiv
临界状态RL：诊断多轮工具使用中的可训练状态
Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use
摘要显示，多轮工具调用失败常取决于单次模型调用，但仅靠奖励变化无法判断哪次调用值得训练，因为奖励可能反映后续随机性而非当前动作差异。作者提出 Critical-State RL，通过评估每次候选调用的局部奖励是否反映其对任务成功的贡献、以及相对参考策略是否存在改进空间，并用嵌套采样分离动作相关奖励变化与延续噪声，在选定状态上以上下文赌博机方式优化策略。在 BFCL v4 上，诊断选出的状态训练优于其他状态，missing-functio…
意义：为多轮工具调用智能体提供一种定位关键可训练步骤的方法，有助于减少无效训练信号、提升 RL 微调效率。
- 论文公开站arXiv
λ控制GRPO：将流匹配比率不稳定性转化为预算资源
$λ$-Controlled GRPO: Turning Flow-Matching Ratio Instability into a Budgeted Resource
摘要显示，该研究针对流匹配模型强化学习（Flow-GRPO）中多步去噪训练不稳定的问题，指出重要性比率漂移、离散化、裁剪率差异等看似独立的失效模式实际源于单一的「路径方差」量，该量由采样器的高斯转移核精确决定并可低成本估计。作者提出 λ-Controlled GRPO，依据预测规律校准重要性比率行为，并按预测代价在去噪步间分配梯度预算，两个尺度由标准策略选择固定而非自由调参。在文本到图像模型上以 OCR 评分渲染难目标文本等两种奖励设置…
意义：为流匹配生成模型的强化学习对齐提供了可度量、可预算的稳定性机制，减少对手工调参稳定器的依赖，对图像生成模型的 RL 训练工程有直接参考价值。
- 论文公开站arXiv
CodeMidas：从代码本身扩展智能体编码RL环境
CodeMidas: Scaling Agentic Coding RL Environments from Code Itself
摘要显示，现有编码智能体 RL 环境多依赖 issue、commit 等开发痕迹，任务来源受限。CodeMidas 提出一种智能体流水线，仅以源代码为任务专属输入，将代码库中已实现的功能转化为可执行 RL 环境，通过智能体探索形成行为规格、基于原始代码执行构建测试，并经执行校验与多次解轨迹筛选任务。其数据集含来自 3,185 个开源代码库的 5,545 个训练任务，覆盖 23 种语言与 15 个技术领域。
意义：为编码智能体 RL 训练提供低成本、可扩展的任务生成路径，降低对 issue/commit 等人工痕迹的依赖，利于开发者构建自有代码库训练环境。
- 论文公开站arXiv
LIMBO：学习并内化无模型障碍目标以实现敏捷安全全身控制
LIMBO: Learning and Internalizing Model-Free Barrier Objectives for Agile and Safe Whole-Body Control
摘要显示，LIMBO 提出一种在冻结基础控制器周围、基于黑盒状态转移与失败规范学习状态-动作控制屏障函数（Q-CBF），并将其安全结构蒸馏进任务策略的框架。学习到的安全值在合成阶段引导风险导向采样，在任务学习阶段提供动作级安全反馈，从而减少部署时在线安全过滤的需求。作者在 29 自由度人形机器人上演示了躲避球与低障碍下行走任务。
意义：为高维全身控制提供可学习、可复用的安全证书，并减少部署时在线安全过滤，对安全强化学习与机器人控制有参考价值。
- 论文公开站arXiv
SeeQ：为长时程机器人操作训练通用价值函数
SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation
摘要显示，通用机器人策略在包含多阶段或需反复尝试的长时程任务上表现脆弱。SeeQ 提出学习当前活跃子任务的 Q 值，以缩短价值预测时程，从而可用时序差分目标有效训练；训练时利用离线机器人数据中的子任务标注，测试时由视觉-语言骨干自回归预测自然语言子任务再估值。在两种双臂机器人平台的四个真实操作任务上，该方法显著提升了 best-of-N 策略引导效果。
意义：为长时程机器人操作提供可扩展的价值函数训练范式，降低稀疏奖励下的信用分配难度，对通用机器人策略与强化学习结合有参考价值。
- 论文公开站arXiv
RetireOPD：面向智能体强化学习的自退役在线策略蒸馏
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
摘要显示，多轮智能体强化学习仅提供轨迹级标量奖励，因此有研究采用自我在线策略蒸馏（OPD）从具备特权任务技能的自我教师处提供词元级稠密监督。但作者发现，特权信息并不总能让教师可靠，教师监督的收益也依赖训练阶段。为此提出 RetireOPD：先用环境奖励优化解耦的技能条件教师，再以 RL 与 OPD 联合训练无技能学生，并采用自适应退役机制——当学生与教师差距不再缩小且达到教师成功率目标比例时自行弃用教师，之后仅用 RL 训练。在 1.5…
意义：为智能体强化学习提供了一种自适应蒸馏框架，避免教师监督在后期成为瓶颈，对训练多轮工具调用与任务型智能体有直接参考价值。
- 论文公开站arXiv
分数中心化稳定离策略强化学习
Score Centering Stabilizes Off-policy Reinforcement Learning
摘要显示，大语言模型强化学习对训练引擎与推理引擎之间的微小差异（训练-推理不匹配，TIM）高度敏感，而完全消除 TIM 会显著牺牲 rollout 效率。作者认为 TIM 下 RL 不稳定的主因是「漂移」——训练与推理引擎间随训练步数累积的持续偏差，并提出加性的「分数中心化」修正项来抵消漂移。在 0.6B 至 30B 参数模型上，该方法在量化条件下匹配或优于基于重要性采样的方法，且不匹配越严重优势越大；由于修正是加性的，它还能与重要性采…
意义：为 LLM 强化学习训练中普遍存在的训练-推理引擎不一致问题提供了一种轻量、可组合的稳定性修正，有助于在不牺牲 rollout 效率的前提下提升大规模 RL 训练稳定性。
- 论文公开站arXiv
历史依赖日志下离策略评估的指数级难度
Exponential Hardness of Off-Policy Evaluation under History-Dependent Logging
摘要显示，当记录器依赖历史时，即使日志数据频繁访问所有隐藏状态，也可能对目标策略价值呈指数级信息不足。作者构造了每阶段至多两个隐状态、三个动作、记录器含三个记忆状态的POMDP，在动作覆盖、信念覆盖及两个行为边际结果揭示条件常数均与H无关的情况下，评估已知确定性目标策略至1/8精度仍需Θ((3/2)^H log(1/δ))条日志回合。机制是重置抹除了决定目标价值的未知转移，并给出了匹配最优估计器。
意义：对依赖历史日志的离线策略评估给出指数下界，提示开发者仅靠动作/信念覆盖不足以保证可学习性，需关注日志机制与重置效应。
- 论文公开站arXiv
ScienceBuddy：面向交互式科学智能体的递归自改进
ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents
摘要显示，ScienceBuddy 是一个交互式科研工作空间，将可持续改进的科学智能体嵌入研究者日常工作流，把研究者的请求、反馈与执行证据转化为任务和评估标准以支持持续学习。其核心为「递归中的递归」自我改进范式：内层递归在模型固定下改进 harness，外层递归在改进后的 harness 下训练模型，两者相互促进。案例研究覆盖四个科学任务族，并以研究产品形式开源发布。
意义：将 agent 脚手架演进与模型强化学习嵌套耦合，为持续自我改进型智能体提供了可复用的工程范式与开源产品参考。
- 论文公开站arXiv
离线强化学习中的边际重要性加权：保序贝尔曼校准方法
Bellman Calibration for Marginalized Importance Weighting in Offline Reinforcement Learning
摘要提出了一种名为保序贝尔曼校准的一维模型无关后处理方法，用于减少离线强化学习中边际重要性加权估计的占用率平衡违规。该方法通过拟合非递减变换类来校正初始估计的尺度和形状，并具有校准-细化界限，保证小校准误差的估计性能接近最优后处理。同时建立了有限样本校准保证和KL oracle不等式。
意义：该方法为离线强化学习中的重要性加权估计提供了可诊断的校正手段，有助于提升策略评估的可靠性，对模型选择和超参数调优有实际意义。
- 论文公开站arXiv
通过局部增强偏好与表示解缠改进跨问题车辆路径规划
Improving Cross-Problem Vehicle Routing with Locally Augmented Preferences and Representation Disentanglement
摘要显示，多任务车辆路径问题求解器面临训练监督弱和架构纠缠的挑战。为此，提出POLAR训练算法，通过局部搜索细化最佳解码路径以形成更优偏好对，以及PLE编码器，利用门控机制分离共享专家与任务特定专家，逐步解缠通用路由结构与约束特定编码。实验表明，两者结合可提升当前最先进性能。
意义：对开发者而言，该研究提供了训练算法与架构设计的改进，有望提升多任务VRP模型的泛化能力与训练效率，推动实际物流调度应用。
- 论文公开站arXiv
SPO++：面向异步智能体强化学习的流对齐策略优化
SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL
摘要介绍SPO++，一种改进的异步智能体强化学习算法。针对组相对强化学习等待同提示兄弟rollout的高成本，SPO使用持久提示级价值估计，但轨迹中心化未能正确居中行动者消费的token加权量。SPO++通过标准化行动token度量下的终端结果优势来修正，并依据策略事件而非接收顺序组织提示证据。在ALFWorld和Math-TIR上的实验显示，SPO++相比SPO提升了在线学习效率，消融实验表明行动token度量归一化是最有效的组件。
意义：为异步智能体强化学习提供更高效的策略优化方法，减少等待成本，提升在线学习效率，对长工具使用轨迹的智能体训练有重要意义。
- 论文公开站arXiv
BPCO：一种稳定高效的评论家训练方法
How to Train a Critic Stably and Efficiently
摘要显示，基于组的强化学习方法（如GRPO）通过采样多个响应避免训练评论家，但标准评论家训练常不稳定。研究者提出BPCO配方，结合DPPO、奖励范围限定的值预测、蒙特卡洛值目标、未归一化策略优势及长度自适应GAE，并可在训练时向评论家提供奖励定义信息。在数学推理任务中，BPCO一致提升强评论家基线，并匹配或超越组基线，同时每个提示仅采样一个响应。
意义：为LLM强化学习提供稳定高效的评论家训练方案，减少采样成本，提升训练可靠性，对在线RL算法设计有重要参考价值。
- 论文公开站arXiv
Re³Cap：基于检索引导的强化学习图像描述优化方法
Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
Re³Cap提出一种检索引导的推理策略，用于增强图像描述生成，无需额外标注。该方法通过描述细化建议器和质量评估器，识别并修正描述中的幻觉与遗漏，从而生成更准确、详细的描述。实验表明，在COCO-LN500基准上，Re³Cap在关系推理任务上平均比GRPO提升8.64%，甚至优于监督微调方法。
意义：该方法利用多模态检索作为推理信号，提升强化学习在图像描述中的探索能力，为无需额外标注的模型优化提供了新思路。
