- 论文公开站arXiv
半事实信用增强策略优化
Semifactual Credit-Augmented Policy Optimization
可验证奖励强化学习（RLVR）提升了 LLM 推理能力，但其预测仍对任务无关的提示特征敏感。本文通过半事实提示干预研究这种敏感性。
- 论文公开站arXiv
AdviSD：通过定向多轮自蒸馏学习指导前沿大模型
AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
小型可训练顾问可利用自然语言建议引导冻结的语言模型执行器。除任务奖励外，顾问还可利用已完成交互的反馈改进建议，但看似合理的纠正未必能改变执行结果。
- 论文公开站arXiv
SpeakerMem-R1：面向多方对话的以说话人为中心双轨记忆
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
摘要显示，多方对话中的长期记忆需区分「谁说了什么」、涉及对象、个体认知、群体共享信息及状态随时间的变化。现有通用 LLM 记忆系统易丢失人物与群体关系，难以整合分散于成员、群体与时间中的线索。作者提出 SpeakerMem-R1，采用双轨记忆存储带说话人标注的原文消息与派生状态，并分人物级、群体级视图，查询时按实体、事件、时间融合两轨证据；同时用 SpeakerLevenshtein 与说话人条件化 GRPO 训练 Writer-R1 …
意义：为多智能体与多方对话场景的长期记忆提供可归因、可本地部署的结构化方案，缓解人物关系丢失与状态重建难题。
- 论文公开站arXiv
λ控制GRPO：将流匹配比率不稳定性转化为预算资源
$λ$-Controlled GRPO: Turning Flow-Matching Ratio Instability into a Budgeted Resource
摘要显示，该研究针对流匹配模型强化学习（Flow-GRPO）中多步去噪训练不稳定的问题，指出重要性比率漂移、离散化、裁剪率差异等看似独立的失效模式实际源于单一的「路径方差」量，该量由采样器的高斯转移核精确决定并可低成本估计。作者提出 λ-Controlled GRPO，依据预测规律校准重要性比率行为，并按预测代价在去噪步间分配梯度预算，两个尺度由标准策略选择固定而非自由调参。在文本到图像模型上以 OCR 评分渲染难目标文本等两种奖励设置…
意义：为流匹配生成模型的强化学习对齐提供了可度量、可预算的稳定性机制，减少对手工调参稳定器的依赖，对图像生成模型的 RL 训练工程有直接参考价值。
- 论文公开站arXiv
CodeMidas：从代码本身扩展智能体编码RL环境
CodeMidas: Scaling Agentic Coding RL Environments from Code Itself
摘要显示，现有编码智能体 RL 环境多依赖 issue、commit 等开发痕迹，任务来源受限。CodeMidas 提出一种智能体流水线，仅以源代码为任务专属输入，将代码库中已实现的功能转化为可执行 RL 环境，通过智能体探索形成行为规格、基于原始代码执行构建测试，并经执行校验与多次解轨迹筛选任务。其数据集含来自 3,185 个开源代码库的 5,545 个训练任务，覆盖 23 种语言与 15 个技术领域。
意义：为编码智能体 RL 训练提供低成本、可扩展的任务生成路径，降低对 issue/commit 等人工痕迹的依赖，利于开发者构建自有代码库训练环境。
- 论文公开站arXiv
BPCO：一种稳定高效的评论家训练方法
How to Train a Critic Stably and Efficiently
摘要显示，基于组的强化学习方法（如GRPO）通过采样多个响应避免训练评论家，但标准评论家训练常不稳定。研究者提出BPCO配方，结合DPPO、奖励范围限定的值预测、蒙特卡洛值目标、未归一化策略优势及长度自适应GAE，并可在训练时向评论家提供奖励定义信息。在数学推理任务中，BPCO一致提升强评论家基线，并匹配或超越组基线，同时每个提示仅采样一个响应。
意义：为LLM强化学习提供稳定高效的评论家训练方案，减少采样成本，提升训练可靠性，对在线RL算法设计有重要参考价值。
- 论文公开站arXiv
Re³Cap：基于检索引导的强化学习图像描述优化方法
Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
Re³Cap提出一种检索引导的推理策略，用于增强图像描述生成，无需额外标注。该方法通过描述细化建议器和质量评估器，识别并修正描述中的幻觉与遗漏，从而生成更准确、详细的描述。实验表明，在COCO-LN500基准上，Re³Cap在关系推理任务上平均比GRPO提升8.64%，甚至优于监督微调方法。
意义：该方法利用多模态检索作为推理信号，提升强化学习在图像描述中的探索能力，为无需额外标注的模型优化提供了新思路。
