站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
BPCO：一种稳定高效的评论家训练方法
How to Train a Critic Stably and Efficiently
摘要显示，基于组的强化学习方法（如GRPO）通过采样多个响应避免训练评论家，但标准评论家训练常不稳定。研究者提出BPCO配方，结合DPPO、奖励范围限定的值预测、蒙特卡洛值目标、未归一化策略优势及长度自适应GAE，并可在训练时向评论家提供奖励定义信息。在数学推理任务中，BPCO一致提升强评论家基线，并匹配或超越组基线，同时每个提示仅采样一个响应。
意义：为LLM强化学习提供稳定高效的评论家训练方案，减少采样成本，提升训练可靠性，对在线RL算法设计有重要参考价值。