- 论文公开站arXiv
PoEM：从现有策略预测强化学习结果
PoEM: Predicting RL Outcomes from Existing Policies
摘要显示，该研究提出 PoEM 框架，尝试在不重新运行强化学习的情况下预测新奖励函数下的策略结果。若新奖励可表示为已有奖励的线性组合，则新策略在对数空间中也可表示为已有对数策略的线性组合；即使奖励非线性相关，不同奖励训练出的对数策略也常近似张成低秩子空间。基于此，仅用奖励或基策略在样本上的输出即可估计组合权重，从而近似目标 RL 策略。实验在文本与图像模态的合成及真实奖励上验证了该方法。
意义：若成立，可大幅降低奖励模型变更或多奖励组合时的重复 RL 后训练成本，为开发者提供低成本策略预测与评估途径。
- 论文公开站arXiv
AD-WM：面向反事实模型预测控制的动作判别世界模型
AD-WM: Action-Discriminative World Models for Counterfactual Model Predictive Control
摘要显示，潜在世界模型通常只优化事实转移预测，但 MPC 需要比较同一状态下的不同动作，因此可能出现预测误差低却难以区分候选动作的问题。作者提出 AD-WM，将残差潜在动力学与预测器层面的动作恢复正则化结合，利用逆动力学和基于条件互信息的归一化恢复目标，使规划转移保留动作信息，测试时丢弃辅助头、不改变 MPC。在 OGBench-Cube 上，硬启动成功率从匹配 LeWM 基线的 3.7% 提升到 52.0%，五个仿真环境中有四个平均成…
意义：提示世界模型应优化动作判别性而非仅事实预测精度，为基于 MPC 的规划与机器人策略迁移提供可复用的正则化思路。
- 论文公开站arXiv
注入、对齐、恢复：面向无检索文档知识内化的分阶段后训练框架
Inject, Align, Recover: Staged Post-Training for Retrieval-Free Document Knowledge Internalization
大型语言模型在推理时无法检索源文档时，往往难以回答关于特定文档集的问题。为此，本文提出IAR（注入、对齐、恢复）三阶段后训练框架，将固定语料转化为可用的参数化知识，实现无检索问答。注入阶段采用续写、改写和指令条件重建目标；对齐阶段使用仅答案的问答监督；恢复阶段合并领域适配模型与基础指令模型以恢复通用能力。实验显示，在多个模型家族和数据集上，IAR在领域问答准确率上平均提升3.6个百分点，通用性能平均提升12.1个百分点。
意义：该框架为无需检索的文档知识内化提供了新方法，提升领域问答准确率的同时保持通用能力，对构建高效、实用的领域专用模型具有重要意义。