- 资讯公开站rss_arxiv_cs_ai
EmailBench：评估LLM智能体在企业邮件与生产力任务上的基准
EmailBench: A Benchmark for Evaluating LLM Agents on Enterprise Email and Productivity Tasks
arXiv:2609.31906v1 公告类型：新 摘要：企业邮件智能体必须结合信息检索、结构化状态变更、时间推理和多步协调。近期的智能体基准包含生产力任务，但很少有以自包含环境中的类型化邮件工作流为中心。我们推出 EmailBench，一个涵盖 16 个任务类别、206 个邮件与生产力场景的基准。该基准将带类型化邮件 API 规范与提供商中立命名相结合，包含一个确定性的、受 Enron 启发的合成语料库，以及一套场景套件，其主题选择参…
- 论文公开站arXiv
SWE Refactor Bench：编码代理能否完成长周期、全仓库的代码栈迁移？
SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?
SWE Refactor Bench 是一个包含20个全仓库迁移任务的基准，覆盖4种技术债务。三阶段评估协议（迁移审计、行为测试、代理验证）分别验证迁移完成度和行为正确性。在520次运行中，仅28次（5.4%）通过全部阶段，13个任务无接受方案，最佳模型得分47.0/100。摘要显示，代理常因跳过迁移或破坏行为而失败，无法实现完美迁移。
意义：该基准首次区分迁移完成度与行为正确性，防止代理通过复制原实现作弊，为评估编码代理在长期迁移任务中的真实能力提供新标准。
- 论文公开站arXiv
G-CARL：面向患者导向的医学报告解读的基于清单对齐的奖励学习框架
G-CARL: Grounded Checklist-Aligned Reward Learning for Patient-Oriented Medical Report Interpretation
摘要显示，研究者提出患者导向的医学报告解读（PMRI）任务，要求模型根据用户查询和对话历史，以准确且通俗的语言解释医学报告。为解决事实性和沟通性目标难以联合优化的问题，提出G-CARL框架，结合多源检索进行原子声明验证，并采用上下文感知的加权清单确保响应覆盖，从而提供结构化监督。同时构建了真实世界基准MMedReport和临床医生设计的三维评估协议，实验表明G-CARL在整体质量、声明级精度和清单达成率上优于现有基线。
意义：为医学报告解读提供了兼顾事实性与用户沟通的强化学习框架，并引入新基准，对医疗AI的个性化交互和可验证生成有重要参考价值。