- 资讯公开站rss_arxiv_cs_ai
EmailBench：评估LLM智能体在企业邮件与生产力任务上的基准
EmailBench: A Benchmark for Evaluating LLM Agents on Enterprise Email and Productivity Tasks
arXiv:2609.31906v1 公告类型：新 摘要：企业邮件智能体必须结合信息检索、结构化状态变更、时间推理和多步协调。近期的智能体基准包含生产力任务，但很少有以自包含环境中的类型化邮件工作流为中心。我们推出 EmailBench，一个涵盖 16 个任务类别、206 个邮件与生产力场景的基准。该基准将带类型化邮件 API 规范与提供商中立命名相结合，包含一个确定性的、受 Enron 启发的合成语料库，以及一套场景套件，其主题选择参…
- 论文公开站arXiv
SWE-Serve：面向生产推理服务的智能体工程基准
SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
摘要显示，SWE-Serve 是一个评估智能体完成生产级推理工程任务的基准，包含 53 个源自 SGLang 近期生产变更的仓库级任务，覆盖六大推理工程类别，任务在 CPU 或单张 H100 上执行，采用隐藏功能与回归测试、E2E 服务测试及性能门槛评估。在 11 个模型、31 种配置中，最佳配置平均 pass@1 为 75%，但在 19 个端到端任务中，约三分之一通过局部测试的补丁被服务级 E2E 测试拒绝，暴露出局部完成与生产正确性…
意义：该基准首次系统衡量智能体在生产推理服务中的端到端正确性，揭示局部通过率与真实部署要求之间的落差，为 AI 编码智能体的评估与改进提供更贴近生产的标尺。
- 论文公开站arXiv
AI4AI-Bench：面向递归自我改进的算法设计LLM智能体基准测试
AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
AI4AI-Bench包含10个冻结的研究代码库，覆盖10种训练算法族。智能体需在4小时内重写训练算法，随后重新运行最多12小时，由固定评估器评分。基准将指标统一映射，0表示无信息模型，0.1为原始算法，1.0为任务最优。在6个系统的29种配置下，平均得分为0.166，最佳系统达0.250，表明现有智能体在算法设计上仍有很大提升空间。
意义：该基准首次隔离评估LLM智能体的算法设计能力，对递归自我改进可行性研究至关重要，为AI自我提升提供量化测试平台。