- 论文公开站arXiv
SWE-Serve：面向生产推理服务的智能体工程基准
SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
摘要显示，SWE-Serve 是一个评估智能体完成生产级推理工程任务的基准，包含 53 个源自 SGLang 近期生产变更的仓库级任务，覆盖六大推理工程类别，任务在 CPU 或单张 H100 上执行，采用隐藏功能与回归测试、E2E 服务测试及性能门槛评估。在 11 个模型、31 种配置中，最佳配置平均 pass@1 为 75%，但在 19 个端到端任务中，约三分之一通过局部测试的补丁被服务级 E2E 测试拒绝，暴露出局部完成与生产正确性…
意义：该基准首次系统衡量智能体在生产推理服务中的端到端正确性，揭示局部通过率与真实部署要求之间的落差，为 AI 编码智能体的评估与改进提供更贴近生产的标尺。
- 论文公开站arXiv
AI4AI-Bench：面向递归自我改进的算法设计LLM智能体基准测试
AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
AI4AI-Bench包含10个冻结的研究代码库，覆盖10种训练算法族。智能体需在4小时内重写训练算法，随后重新运行最多12小时，由固定评估器评分。基准将指标统一映射，0表示无信息模型，0.1为原始算法，1.0为任务最优。在6个系统的29种配置下，平均得分为0.166，最佳系统达0.250，表明现有智能体在算法设计上仍有很大提升空间。
意义：该基准首次隔离评估LLM智能体的算法设计能力，对递归自我改进可行性研究至关重要，为AI自我提升提供量化测试平台。