- 论文公开站arXiv
AI4AI-Bench：面向递归自我改进的算法设计LLM智能体基准测试
AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
AI4AI-Bench包含10个冻结的研究代码库，覆盖10种训练算法族。智能体需在4小时内重写训练算法，随后重新运行最多12小时，由固定评估器评分。基准将指标统一映射，0表示无信息模型，0.1为原始算法，1.0为任务最优。在6个系统的29种配置下，平均得分为0.166，最佳系统达0.250，表明现有智能体在算法设计上仍有很大提升空间。
AI4AI-Bench provides 10 frozen repositories across 10 training algorithm families; agents rewrite training algorithms in 4 hours, then rerun for up to 12 hours, scored by a fixed evaluator. Across 29 configurations of 6 systems, mean score is 0.166, best 0.250.
意义：该基准首次隔离评估LLM智能体的算法设计能力，对递归自我改进可行性研究至关重要，为AI自我提升提供量化测试平台。