站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
面向编程代理的紧凑文档：基准、优化器及为何无法迁移
Compact Documentation for Coding Agents: A Benchmark, an Optimizer, and Why It Does Not Transfer
摘要显示，研究者构建了一个往返基准，用「由描述重新生成的代码能否通过原测试」来评分代码描述质量，发现完整性而非长度决定描述保真度；并据此优化出可泛化到未见文件的描述生成提示。但跨两个模型家族、十个仓库的测试表明，在源码存在时，静态紧凑文档或检索上下文均无法帮助代理解决真实仓库问题，作者将此负面结果连同基准与优化器一并报告。
意义：提示开发者：为编码代理生成文档未必提升真实任务表现，评估代理上下文策略需谨慎，避免无效投入。