- 论文公开站arXiv
基于 LLM 的代码漏洞修复中的指标失效：实证研究与变更感知筛选
Metrics Failure in LLM-Based Code Vulnerability Repair: An Empirical Study and a Change-Aware Screen
摘要显示，作者通过五项对照实验（203个Big-Vul漏洞函数、三个开源代码LLM、三种提示策略）论证编译率在单函数漏洞修复评估中不可靠：约64%的编译失败与模型无关，同一补丁在单个编译器标准标志下编译率波动1.8至2.7倍，且与参考相似度指标给出的模型排序相反；作为优化目标还会奖励删除与占位符式非修复。整函数CodeBLEU同样失效，连未修改的漏洞输入也得分高于所有模型。作者另考察仅对编辑区域打分的diff_F1变更感知筛选方法。
意义：提醒开发者与研究者：以编译率或整函数相似度衡量LLM漏洞修复会得出误导性结论，评估应关注实际修改区域。
- 论文公开站arXiv
编码智能体测试框架设计的实证研究
An Empirical Study of Harness Design for Coding Agents
该研究用轻量级编码框架在固定执行循环下，分别变化规划、动作空间与上下文管理三个组件，在 SWE-Bench Verified 与 Terminal-Bench 2.1 上对四个模型评测了 176 组匹配设置。摘要显示：上下文预算收紧时上下文管理价值上升，收益主要来自避免上下文溢出；规则式删减先于 LLM 摘要效率最佳；规划对弱模型提升准确率、对强模型主要节省成本；预定义工具利好 bash 能力弱的模型，而 bash 强模型用纯 bash…
意义：为构建编码智能体的开发者提供组件级实证依据，说明上下文管理、规划与工具接口应按模型能力与预算差异化设计，而非整体堆叠。