- 论文公开站arXiv
基于 LLM 的代码漏洞修复中的指标失效：实证研究与变更感知筛选
Metrics Failure in LLM-Based Code Vulnerability Repair: An Empirical Study and a Change-Aware Screen
摘要显示，作者通过五项对照实验（203个Big-Vul漏洞函数、三个开源代码LLM、三种提示策略）论证编译率在单函数漏洞修复评估中不可靠：约64%的编译失败与模型无关，同一补丁在单个编译器标准标志下编译率波动1.8至2.7倍，且与参考相似度指标给出的模型排序相反；作为优化目标还会奖励删除与占位符式非修复。整函数CodeBLEU同样失效，连未修改的漏洞输入也得分高于所有模型。作者另考察仅对编辑区域打分的diff_F1变更感知筛选方法。
意义：提醒开发者与研究者：以编译率或整函数相似度衡量LLM漏洞修复会得出误导性结论，评估应关注实际修改区域。