站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
LLM能推理运行时行为吗？仓库级动态基准
Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark
摘要显示，现有仓库级问答基准多评估静态代码理解且依赖LLM评判，执行推理基准则局限于代码片段或函数。作者提出SWE-Flux，包含来自12个真实Python仓库的480个执行推理实例，答案由插桩测试执行自动采集而非人工编写或LLM判定，覆盖控制流、循环、程序状态、数据流、异常与不变量。评估五个LLM显示该任务仍具挑战，最佳模型准确率仅37%，模型在局部行为上表现较好，但在数据流、跨过程执行、精确状态推理与套件级聚合上表现较差。
意义：为LLM代码执行推理提供可自动生成、避免LLM评判偏差的仓库级评测，揭示当前模型在动态行为理解上的明显短板。