站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
数学推理中顺序不变的答案与顺序敏感的表示
Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning
摘要显示，研究用合成多步函数复合任务测试16个1B至8B参数语言模型，在语义相同但规则顺序不同的题目下测量准确率与置换信噪比（SNR）。结果显示，能更准确解答重排问题的模型，其内部表征对不同规则顺序的区分度更高；层平均置换SNR与准确率在所有测试设置中均呈正秩相关，Spearman相关系数最高达0.86。研究据此提出应区分答案不变性与表征不变性。
意义：提示开发者：模型答案正确不等于内部表征对顺序不敏感，评估数学推理时需关注表征层面的顺序敏感性。