- 论文公开站arXiv
LLM助手的可验证社会推理
Verifiable Social Reasoning for LLM Assistants
摘要显示，针对LLM助手在社交咨询场景中难以评测的问题，研究者提出Fuse多智能体仿真框架：目标智能体带有隐藏动机，与包括用户代表的智能体互动，用户再向被评测助手咨询以推断该动机，从而天然构造可验证的真实标签。研究用2.4万条标注的人类研究验证仿真保真度，并在12个LLM上实验，发现用户中介会加剧社会推理难度、模型对用户有偏框架存在系统性敏感、模型有时需要比人类更多的细节才能做出正确预测，且更长对话不总能提升表现。作者开源Fuse及含2…
意义：为LLM社交推理提供可验证评测基准与开源数据集，揭示用户中介与偏见框架对模型判断的系统性影响，利于助手安全性评估。