- 论文公开站arXiv
通过信念自蒸馏进行用户模型提取
User Model Extraction via Belief Self-Distillation
摘要显示，该研究提出 Belief Self-Distillation（BSD）框架，让冻结的 LLM 充当自身教师，从自然对话中蒸馏出紧凑的用户表征，既可解码也可写回模型，从而将线性探测与因果探测统一。实验表明，BSD 能跨多个模型家族忠实恢复用户信念，且干预效果显著强于匹配的隐状态引导；改变模型推断的用户意图会改变拒绝行为，而请求本身保持不变。研究还发现不同独立训练的 LLM 在用户表征上收敛出共享几何结构。
意义：该工作把用户信念变为可读可写的内部状态，为AI安全中的拒绝行为归因与干预提供了新工具，也提示跨模型用户表征可能存在共性。