站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
排斥自注意力的非平衡相：混沌、注意力凝聚与涌现局域性
Nonequilibrium Phases of Repulsive Self-Attention: Chaos, Attention Condensation, and Emergent Locality
摘要研究了一个极简循环 Transformer 的非平衡动力学：N 个归一化 token，Q=K=I，值映射为负 V=-I。相似度注意力选择邻近表示，而负值映射将 token 推离被选场，形成反馈。d=2 时 token 位于圆上，正多边形为精确不动点；随注意力反馈强度 γ 增大，多边形经翻转分岔失稳，出现周期二运动、混沌及簇交换/翻转态。有限 β 下注意力随 N→∞ 仍弥散，凝聚出现在 β~N² 尺度；硬路由极限下出现表示空间的蝴蝶锥。高维几何提供另一条局域化路径，d=N→∞ 时模拟显示 β=O(1) 处存在凝聚转变。
意义：为理解注意力机制的非平衡动力学提供极简可解析模型，揭示混沌、凝聚与局域化相变，启发对 Transformer 表达与稳定性的理论分析。