站内快照 · 国内可打开。外网原文可能无法访问。

• 论文公开站arXiv2026年9月29日 22:13

  照搬相同，蒸馏差异：线性视觉Transformer的初始化

  Copy the Same, Distill the Difference: Initializing Linear Vision Transformers

  线性视觉Transformer（ViT）旨在用线性复杂度注意力算子替代Softmax ViT中的注意力，以实现更高效的token路由，但需要从头预训练，且通常性能不及原版Softmax。如何初始化是关键。

  原文链接