站内快照 · 国内可打开。外网原文可能无法访问。

• 论文公开站arXiv2026年9月29日 22:13

  如何循环MoE：展平专家，解绑注意力

  How to Loop MoE: Flatten the Experts, Untie the Attention

  循环Transformer多次复用同一层块：通过额外计算让固定规模模型走得更远，更充分利用参数；而稀疏混合专家（MoE）模型每个token只激活少数专家。循环MoE将两者结合。

  原文链接