中文读懂 AI 与全技术今天发生了什么
← 返回首页
站内快照 · 国内可打开。外网原文可能无法访问。
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
近期大模型越来越多采用线性注意力替代标准注意力,如Gated DeltaNet和Kimi Delta Attention。这些方法将上下文压缩为固定大小循环状态,大幅降低长上下文成本。本文提出LeapQuant。
原文链接