中文读懂 AI 与全技术今天发生了什么
← 返回首页
站内快照 · 国内可打开。外网原文可能无法访问。
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
线性注意力用固定大小循环状态替代增长的KV缓存,但这些持久状态在并发服务下可能成为内存瓶颈。直接低精度量化循环状态常导致严重精度下降。本文提出STEPQuant。
原文链接