中文读懂 AI 与全技术今天发生了什么
← 返回首页
站内快照 · 国内可打开。外网原文可能无法访问。
Thinking Outside the Box: Retention and Transmission of Information in Sliding-Window KV Inference
滑动窗口 KV 推理指增量处理序列,仅保留固定大小的近期键值状态缓存。它可在推理时应用于预训练因果 Transformer 而无需额外训练,同时其 KV 缓存内存保持固定。
原文链接