论文公开站arXiv
PReCache:通过低秩预计算与中性重建实现多 LoRA 智能体的高效 KV 缓存共享
PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction
多 LoRA 智能体系统通过共享公共骨干模型实现高效角色专业化。然而,每个智能体重复处理不断增长的共享轨迹并构建自己的 KV 缓存,在长时程任务中造成大量内存和计算冗余。
原文链接