- 论文公开站arXiv
LLM缓存应使用哪种驱逐策略？跨工作负载、容量和编码器的系统研究
Which Eviction Policy Should an LLM Cache Use? A Systematic Study Across Workloads, Capacities, and Encoders
摘要显示，使用CLEVER协议评估了FIFO、LRU、LFU、ARC、GDSF、流式SISO及语义冗余策略，在18种设置中，无策略优于LFU超过0.041个百分点。FIFO和流式SISO在紧容量下落后LFU达8.67和8.55个百分点。条件打包结果解释了改进缺失。审计发现，在MiniLM中位阈值下，仅2.1-3.9%的命中可替换答案，质量调整后命中率从51-60%降至1.1-2.2%。阈值不跨编码器迁移。LFU是最强简单默认策略。
意义：为LLM缓存驱逐策略提供了系统比较，指出LFU作为强默认选择，并强调答案有效性验证的重要性，对缓存系统设计有指导意义。