Reddit · r/LocalLLaMA· /u/ThePrimeClock·· 18 小时前AI 评分32
Gandalf：面向 LLM 服务中 KV cache 卸载的 SSD 寿命优化方案
Gandalf: Flash Shall Not Die! Increasing Flash Storage Lifetime for KV Cache Offloading in LLM Serving
来源与原文
Reddit · r/LocalLLaMA
作者：/u/ThePrimeClock
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xfiu75/gandalf_flash_shall_not_die_increasing_flash/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 Gandalf，首个具备 SSD 寿命感知的 KV cache 卸载系统，通过优先将 full-attention KV cache 写入 SSD，在不牺牲 cache 命中率的前提下减少写入量。评测显示其平均将 SSD 寿命延长 7.3 倍，且设计可扩展至 High Bandwidth Flash（HBF）等其他闪存存储。
来源：Reddit · r/LocalLLaMA · reddit.com