Reddit 用户分享 SSD KV cache 卸载论文 Gandalf
热点事件观察中
Reddit 用户分享 SSD KV cache 卸载论文 Gandalf
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Reddit 用户 /u/ThePrimeClock 在 r/LocalLLaMA 分享了一篇 arXiv 论文 Gandalf (2610.30791)，关注 LLM 服务中 KV cache 写入 SSD 造成的磨损问题。 论文提出 Gandalf，称为首个具备 SSD 寿命感知的 KV cache 卸载系统，通过优先将 full-attention KV cache 写入 SSD 来减少写入量，且不牺牲 cache 命中率。评测显示平均可将 SSD 寿命延长 7.3 倍，设计还可扩展至 HBF 等其他闪存存储。这些为论文自述的结论，分享者称该论文凸显了 KV cache IO 带来的 SSD 磨损。
AI 根据报道生成 · 1 天前更新
最新进展10月26日 08:46
Gandalf：面向 LLM 服务中 KV cache 卸载的 SSD 寿命优化方案报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- Reddit · r/LocalLLaMAGandalf：面向 LLM 服务中 KV cache 卸载的 SSD 寿命优化方案
论文提出 Gandalf，首个具备 SSD 寿命感知的 KV cache 卸载系统，通过优先将 full-attention KV cache 写入 SSD，在不牺牲 cache 命中率的前提下减少写入量。评测显示其平均将 SSD 寿命延长 7.3 倍，且设计可扩展至 High Bandwidth Flash（HBF）等其他闪存存储。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 1010月26日 10:00
- 近 24 小时变化
- -50%
02.557.510
12:0018:0010月27日06:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。