Reddit · r/LocalLLaMA· /u/jomi-se·· 22 小时前AI 评分36
理解 llama.cpp 中滑动窗口注意力模型的 Context Checkpoints
Understanding llama.cpp Context Checkpoints for Sliding Window Attention Models
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jomi-se
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xjr54i/understanding_llamacpp_context_checkpoints_for/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在跑 Gemma 4 12B 时遇到 llama.cpp 的 OOM 崩溃，原因是 context checkpoints 堆积耗尽了 RAM 而非 VRAM。默认每个 slot 在 RAM 中保留 32 个 checkpoint，每个 320MiB，超出其 16 GB 内存；在其简单对话续写负载下 4 个 checkpoint 通常就够用。Checkpoints 是滑动窗口值在关键位置的快照，可减少回溯对话时对 token KV 值的重算。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。