Reddit · r/LocalLLaMA· /u/abarth23·· 1 小时前精选AI 评分61
作者推出计入 KV cache 的 LLM 显存计算器
Got tired of spreadsheets not accounting for KV Cache at 64k/128k context, so I put together a simple VRAM calculator
来源与原文
Reddit · r/LocalLLaMA
作者：/u/abarth23
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xfvig6/got_tired_of_spreadsheets_not_accounting_for_kv/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由
针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。
来源：Reddit · r/LocalLLaMA · reddit.com