Reddit 用户发布计入 KV cache 的 LLM 显存计算器

1. 20:32
   Reddit · r/LocalLLaMA精选

   作者推出计入 KV cache 的 LLM 显存计算器

   /u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。