作者推出计入 KV cache 的 LLM 显存计算器
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器,主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算,按目标上下文长度与缓存精度(FP16 或 FP8/Q4 cache)动态估算 KV cache,加上约 1-1.5 GB 的 CUDA 运行时与系统开销,并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度,32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由:针对常见显存计算器只算权重忽略 KV cache 的痛点,按上下文长度和缓存精度补全估算并给出 GPU 配置建议。