GitHub · 灵魂体仓库·· 3 天前精选AI 评分66
skuld:按模型架构估算推理所需显存的 LLM 内存计算器
michaeldtimpe/skuld
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/michaeldtimpe/skuld
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
michaeldtimpe 在 GitHub 开源了 LLM 内存计算器 skuld(在线版 skuld.zoleb.com),输入模型名即可估算推理所需的 VRAM 或统一内存。它按注意力类型和 MoE 拓扑分支计算 KV cache,而非套用单一公式,例如 DeepSeek 的 MLA 在 32k 上下文 BF16 下 KV 约 2 GiB,朴素计算会高估到约 107 GiB;另处理 GQA、MoE 总参/激活参数、Qwen 3.5/3.6 混合注意力和 Gemma 滑动窗口。
推荐理由
作者解释了为何按注意力类型和 MoE 拓扑分支计算,并给出 MLA 场景下 2 GiB 对 107 GiB 的对照数据,方法可直接复用。
来源:GitHub · 灵魂体仓库 · github.com