GitHub · 灵魂体仓库·· 17 天前精选AI 评分59
Model Fit Explorer 开源跨平台桌面应用,检测硬件并估算本地大模型能否跑得动
maninka123/local-llm-fit
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/maninka123/local-llm-fit
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Pasindu Ranasinghe 在 GitHub 开源了 Model Fit Explorer,一款跨平台桌面应用,自动检测 Windows、macOS 和 Linux 硬件,估算 430 多个 Ollama 模型变体在 GPU VRAM、系统内存或统一内存中的占用,并给出从 Fully GPU 到 Cannot fit 的七档适配分类。估算包含权重、KV cache、缓冲区等项,不做虚构 tok/s 数字,可用 Ollama 实测对比,支持离线使用,无遥测,MIT 许可,从 Releases 下载 .dmg、.msi/.exe、.AppImage/.deb 等安装包。
推荐理由
原文给出了显存的估算公式与七档适配分类,读者可以据此判断本地能否跑动某个模型,而不是只拿到一个笼统结论。
来源:GitHub · 灵魂体仓库 · github.com