GitHub · 灵魂体仓库·· 18 天前AI 评分34
local-llm-lab:为本地运行 AI 模型规划硬件的开源工具
tandatthach1/local-llm-lab
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/tandatthach1/local-llm-lab
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 local-llm-lab 是一款帮助用户在购买硬件前规划本地运行 AI 模型配置的测试工具,支持高性能 Mac 统一内存和使用 NVIDIA 显卡的 Linux 系统。它通过 benchmark 测出系统每秒生成 token 数,并与不同模型规模的内存需求对比——模型分为 Small(7B)、Medium(14B-30B)、Large(70B 及以上)三档。工具要求 Windows 10/11、最低 16GB 内存和 10GB 磁盘空间,从 releases 页面下载安装,下载后可离线使用,且不收集用户数据。
来源:GitHub · 灵魂体仓库 · github.com