跳到正文
GitHub · 灵魂体仓库·· 18 天前AI 评分34

local-llm-lab:为本地运行 AI 模型规划硬件的开源工具

tandatthach1/local-llm-lab

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/tandatthach1/local-llm-lab

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 local-llm-lab 是一款帮助用户在购买硬件前规划本地运行 AI 模型配置的测试工具,支持高性能 Mac 统一内存和使用 NVIDIA 显卡的 Linux 系统。它通过 benchmark 测出系统每秒生成 token 数,并与不同模型规模的内存需求对比——模型分为 Small(7B)、Medium(14B-30B)、Large(70B 及以上)三档。工具要求 Windows 10/11、最低 16GB 内存和 10GB 磁盘空间,从 releases 页面下载安装,下载后可离线使用,且不收集用户数据。

来源:GitHub · 灵魂体仓库 · github.com