GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分67
nmesh 发布：本地 LLM 硬件自动检测与运行管理工具
shizukutanaka/n-
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/shizukutanaka/n-
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 用户 shizukutanaka 发布 nmesh，一个本地 LLM 的硬件自动检测、模型选择、内存估算与运行管理工具，通过 3 条命令安装后提供 OpenAI 兼容 API（http://127.0.0.1:18000/v1）。工具按 VRAM 将硬件分为 T0_CPU 到 T5_SERVER 六档，支持 Ollama、llama.cpp、vLLM、MLX-LM 后端，无 llama.cpp 时可自动获取托管引擎和模型。
推荐理由
作者用实测数据支撑工具的每个判断，包括 KV cache 精度、量化阶梯和 prompt cache 污染的对照测量，方法本身可迁移。
来源：GitHub · 去对齐工具与仓库 · github.com