跳到正文
我的
GitHub · 去对齐工具与仓库·· 10 小时前精选AI 评分60

llgenie 开源:按本机显存自动挑选并部署本地 LLM,提供 OpenAI 兼容端点

asimov-agent/llgenie

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/asimov-agent/llgenie

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

asimov-agent 发布开源工具 llgenie,基于 trending-local-llms 的 registry 为本机显卡自动排序模型与推理引擎,下载合适的量化文件并在 http://127.0.0.1:11434/v1 以 OpenAI 兼容别名 llm-local 提供服务。支持 llama.cpp、Prism、vLLM、Ollama、SGLang、MLX、TensorFold 等引擎,Linux 通过容器镜像运行、Apple Silicon 走原生 Metal 路径;提供 --matrix、--download-top-tier 等命令按 VRAM 与内存预算选量化,并用针对实测数据与 HF 链接的测试套件保障选型结果。

推荐理由

这个工具根据显存和内存实测数据自动挑选模型、量化与推理引擎,选型规则写得很细,适合想本地跑模型的读者参考。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。