跳到正文
我的
热点事件持续更新

llgenie 开源:按显存自动选模型与引擎并本地起服务

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

开发者 asimov-agent 发布开源工具 llgenie:根据本机显卡显存自动排序本地 LLM 模型与推理引擎,下载合适的量化文件并在本地提供 OpenAI 兼容服务。 工具基于 trending-local-llms 的 registry 进行选型,支持 llama.cpp、Prism、vLLM、Ollama、SGLang、MLX 等引擎;Linux 通过容器镜像运行,Apple Silicon 走原生 Metal 路径。服务地址为 http://127.0.0.1:11434/v1,模型别名 llm-local,上下文长度 65536。项目采用 MIT 许可证,并提供 --matrix、--download-top-tier 等命令按 VRAM 与内存预算选择量化,附有针对实测数据与 HF 链接的测试套件。

AI 根据报道生成 · 11 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月1日
  1. GitHub · 去对齐工具与仓库精选
    llgenie 开源:按本机显存自动挑选并部署本地 LLM,提供 OpenAI 兼容端点

    asimov-agent 发布开源工具 llgenie,基于 trending-local-llms 的 registry 为本机显卡自动排序模型与推理引擎,下载合适的量化文件并在 http://127.0.0.1:11434/v1 以 OpenAI 兼容别名 llm-local 提供服务。支持 llama.cpp、Prism、vLLM、Ollama、SGLang、MLX、TensorFold 等引擎,Linux 通过容器镜像运行、Apple Silicon 走原生 Metal 路径;提供 --matrix、--download-top-tier 等命令按 VRAM 与内存预算选量化,并用针对实测数据与 HF 链接的测试套件保障选型结果。

本事件热度走势

可比范围当前
7
可比范围峰值
1011月1日 21:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。