GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分72
Hermes CPU 推理网关发布：纯 CPU 与内存运行 LLM，兼容 OpenAI API
dlroqa/Lightweight
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/dlroqa/Lightweight
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 dlroqa/Lightweight 发布 Hermes CPU Inference Gateway，一个仅依赖 CPU 和内存的本地 LLM 推理平台，提供 OpenAI 兼容网关、GGUF 模型管理和桌面 UI，全程不使用 GPU。
推荐理由
原文给出了实测细节，包括无 GPU 的 CPU 推理网关在 Qwen3-1.7B 上跑通完整 agent 循环，以及调度与内存准入的具体设计。
来源：GitHub · 去对齐工具与仓库 · github.com