GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分70
DynaLM 开源纯 CPU 大模型推理引擎，支持 GGUF 与 OpenAI 兼容 API
dynalm-project/dynalm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/dynalm-project/dynalm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
DynaLM 开源了一个无需 GPU 和 Python 的 C++20 大模型推理引擎，可在普通 CPU 上运行 Llama、Qwen、Gemma、Phi、Mistral、Granite 及 Mixtral 等 MoE 模型，支持 GGUF、Hugging Face SafeTensors 和 GPTQ/AWQ 格式，提供 OpenAI 兼容 API 服务器，采用 Apache-2.0 许可。
推荐理由
原文给出了与 llama.cpp 的吞吐对比和并发首 token 延迟数据，读者可以据此评估这个纯 CPU 推理引擎是否适合多用户场景。
来源：GitHub · 去对齐工具与仓库 · github.com