GitHub · 灵魂体仓库·· 18 天前精选AI 评分74
LocalAI 团队发布 C++ 推理引擎 vllm.cpp：66 MiB 部署对标 vLLM
localai-org/vllm.cpp
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/localai-org/vllm.cpp
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LocalAI 团队发布从零编写的 C++20 推理引擎 vllm.cpp，无 Python 与 PyTorch 依赖，二进制仅 66 MiB，对比 vLLM 9.1 GiB 安装约省 140 倍。在 GB10 上 Qwen3.6-27B NVFP4 输出与 vLLM token 级一致，c1 吞吐 86.05 vs 82.32 tok/s，峰值内存 24.88 GiB vs 28.18 GiB；支持 CUDA/CPU/Metal/Vulkan、44 种架构、GGUF 压缩块直接计算和 MTP、DFlash 等投机解码。项目处于重度开发期，多数架构速度验证仍标记为 speed-pending，llama.cpp 对照数据基于已被取代的 fork，待重测。
推荐理由
LocalAI 团队的 C++20 推理引擎，README 给出了与 vLLM、llama.cpp、MLX-LM 的逐项对照数据和明确的 speed-pending 标注，可了解无 Python 推理栈的真实水平。
来源：GitHub · 灵魂体仓库 · github.com