GitHub · 灵魂体仓库·· 20 天前精选AI 评分67
Agave：纯 Zig 编写的无依赖 LLM 推理引擎
maci0/agave
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/maci0/agave
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
maci0 发布了用 Zig 编写的 LLM 推理引擎 Agave，所有内核、量化器、tokenizer 和模型实现都在仓库内，不依赖任何外部 ML 库，仅需一个 Zig 编译器即可构建。支持 7 种模型架构、6 种后端、20+ 量化类型和分布式推理，Qwen3.5 0.8B Q8_0 在 M4 Pro Metal 上达约 125 tok/s。项目处于 0.x 阶段，AMD RX 7900 XTX 上 ROCm 和 Vulkan 后端存在输出错误的已知缺陷，llama.cpp 的模型覆盖面仍更广。
推荐理由
作者用 Zig 从零实现全部内核并给出与 llama.cpp 的对比数据，同时坦承 ROCm 和 Vulkan 存在正确性缺陷，适合想读无依赖推理引擎代码的人。
来源：GitHub · 灵魂体仓库 · github.com