跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分58

nuclis:用 Zig 编写的 Apple Silicon 本地推理引擎连同小型编码 Agent 开源

tildaslashalef/nuclis

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/tildaslashalef/nuclis

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布 nuclis,一个用 Zig 编写、Metal 后端的 Apple Silicon 本地推理引擎,附小型编码 Agent(仓库 https://github.com/tildaslashalef/nuclis)。每层实现先对照固定版本的 llama.cpp 校验,再优化;在 M4 Pro 实测 Qwen3.8-27B 解码比参考快 1.04–1.15 倍,投机解码默认开启最高提速 1.85 倍,另含 Laya 决策模型、clef-flash 与 EmbeddingGemma 2 支持。项目处于 0.x 实验阶段,文档中的数字均为实测值,代码大量借助 AI 编写但过程在 AGENTS.md 中可查。

推荐理由

作者用固定的 llama.cpp 版本逐层校验并给出同机实测数据,读者能直接看到这个 Zig 推理引擎在各模型上与参考实现的差距。

来源:GitHub · 去对齐工具与仓库 · github.com