GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分68
1bit engine 开源发布,作为运行在 Lemonade 内的推理引擎
1bit-MONSTER/engine
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/1bit-MONSTER/engine
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
1bit-MONSTER 发布 1bit engine,一个运行在 Lemonade 之内的推理引擎,通过 1bit serve 提供 OpenAI 兼容 API,首个版本于 2026 年 10 月 4 日周日发布,采用 Apache-2.0 许可证。引擎支持多条后端路线:AMD 的 ggml-hrx 加 Loom 内核跑在 Radeon iGPU 的 XDNA 2 NPU 上、llama.cpp 的 CPU 路线、Apple Silicon 上的 MLX(经 lemon-mlx-engine)以及 Lemonade 的 ONNX Runtime GenAI 模型;NPU 与 HRX 均通过 Strix Halo 端到端测试。
推荐理由
原文给出各后端在 Strix Halo 上的实测数据,包括 ZAYA1-8B 约 90 tok/s 解码和模型注册表 94.71% 的映射覆盖率。
来源:GitHub · 去对齐工具与仓库 · github.com