GitHub · 去对齐工具与仓库·· 8 天前精选AI 评分62
Kindi 0.1.0 发布：在 Quadro K420 上以 20+ tokens/s 运行三值权重模型 Ternary-Bonsai-2-2B
ahtx/kindi
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ahtx/kindi
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Amir Husain 发布自定义推理引擎 Kindi 0.1.0，可在 NVIDIA Quadro K420（Kepler，1 GB）上以 20-23 tokens/s 运行 2B 参数三值权重模型 Ternary-Bonsai-2-2B，而 llama.cpp 在同卡仅 2.8 tokens/s，约快 7 倍。默认输出与 llama.cpp 逐 token 一致，提供 OpenAI 兼容服务器、fast 短名单输出头（快约 15%，99.4% 与全量头一致）、每 256 token 检查点的精确 prompt 缓存，支持工具调用与 thinking；AGPL-3.0 许可，模型来自 Prism ML（Apache 2.0，基座为 Qwen3.5-2B）。
推荐理由
作者给出与 llama.cpp 逐 token 一致的验证结果和同卡对比数据，读者可以据此评估这个推理引擎在老 GPU 上的实际收益。
来源：GitHub · 去对齐工具与仓库 · github.com