GitHub · 灵魂体仓库·· 20 天前AI 评分72
bankML 发布零依赖 Rust 推理运行时,1-bit 与三值模型对 llama.cpp 位精确且更快
cryptoAGI/bankml
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/cryptoAGI/bankml
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
cryptoAGI 发布 bankML v0.3.6,一个零依赖 Rust 运行时,用于在普通 CPU 上运行 1-bit 和三值语言模型,对 llama.cpp b11192 逐 token 位精确。针对 llama.cpp 缺少 Q2_0 三值向量化内核的问题,其内核在 8.19B 权重全量验证下每矩阵快 9.4–10.0 倍;三值模型端到端 2.3–2.4 tokens/s 对 llama-server 的 0.30。支持 OpenAI 与 Ollama 兼容 API、sha256 校验与响应回执,8B 三值模型 2.31 GB 可在 6 GB 笔记本上运行,项目为 MIT OR Apache-2.0 许可。
来源:GitHub · 灵魂体仓库 · github.com