跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分72

bankML 发布零依赖 Rust 推理运行时,1-bit 与三值模型对 llama.cpp 位精确且更快

cryptoAGI/bankml

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/cryptoAGI/bankml

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

cryptoAGI 发布 bankML v0.3.6,一个零依赖 Rust 运行时,用于在普通 CPU 上运行 1-bit 和三值语言模型,对 llama.cpp b11192 逐 token 位精确。针对 llama.cpp 缺少 Q2_0 三值向量化内核的问题,其内核在 8.19B 权重全量验证下每矩阵快 9.4–10.0 倍;三值模型端到端 2.3–2.4 tokens/s 对 llama-server 的 0.30。支持 OpenAI 与 Ollama 兼容 API、sha256 校验与响应回执,8B 三值模型 2.31 GB 可在 6 GB 笔记本上运行,项目为 MIT OR Apache-2.0 许可。

来源:GitHub · 灵魂体仓库 · github.com