GitHub · 去对齐工具与仓库·· 18 天前AI 评分46
TernixEngine:面向 1.58-bit 三值 LLM 推理的 CPU/GPU GEMM 内核库
Quiet-Intelligence/TernixEngine
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Quiet-Intelligence/TernixEngine
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
TernixEngine 是一个 C++20/CUDA 内核库,针对 1.58-bit(三值)LLM 推理的核心运算,将 int8 激活与仅含 {-1, 0, +1}、每值 2 bit 的权重相乘,内核全程不解包权重、不做乘法。CPU(AVX2)在 256-bit 寄存器内解码权重,GPU(CUDA)采用 64x64x64 分块与 cp.async 双缓冲流水线,所有内核均与独立整数 GEMM 做逐位校验。项目提供 NumPy 友好的 Python API,采用 Elastic License 2.0,目前仍是内核库,量化器与模型加载器尚为 stub。
来源:GitHub · 去对齐工具与仓库 · github.com