跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分46

TernixEngine:面向 1.58-bit 三值 LLM 推理的 CPU/GPU GEMM 内核库

Quiet-Intelligence/TernixEngine

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Quiet-Intelligence/TernixEngine

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

TernixEngine 是一个 C++20/CUDA 内核库,针对 1.58-bit(三值)LLM 推理的核心运算,将 int8 激活与仅含 {-1, 0, +1}、每值 2 bit 的权重相乘,内核全程不解包权重、不做乘法。CPU(AVX2)在 256-bit 寄存器内解码权重,GPU(CUDA)采用 64x64x64 分块与 cp.async 双缓冲流水线,所有内核均与独立整数 GEMM 做逐位校验。项目提供 NumPy 友好的 Python API,采用 Elastic License 2.0,目前仍是内核库,量化器与模型加载器尚为 stub。

来源:GitHub · 去对齐工具与仓库 · github.com