跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分23

PNMix:低比特 key-cache 混合精度量化方法开源仓库

intelli-jsong/PNMix

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/intelli-jsong/PNMix

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 intelli-jsong/PNMix 介绍 PN-Mix,一种低比特 key-cache 量化方法,通过在 RoPE 通道对之间进行输入自适应的混合精度分配实现准确量化,其精度分配由 prefill 阶段一次性计算的 query–key 范数引导。代码发布时间待定。

来源:GitHub · 去对齐工具与仓库 · github.com