GitHub · 去对齐工具与仓库·· 20 天前AI 评分23
PNMix:低比特 key-cache 混合精度量化方法开源仓库
intelli-jsong/PNMix
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/intelli-jsong/PNMix
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 intelli-jsong/PNMix 介绍 PN-Mix,一种低比特 key-cache 量化方法,通过在 RoPE 通道对之间进行输入自适应的混合精度分配实现准确量化,其精度分配由 prefill 阶段一次性计算的 query–key 范数引导。代码发布时间待定。
来源:GitHub · 去对齐工具与仓库 · github.com