Reddit · r/LocalLLaMA· /u/Psychological_Lab955·· 21 天前精选AI 评分62
Kolibri-1 78B-A3.5B 被压至 20.9 GiB / 2.30 bpw，KL 散度比标准 IQ2_XS 低约 59%
I squeezed Kolibri-1 78B-A3.5B to 20.9 GiB / 2.30 bpw — 59% lower KL than standard IQ2_XS
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Psychological_Lab955
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wyeanf/i_squeezed_kolibri1_78ba35b_to_209_gib_230_bpw_59/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 Aleph Alpha Kolibri-1（约 78B MoE、每 token 约 3.5B 激活参数）的 Sakura-MicroQuality IQ2_XS GGUF 量化版。
推荐理由
作者给出了基于张量敏感度分配比特位的量化方法，并用 KL 散度和 top-token 一致率与标准 IQ2_XS 做了对照。
来源：Reddit · r/LocalLLaMA · reddit.com