Reddit · r/LocalLLaMA· /u/fulgencio_batista·· 12 天前精选AI 评分63
Telperion 发布 Qwen3.8-27B 潜在注意力变体,KV cache 压缩 4 倍
New model from Telperion: Qwen3.8-27B-MLA & Qwen3.8-27B-GLA-g2. 4x smaller KV cache, smarter, and more efficient reasoning.
来源与原文
Reddit · r/LocalLLaMA
作者:/u/fulgencio_batista
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x5wcnz/new_model_from_telperion_qwen3827bmla/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Telperion 发布 Qwen3.8-27B 的潜在注意力变体 MLA 和 GLA-g2,将 KV cache 压缩 4 倍,可在消费级硬件上实现近 4 倍最大上下文或近 4 倍并发提升。其中 MLA 变体在 SWE-bench Verified(zero-shot、无工具、n>1500)上得分 42.1%,较原版 39.5% 提升 6.58%,推理 token 减少最多 20%;GLA-g2 面向双 GPU 用户,TP=1 和 TP=2 下均实现 4 倍压缩。
推荐理由
原文给出了 KV 压缩倍率、SWE-bench 分数和量化后 top-1 分歧率的具体数据,可用作判断 latent attention 变体实际收益的参考。
来源:Reddit · r/LocalLLaMA · reddit.com