arXiv · cs.AI· Hanzhi Zhang·· 1 天前AI 评分46
TriAttention：面向长上下文 LLM 推理的统一稀疏混合精度注意力
TriAttention: Unified Sparse Mixed-Precision Attention for Long-Context LLM Inference
来源与原文
arXiv · cs.AI
作者：Hanzhi Zhang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07256v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
TriAttention 将 query-key tile 分为跳过、4-bit 与 8-bit 三档计算，用两条对角距离边界编码每个 head 的计算区域，使策略存储不随上下文长度增长。离线校准按归一化投影输出误差与完整 tile 执行成本选择边界，在共享计算预算下最小化误差；prefill 阶段生成的量化 key/value 复用于压缩 KV cache 供解码。实验显示端到端生成相对 Torch attention 最高 7.88x、相对 BF16 基线 2.65x 加速，并在通用与长上下文任务上保持与原模型相当的质量。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。