arXiv · cs.CL· Ning Zhang·· 6 天前精选AI 评分52
BitMTP 提出面向超低比特大语言模型的多 token 预测加速框架
BitMTP: When Multi-Token Prediction Meets Low-Bit Large Language Models
来源与原文
arXiv · cs.CL
作者：Ning Zhang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.28500v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
BitMTP 提出算法与系统协同设计框架，在超低比特 LLM 骨干上实现高效多 token 预测（MTP），已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting，并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速，1.7B-4B Bonsai 模型为 2.1-2.4x，RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x，代码已开源。
推荐理由
论文把多 token 预测与超低比特量化结合，给出跨 GPU 的实测加速比，方法与系统设计都可参考。
来源：arXiv · cs.CL · arxiv.org