Reddit · r/LocalLLaMA· /u/Aggravating-Push-207·· 15 天前AI 评分12
Ornith-1.5-9B 开启 MTP 后生成速度反而比标准 decode 慢一倍是为什么
Why is MTP slower than standard decode?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Aggravating-Push-207
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x42lp3/why_is_mtp_slower_than_standard_decode/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 LocalLLaMA 用户在 llama.cpp 上运行 Ornith-1.5-9B（GGUF）时发现，启用 draft-mtp 的投机解码后只有约 15 tok/s TG 和 200 tok/s PP，而不开 MTP 时速度翻倍。尽管草稿接受率达 0.95、平均长度 2.27，开启 MTP 后显存带宽和 GPU 利用率却降了一半，原因尚待解答。
来源：Reddit · r/LocalLLaMA · reddit.com