Reddit · r/LocalLLaMA· /u/ZenZombie117·· 19 天前AI 评分39
Strata、llama 与 runner 的 MTP head 测试分享
I was doing some testing on Strata. vs llama vs. runner and was missing something
来源与原文
Reddit · r/LocalLLaMA
作者:/u/ZenZombie117
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x102lo/i_was_doing_some_testing_on_strata_vs_llama_vs/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit 用户测试发现,Strata 的部分速度来自 MTP head。他为 ISTA-DASLab 的 GGUF 制作了对应的 MTP head,并给自己的量化版本也做了一个,llama 因此获得明显速度提升;Qwen3.8-Flash-Next-GSQ-RCO-GGUF 搭配 MTP header 后 llama 也有改进,但 Strata 仍远快于 llama。runner 仍需架构改进,作者已公开这些 MTP head 供他人使用。
来源:Reddit · r/LocalLLaMA · reddit.com