跳到正文
Reddit · r/LocalLLaMA· /u/ZenZombie117·· 19 天前AI 评分39

Strata、llama 与 runner 的 MTP head 测试分享

I was doing some testing on Strata. vs llama vs. runner and was missing something

来源与原文

Reddit · r/LocalLLaMA

作者:/u/ZenZombie117

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x102lo/i_was_doing_some_testing_on_strata_vs_llama_vs/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位 Reddit 用户测试发现,Strata 的部分速度来自 MTP head。他为 ISTA-DASLab 的 GGUF 制作了对应的 MTP head,并给自己的量化版本也做了一个,llama 因此获得明显速度提升;Qwen3.8-Flash-Next-GSQ-RCO-GGUF 搭配 MTP header 后 llama 也有改进,但 Strata 仍远快于 llama。runner 仍需架构改进,作者已公开这些 MTP head 供他人使用。

来源:Reddit · r/LocalLLaMA · reddit.com