跳到正文
我的
Hugging Face · 新模型:abliterated·· 10 小时前精选AI 评分62

windowsxp811203 发布 Qwen3.8-Flash-Next-Abliterated-NVFP4-TunedMTP 调优 MTP 头

windowsxp811203/Qwen3.8-Flash-Next-Abliterated-NVFP4-TunedMTP

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/windowsxp811203/Qwen3.8-Flash-Next-Abliterated-NVFP4-TunedMTP

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

windowsxp811203 发布了 Qwen3.8-Flash-Next-Abliterated-NVFP4-TunedMTP,在去对齐的 NVFP4 权重上只替换了 MTP 头的 26 个稠密张量,其余权重与公开 checkpoint 逐字节一致。在单张 H200、vLLM 0.32.0、k=6 加 FP8 draft LM head 的设置下,13 个套件全部快于公开 checkpoint 自带 MTP 头的最佳 k,几何平均提速 9.8%,最差套件 +5.5%;相对 k=3 中文对话 +10%、其余套件 +32%。该头基于 doth4580 的 DotH MTP 头继续训练,相对 DotH-b 在中文对话上再提升约 2.7%,其余约 0.5%,k=5 未通过预注册检查。

推荐理由

作者给出了13个套件的TPOT与接受长度对比和预注册判定规则,读者可据此判断这个调优MTP头在vLLM投机解码下究竟快了多少。

来源:Hugging Face · 新模型:abliterated · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。