windowsxp811203 发布 Qwen3.8-Flash-Next 调优 MTP 版
先了解这件事
windowsxp811203 发布了 Qwen3.8-Flash-Next-Abliterated-NVFP4-TunedMTP,在去对齐的 NVFP4 权重上只替换了 MTP 头的 26 个稠密张量,其余权重与公开 checkpoint 逐字节一致。 据发布说明,在单张 H200、vLLM 0.32.0、k=6 加 FP8 draft LM head 的设置下,13 个套件全部快于公开 checkpoint 自带 MTP 头的最佳 k,几何平均提速 9.8%,最差套件 +5.5%;相对 k=3,中文对话 +10%、其余套件 +32%。该头基于 doth4580 的 DotH MTP 头继续训练,相对 DotH-b 在中文对话上再提升约 2.7%,其余约 0.5%,k=5 未通过预注册检查。 使用 FP8 draft head 需设置 VLLM_USE_V2_MODEL_RUNNER=1,并需要 sm_89 或更新的 GPU;申请访问需提交 Hugging Face 用户名和邮箱,接受条款后自动获批。将模型用于 Model-as-a-Service 或 AI Work Assistant 业务需另行获得 Qwen 商业许可,内部使用且模型、输出和能力不触达第三方则可豁免。
AI 根据报道生成 · 5 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face · 新模型:abliterated精选windowsxp811203 发布 Qwen3.8-Flash-Next-Abliterated-NVFP4-TunedMTP 调优 MTP 头
windowsxp811203 发布了 Qwen3.8-Flash-Next-Abliterated-NVFP4-TunedMTP,在去对齐的 NVFP4 权重上只替换了 MTP 头的 26 个稠密张量,其余权重与公开 checkpoint 逐字节一致。在单张 H200、vLLM 0.32.0、k=6 加 FP8 draft LM head 的设置下,13 个套件全部快于公开 checkpoint 自带 MTP 头的最佳 k,几何平均提速 9.8%,最差套件 +5.5%;相对 k=3 中文对话 +10%、其余套件 +32%。该头基于 doth4580 的 DotH MTP 头继续训练,相对 DotH-b 在中文对话上再提升约 2.7%,其余约 0.5%,k=5 未通过预注册检查。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 811月6日 12:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。