HauhauCS 发布 Qwen3.8-27B Aggressive 无对齐 GGUF 量化版并附带 FastMTP 加速方案
HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列,实测拒绝率 0/465,保留文本、推理、Agent 及图像视频能力。全套量化提供 K_P 自定义档位,附带的 FastMTP 32K 加速 sidecar 相比无 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG,比内嵌 MTP 最高快 35.2%/21.1%,实测基于 RTX PRO 6000 Blackwell 96GB。需配套 llama.cpp 补丁,vision 需单独 BF16 projector,原生上下文 262,144 token,可扩展至 1,000,000。
推荐理由:原文给出了0/465拒绝实测和完整量化档位的MTP加速对比数据,读者可据此判断去对齐程度和各档位实际推理速度。