Hugging Face · 新模型：abliterated·· 8 天前AI 评分50
RTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比
Davidmg0815/Qwen3.8-27B-abliterated-RTX3080-MTP-benchmarks
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Davidmg0815/Qwen3.8-27B-abliterated-RTX3080-MTP-benchmarks
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本，仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快（代码 69.4 tok/s、散文 58.2 tok/s，比 Huihui 快约 5–7%），德语困惑度略低，通过 88.6K 上下文与全部 6 项工具调用测试，但多占 1.1 GB 显存导致 n-max 3 无法启动；MTP 草稿深度 n-max 2 是综合最优设置，MTP 对 prefill 无帮助反而约损失 5%。
来源：Hugging Face · 新模型：abliterated · huggingface.co