跳到正文
我的
Hugging Face · 新模型:uncensored·· 16 小时前精选AI 评分63

Qwen3.8-27B-Uncensored FP8 量化版发布,保留视觉塔与 MTP 头

Aki251/archive-pramoths-Qwen3.8-27B-Uncensored-FP8-MTP

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Aki251/archive-pramoths-Qwen3.8-27B-Uncensored-FP8-MTP

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Aki251 在 Hugging Face 发布 pramoths/Qwen3.8-27B-Uncensored 的 FP8(block 128×128, E4M3)量化版本,保留视觉塔和可用的 MTP 推测解码头;去拒绝方向的 abliterated 修改来自上游基座,本仓库仅贡献量化。作者在 H100 47GB vGPU 上用 vLLM 0.27.1 与官方 Qwen3.8-27B-FP8 对比:代码任务 4/5、视觉任务 4/4、MTP 接受率 58% 对 52%、并发 1 时 131 对 132 tok/s,权重约 30 GB,47GB 显存下用 --kv-cache-dtype fp8 可服务约 350k token 上下文。

推荐理由

原文给出与官方 FP8 版的实测对比、硬件兼容表和 vLLM 部署参数,读者可以据此判断是否选用这个量化版本。

来源:Hugging Face · 新模型:uncensored · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。