Aki251 发布 Qwen3.8-27B-Uncensored FP8 量化版
先了解这件事
Aki251 在 Hugging Face 发布 pramoths/Qwen3.8-27B-Uncensored 的 FP8(block 128×128,E4M3)量化版本,保留视觉塔和可用的 MTP 推测解码头。该模型是基于 abliterated(去拒绝)修改的 Qwen3.8-27B,基座为 Apache-2.0 开源;作者说明去拒绝修改来自上游基座,本仓库仅贡献量化。 作者在 H100 47GB vGPU 上用 vLLM 0.27.1 与官方 Qwen3.8-27B-FP8 对比:代码任务 4/5、视觉任务 4/4,MTP 接受率 58% 对官方的 52%,并发 1 时速度 131 对 132 tok/s。权重约 30 GB;作者称 FP8 需要张量核心硬件支持才有意义,在 47GB 显存下配合 --kv-cache-dtype fp8 可服务约 350k token 上下文,262,144 token 满上下文单请求最大并发约 1.3 倍。
AI 根据报道生成 · 16 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face · 新模型:uncensored精选Qwen3.8-27B-Uncensored FP8 量化版发布,保留视觉塔与 MTP 头
Aki251 在 Hugging Face 发布 pramoths/Qwen3.8-27B-Uncensored 的 FP8(block 128×128, E4M3)量化版本,保留视觉塔和可用的 MTP 推测解码头;去拒绝方向的 abliterated 修改来自上游基座,本仓库仅贡献量化。作者在 H100 47GB vGPU 上用 vLLM 0.27.1 与官方 Qwen3.8-27B-FP8 对比:代码任务 4/5、视觉任务 4/4、MTP 接受率 58% 对 52%、并发 1 时 131 对 132 tok/s,权重约 30 GB,47GB 显存下用 --kv-cache-dtype fp8 可服务约 350k token 上下文。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月6日 01:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。