跳到正文
Hugging Face · 新模型:abliterated·· 16 天前精选AI 评分79

gyang274 发布 Huihui-Qwen3.8-27B-abliterated-FP8 量化版并验证 abliteration 编辑足迹

gyang274/Huihui-Qwen3.8-27B-abliterated-FP8

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/gyang274/Huihui-Qwen3.8-27B-abliterated-FP8

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

gyang274 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 FP8 量化版,权重为 FP8 E4M3、128×128 分块,保留 MTP head 和 vision tower,检查点 28.75 GiB。与官方 Qwen3.8-27B-FP8 对比只有 70/1,606 张量不同,且全部是写入残差流的 rank-1 编辑;SGLang v0.5.21 评测中 HumanEval 95.7%(官方 98.2%),GSM8K 前 200 题 94.5%(官方 97.5%),15 条易拒 prompt 中 0 拒绝(官方 2 partial),单流解码约 62 tok/s。完整笔记与脚本见 github.com/gyang274/ms-Qwen3.8-27B。

推荐理由

作者量化了去对齐模型并给出与官方权重的逐张量对比和评测数据,读者可以看到去对齐编辑的具体痕迹和性能代价。

来源:Hugging Face · 新模型:abliterated · huggingface.co