Hugging Face · 新模型：abliterated·· 10 天前AI 评分34
humanizer-abliterated INT8 W8A8 量化版发布：11.96B 模型体积降至 BF16 的 54%
moeshawky/humanizer-abliterated-INT8-W8A8
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/moeshawky/humanizer-abliterated-INT8-W8A8
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
moeshawky 发布 distributedcognition/humanizer-abliterated 的 INT8 W8A8 动态量化版，基于 llmcompressor 对 11.96B 参数模型中的 328 个语言模型线性层做 8-bit 量化，体积从 23.92 GB 降至 13.02 GB（54.4%），embedding 与 lm_head 保持 BF16。实测 INT8 权重 SNR 约 39.9 dB，logits 分布与 BF16 源一致；未做 MMLU 重评与吞吐测试。模型可直接在 vLLM、SGLang 或 Transformers 中加载，采用 apache-2.0 许可。
来源：Hugging Face · 新模型：abliterated · huggingface.co