Hugging Face · 新模型：abliterated·· 10 天前AI 评分28
Hemmingway-1-27B-abliterated 的 INT8 W8A8 量化版发布
moeshawky/Hemmingway-1-27B-abliterated-INT8-W8A8
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/moeshawky/Hemmingway-1-27B-abliterated-INT8-W8A8
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 INT8 W8A8 动态量化版，基于 27.32B 参数的 BF16 原模型，体积从 54.64 GB 降至 30.30 GB（55.5%），仅量化语言模型解码器中的 496 个 linear 层，lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 INT8 权重 SNR 约 39.6–40.8 dB，logits 分布接近原模型；可直接在 vLLM、SGLang 或 Transformers 中加载，尚未做 benchmark、吞吐或消融鲁棒性测试，许可证为 apache-2.0。
来源：Hugging Face · 新模型：abliterated · huggingface.co