Hugging Face · 新模型：abliterated·· 10 天前AI 评分33
Hemmingway-1-27B-abliterated FP8-DYNAMIC 量化版发布
moeshawky/Hemmingway-1-27B-abliterated-FP8-DYNAMIC
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/moeshawky/Hemmingway-1-27B-abliterated-FP8-DYNAMIC
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 FP8-DYNAMIC 8-bit 量化版，基于 27.32B 参数的 BF16 原模型，体积从 54.64 GB 降至 30.30 GB（55.5%）。仅量化语言模型解码器内 496 个 linear 层权重（F8_E4M3、per-channel 对称），激活为 per-token 动态量化，lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 FP8 权重 SNR 约 31.6 dB，可在 vLLM、SGLang 或 Transformers 直接加载，未做 benchmark。
来源：Hugging Face · 新模型：abliterated · huggingface.co