跳到正文
Hugging Face · 新模型:abliterated·· 10 天前AI 评分36

humanizer-abliterated 11.96B 模型的 FP8-DYNAMIC 量化版发布

moeshawky/humanizer-abliterated-FP8-DYNAMIC

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/moeshawky/humanizer-abliterated-FP8-DYNAMIC

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

moeshawky 发布 distributedcognition/humanizer-abliterated(11.96B 参数,Gemma4UnifiedForConditionalGeneration 架构)的 FP8-DYNAMIC 量化版,体积 13.02 GB,为 BF16 原版的 54.4%,仅对 328 个语言模型 linear 层做 E4M3 权重与动态激活量化,嵌入、lm_head 及视觉/音频模块保持 BF16。该版本经结构验证可运行,可在 vLLM、SGLang 或 Transformers 中直接加载,但未做 benchmark,无 perplexity 或吞吐数据。许可证为 apache-2.0,需遵守上游基础模型的附加条款。

来源:Hugging Face · 新模型:abliterated · huggingface.co