Hugging Face · 新模型:abliterated·· 10 天前AI 评分36
humanizer-abliterated 11.96B 模型的 FP8-DYNAMIC 量化版发布
moeshawky/humanizer-abliterated-FP8-DYNAMIC
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/moeshawky/humanizer-abliterated-FP8-DYNAMIC
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
moeshawky 发布 distributedcognition/humanizer-abliterated(11.96B 参数,Gemma4UnifiedForConditionalGeneration 架构)的 FP8-DYNAMIC 量化版,体积 13.02 GB,为 BF16 原版的 54.4%,仅对 328 个语言模型 linear 层做 E4M3 权重与动态激活量化,嵌入、lm_head 及视觉/音频模块保持 BF16。该版本经结构验证可运行,可在 vLLM、SGLang 或 Transformers 中直接加载,但未做 benchmark,无 perplexity 或吞吐数据。许可证为 apache-2.0,需遵守上游基础模型的附加条款。
来源:Hugging Face · 新模型:abliterated · huggingface.co