跳到正文
Hugging Face · 新模型:uncensored·· 4 天前AI 评分40

m672/gemma-4-31b-it-uncensored-fp8 发布:FP8 块量化版 gemma-4-31B 无审查模型

m672/gemma-4-31b-it-uncensored-fp8

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/m672/gemma-4-31b-it-uncensored-fp8

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

m672 发布 gemma-4-31B-it-uncensored-heretic 的 FP8 块量化版本,模型体积约 31.5 GB,较 BF16 的约 62 GB 减半。与 RedHatAI/gemma-4-31B-it-FP8-block 对比,GSM8k-Platinum 97.68%、MMLU-CoT 89.97%、MMLU-Pro 84.52%,性能差距在 -0.14 至 -0.73 之间。量化采用 llmcompressor 的 FP8_BLOCK 方案,输出 compressed-tensors 格式,可原生用于 vLLM,聊天模板默认 enable_thinking 为 true。

来源:Hugging Face · 新模型:uncensored · huggingface.co