Hugging Face · 新模型:uncensored·· 4 天前AI 评分40
m672/gemma-4-31b-it-uncensored-fp8 发布:FP8 块量化版 gemma-4-31B 无审查模型
m672/gemma-4-31b-it-uncensored-fp8
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/m672/gemma-4-31b-it-uncensored-fp8
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
m672 发布 gemma-4-31B-it-uncensored-heretic 的 FP8 块量化版本,模型体积约 31.5 GB,较 BF16 的约 62 GB 减半。与 RedHatAI/gemma-4-31B-it-FP8-block 对比,GSM8k-Platinum 97.68%、MMLU-CoT 89.97%、MMLU-Pro 84.52%,性能差距在 -0.14 至 -0.73 之间。量化采用 llmcompressor 的 FP8_BLOCK 方案,输出 compressed-tensors 格式,可原生用于 vLLM,聊天模板默认 enable_thinking 为 true。
来源:Hugging Face · 新模型:uncensored · huggingface.co