Hugging Face · 新模型:abliterated·· 3 天前AI 评分34
Flint-40B-A2.5B FP8 去审查版(Abliterated)量化模型发布
cbert33/Flint-40B-A2.5B-FP8-Abliterated-Calibrated
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/cbert33/Flint-40B-A2.5B-FP8-Abliterated-Calibrated
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Hugging Face 上发布 Flint-40B-A2.5B 的 abliterated 去审查版 FP8 量化模型,采用 LLM Compressor FP8_DYNAMIC 格式,保留 295 个 BF16 保护张量,并用 98 个校准 BF16 KV scale 覆盖全部 49 个注意力层。校准基于 HuggingFaceH4/ultrachat_200k 数据集 train_sft 前 512 行样本(共 543,281 token),上游 abliteration 已减少拒答行为,输出仍应视为不可信。该模型仅供研究用途,GPU 推理与 benchmark 尚未验证。
来源:Hugging Face · 新模型:abliterated · huggingface.co