Flint-40B-A2.5B FP8 去审查版(Abliterated)量化模型发布
Hugging Face 上发布 Flint-40B-A2.5B 的 abliterated 去审查版 FP8 量化模型,采用 LLM Compressor FP8_DYNAMIC 格式,保留 295 个 BF16 保护张量,并用 98 个校准 BF16 KV scale 覆盖全部 49 个注意力层。校准基于 HuggingFaceH4/ultrachat_200k 数据集 train_sft 前 512 行样本(共 543,281 token),上游 abliteration 已减少拒答行为,输出仍应视为不可信。该模型仅供研究用途,GPU 推理与 benchmark 尚未验证。