Flint-40B-A2.5B Abliterated FP8 校准量化版在 Hugging Face 发布
cbert33 在 Hugging Face 发布 Flint-40B-A2.5B Abliterated 的 FP8 校准量化版本,基于 dima6312/Flint-40B-A2.5B-abliterated,采用 LLM Compressor FP8_DYNAMIC 格式,含 36,439 个量化权重张量、295 个 BF16 保护张量和 98 个校准 BF16 KV scales(覆盖 49 个注意力层)。校准使用 HuggingFaceH4/ultrachat_200k 的 train_sft 前 512 行(543,281 tokens)。该模型仅限研究用途,未经生产验证,端到端生成质量与 benchmark 未测试。