跳到正文
Hugging Face · 新模型:abliterated·· 3 天前AI 评分27

Flint-40B-A2.5B Abliterated FP8 校准量化版在 Hugging Face 发布

cbert33/Flint-40B-A2.5B-Abliterated-FP8-Calibrated

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/cbert33/Flint-40B-A2.5B-Abliterated-FP8-Calibrated

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

cbert33 在 Hugging Face 发布 Flint-40B-A2.5B Abliterated 的 FP8 校准量化版本,基于 dima6312/Flint-40B-A2.5B-abliterated,采用 LLM Compressor FP8_DYNAMIC 格式,含 36,439 个量化权重张量、295 个 BF16 保护张量和 98 个校准 BF16 KV scales(覆盖 49 个注意力层)。校准使用 HuggingFaceH4/ultrachat_200k 的 train_sft 前 512 行(543,281 tokens)。该模型仅限研究用途,未经生产验证,端到端生成质量与 benchmark 未测试。

来源:Hugging Face · 新模型:abliterated · huggingface.co