Hugging Face · 新模型：abliterated·· 4 小时前AI 评分51
Flint-40B-A2.5B-abliterated 发布 REAP-224 剪枝 4-bit 版
RinneCODER/Flint-40B-A2.5B-abliterated-REAP224-Rec-4bit
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/RinneCODER/Flint-40B-A2.5B-abliterated-REAP224-Rec-4bit
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
RinneCODER 发布 Flint-40B-A2.5B-abliterated 的 REAP-224 Rec 4-bit 版，在每层 MoE 用 REAP（按路由权重的专家激活剪枝）从 256 个路由专家中移除 32 个，体积缩小约 12%（19 GB 对 21 GB）。在 M5 Pro Mac 24 GB 上用 Locals SSD 专家流式加载实测：HumanEval+ 40 题同为 35/40，DFlash 2 开启时解码从 30.1/34.5 提升到 36.8/36.8 tok/s，对 256 专家版的 KL 为 0.92、Top-1 一致率 78.0%。
来源：Hugging Face · 新模型：abliterated · huggingface.co