Hugging Face · 趋势模型·· 4 天前精选AI 评分75
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder 压缩版 GGUF,剪掉一半专家后仅 1.05 bpw
ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO Coder GGUF 压缩版,通过 RCO 剪掉每层 384 个专家中的 192 个,剩余权重保留 IQ2_XXS 量化,等效 1.05 bpw,Transformer 权重从 138.2 GB 降到 72.1 GB。评测显示 LiveCodeBench v6 保留基线 98.7%、SWE-bench Verified 保留 94.8%,能力损失主要在代码、Agent 工具调用、长上下文和视觉之外的方向,需 llama.cpp b11870 或以上版本运行。
推荐理由
原文给出了剪枝加量化的具体方法与 SWE-bench、LiveCodeBench 的前后保留率,可以据此评估极端压缩在代码场景的代价。
来源:Hugging Face · 趋势模型 · huggingface.co
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。