跳到正文
我的
Hugging Face · 趋势模型·· 4 天前精选AI 评分75

ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder 压缩版 GGUF,剪掉一半专家后仅 1.05 bpw

ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO Coder GGUF 压缩版,通过 RCO 剪掉每层 384 个专家中的 192 个,剩余权重保留 IQ2_XXS 量化,等效 1.05 bpw,Transformer 权重从 138.2 GB 降到 72.1 GB。评测显示 LiveCodeBench v6 保留基线 98.7%、SWE-bench Verified 保留 94.8%,能力损失主要在代码、Agent 工具调用、长上下文和视觉之外的方向,需 llama.cpp b11870 或以上版本运行。

推荐理由

原文给出了剪枝加量化的具体方法与 SWE-bench、LiveCodeBench 的前后保留率,可以据此评估极端压缩在代码场景的代价。

来源:Hugging Face · 趋势模型 · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。