Hugging Face · 趋势模型·· 3 天前精选AI 评分77
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF
ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
推荐理由
原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。
来源:Hugging Face · 趋势模型 · huggingface.co