ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 量化 GGUF,社区质疑与实测并存
先了解这件事
ISTA 深度算法与系统实验室(ISTA-DASLab)在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的三个 GSQ-RCO 量化 GGUF:IQ1_M(1.75 bpw)、IQ2_XXS(2.00 bpw)、IQ2_XS(2.25 bpw)。据其称,IQ2_XXS 在 AIME25、GPQA-Diamond、LiveCodeBench v6 上与 FP8/FP4 基模型完全一致,任务平均保留 100.0%,IQ1_M 保留 98.7%。该模型为稀疏 MoE,763.2B 参数,每层 384 个路由专家激活 6 个,支持 1M token 上下文。 据称所有版本可经 Strata 引擎在单张 12 GB VRAM 的 NVIDIA GPU 上运行;不过 Reddit 发帖者指出,原版 Strata 只支持 Qwen3.8-Flash-Next,实际可能是指 Xolotl 或 Maya 等 Strata 衍生分支。llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型,其架构支持代码还未合并,这些 GGUF 目前无法在 llama.cpp 中运行。 有 Reddit 用户质疑 IQ2_XXS 与基模型得分持平的说法,称所用基准已饱和(90% 以上,AIME25 各版本均达 100),可能无法反映量化损失,且官方未公布 KLD 数据。另有用户用 Humanities Last Exam 100 题文本子集对比 2.25bpw 量化版与官方 API,双方严格正确均为 13 题、语义正确分别为 20 和 21,作者认为量化版未被明显削弱,但表示这只是初步 smoke test,需更多运行才能得出可靠结论。
AI 根据报道生成 · 1 小时前更新
事件进展
3 个进展
- 10月27日 19:51 · 1 篇报道用户实测 DeepSeek-V4.1 2.25bpw 量化与官方 API 对比Reddit · r/LocalLLaMA:社区实测 ISTA-DASLab DeepSeek-V4.1-Flash-1017 2.25bpw 量化版对比官方 API
- 10月25日 11:48 · 1 篇报道用户质疑ISTA GSQ-RCO 2-bit量化质量Reddit · r/LocalLLaMA:ISTA 的 GSQ-RCO 2-bit DeepSeek-V4.1-Flash 分数与原模型持平,是真好还是虚高?
- 10月23日 17:43 · 3 篇报道发布 DeepSeek-V4.1-Flash 量化 GGUFHugging Face · 趋势模型:ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF
报道时间线
沿着报道,了解事件的不同侧面。
- Reddit · r/LocalLLaMA社区实测 ISTA-DASLab DeepSeek-V4.1-Flash-1017 2.25bpw 量化版对比官方 API
一位用户用 Humanities Last Exam 的 100 题文本子集,测试 ISTA-DASLab 的 DeepSeek-V4.1-Flash-1017 2.25bpw 量化版与官方 API 的差距,本地平均速度 40.4 toks/s,单题 token 上限 32768。结果本地与 API 均为 13 个严格正确、语义正确分别为 20 和 21。作者认为该量化版未被明显削弱,但测试仅为 smoke test,需更多运行才能得出可靠结论。
- Reddit · r/LocalLLaMAISTA 的 GSQ-RCO 2-bit DeepSeek-V4.1-Flash 分数与原模型持平,是真好还是虚高?
Reddit r/LocalLLaMA 用户质疑 ISTA 的 GSQ-RCO 2-bit(IQ2_XXS)量化版 DeepSeek-V4.1-Flash 在基准测试中与原模型得分持平的说法。其评测基准已饱和(90%+,AIME25 各版本均达 100),可能无法反映量化损失,且未公布 KLD 数据,用户求助实测 KLD 或 PPL。
- Reddit · r/LocalLLaMA精选ISTA 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化 GGUF,最低 1.75 bpw
ISTA 深度算法与系统实验室用 GSQ 与 RCO 方法发布了 DeepSeek-V4.1-Flash-1017 的三个量化 GGUF,位宽 1.75 至 2.25 bpw,骨干 120.7 至 155.2 GB。其中 IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上与基座完全一致,任务平均保留 100.0%;IQ1_M 保留 98.7%。该模型为稀疏 MoE,763.2B 参数、每层 384 个路由专家激活 6 个、1M token 上下文窗口。所有版本可经 Strata 在单张 12 GB VRAM 的 NVIDIA GPU 上运行,llama.cpp 暂不支持。
- Reddit · r/LocalLLaMAISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化版本
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 智能量化版本,量化文件已上架 HuggingFace。目前 llama.cpp 尚不支持该模型,因其原始架构支持代码还未合并;模型卡提及 Strata 支持,但发帖者认为原版 Strata 只支持 Qwen3.8-Flash-Next,实际可能指 Xolotl 或 Maya 等 Strata 衍生分支。
- Hugging Face · 趋势模型精选ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1510月24日 17:00
- 近 24 小时变化
- +155%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。