跳到正文
  1. Hugging Face · 趋势模型77

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。

    推荐理由:原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。

  2. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  1. Hugging Face · 趋势模型70

    Unsloth 放出 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本

    Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版,1-bit 可在 128GB+ 内存设备运行,3-bit 需 256GB,全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新,官方基准显示推理、编码、Agent 和视觉任务均有提升,如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2;模型采用 MIT 许可,支持 1M token 上下文,需使用 llama.cpp PR 或 Unsloth Desktop 运行,prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。

    推荐理由:官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比,以及量化档位对应的内存需求,可据此评估该版本的实际收益。

  1. Hugging Face · 趋势模型65

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,在推理、编码、Agent 任务和视觉基准上大幅提升,同时缩短任务执行时间和输出长度,推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3(上一版 31.2),Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板,改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包,支持 1M tokens 上下文窗口、max_tokens ≥ 256K,推荐 temperature 1.0、top_p 1.0,采用 MIT 许可证。

    推荐理由:技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据,并附推荐采样参数与推理工具链,方便本地复现。

  1. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE

    IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored,对 dealignai 的 abliterated 检查点做校准混合量化,552B 参数 MoE 压缩至约 163 GB(152 GiB 专家权重),可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式(42.8% 三值、39.2% 2-bit、18.0% 3-bit),与同尺寸均匀 Q2_0 相比输出误差低 17%;held-out 困惑度 5.645(原模型 4.915),top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s(启用 ggml patch 可达 27+)。

    推荐理由:原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据,并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。

  1. Hugging Face · 趋势模型82

    DeepSeek-AI 发布 DeepSeek-V4.1-Flash:552B 多模态 MoE 模型,支持 1M token 上下文与 KV cache 压缩

    DeepSeek-AI 在 Hugging Face 发布多模态 MoE 模型 DeepSeek-V4.1-Flash,552B 骨干参数、每 token 预填充激活 8B、解码激活 16B,支持 1M token 上下文,MIT License 开放权重。

    推荐理由:原文给出CED架构与CSA2等KV cache压缩设计细节,并附同框架基准分数,读者可自行对比它与V4-Flash及前沿模型的性价比。

已经到底了