跳到正文
今天10月26日周一1 条
10月25日周日
10月24日周六
  1. Hugging Face · 趋势模型77

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。

    推荐理由:原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。

  2. Reddit · r/LocalLLaMA69

    ISTA 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化 GGUF,最低 1.75 bpw

    ISTA 深度算法与系统实验室用 GSQ 与 RCO 方法发布了 DeepSeek-V4.1-Flash-1017 的三个量化 GGUF,位宽 1.75 至 2.25 bpw,骨干 120.7 至 155.2 GB。其中 IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上与基座完全一致,任务平均保留 100.0%;IQ1_M 保留 98.7%。该模型为稀疏 MoE,763.2B 参数、每层 384 个路由专家激活 6 个、1M token 上下文窗口。所有版本可经 Strata 在单张 12 GB VRAM 的 NVIDIA GPU 上运行,llama.cpp 暂不支持。

    同一新闻,精选展示《ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF》

  3. Hugging Face · 新模型:abliterated51

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版的校准 11-bit VQ 量化 GGUF

    staccs 发布 pqhaz/DeepSeek-V4.1-Flash-1017-heretic(DeepSeek-V4.1-Flash-1017 的 pqhaz abliterated 版)的 106.8 GB 单文件 GGUF,对 557B 参数的 routed experts 采用 lecore 激活校准 11-bit 矢量量化(2048 条码本、65,536 校准 token),Engram n-gram 表沿用原版需另下载约 203 GB。以未量化源模型为教师的评测显示 2k 上下文困惑度 2.762、top-1 一致率 80.9%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。

  4. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  5. Hugging Face · 新模型:abliterated52

    DeepSeek-V4.1-Flash-1017 abliterated 版发布 106.8 GB 单文件 lecore vq11 校准 GGUF 量化

    staccs 在 Hugging Face 发布 rumplestilzken/DeepSeek-V4.1-Flash-1017-abliterated 的单文件 GGUF,大小 106.8 GB,对 557B 参数的路由专家采用 lecore 激活校准 11-bit 向量量化(2048 码本条目,65,536 校准 token),1.39 bpw、加权余弦 0.909。评测以未量化源模型为 teacher,2k/16k 上下文困惑度 2.821/2.950,top-1 一致率 80.5%/78.4%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。

    同一新闻,精选展示《staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包》

  6. Hugging Face · 新模型:abliterated50

    DeepSeek-V4.1-Flash-1017 abliterated 版 106.8 GB lecore 校准 VQ GGUF 发布

    mrfakename 的 DeepSeek-V4.1-Flash-1017-abliterated 被重新量化为单个 106.8 GB 的 lecore 校准 11-bit VQ GGUF 文件,路由专家参数 557B,码本 2048 条目、1.39 bpw。在 WikiText-2 上 2k/16k 上下文 perplexity 分别为 2.799/2.917,top-1 与源模型一致率 80.3%/78.5%,优于此前未校准的 vq10sh12 版(PPL 3.615)。

10月23日周五
10月22日周四
  1. Hugging Face · 新模型:uncensored38

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-EXL3 2.875bpw uncensored 量化版

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 2.875bpw uncensored 量化版本。附带的性能测试显示,Native MXFP4 在 batch 32 时达到约 831.66 tokens/秒,EXL3 2.875 在 batch 32 为约 452.16 tokens/秒,batch 1 时首 token 延迟约 0.41 秒。量化模型可在 Hugging Face 获取。

  2. Hugging Face · 新模型:uncensored42

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型,并给出基准测试数据。原生 MXFP4 在单并发下达 146.84 tokens/秒、32 并发下达 831.66 tokens/秒,高于 NVFP4 target 与 EXL3 2.875/3.5 配置;单并发 time_to_content p50 为 0.34 秒。该模型为 uncensored 版本,测试数据已公开。

10月20日周二
  1. Hugging Face · 新模型:abliterated37

    Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3 量化分支发布

    Hugging Face 上发布 edp1096/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3,基于 Turboderp EXL3 底座与 Huihui GGUF 供体张量,保留路由专家、视觉与 MTP,替换 18 个注意力输出 B 和 18 个共享专家下投影(Q8_0 解码为 F16)。提供 2.04bpw/75.97 GiB、2.27bpw/83.47 GiB、2.52bpw/94.08 GiB 三个分支,实测移植后上下文 129,996 至 1,046,999,各分支按 1M 窗口配置,测试引擎为 ExLlamaV3 1.5.4 与 TabbyAPI。

  2. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合量化无审查版发布,单张 RTX 4090 可跑 552B MoE

    开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版(163 GB,152 GiB 专家权重),基于 dealignai 的 abliterated 无拒绝行为检查点,需搭配自研 Xolotl 引擎在 RTX 4090(24 GB)加 90 GB 内存加 NVMe 的单机上运行,512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层,总位宽与均匀 2.25-bit 持平,校准代理上输出误差比均匀 Q2_0 低 17%;实测 prefill 约 250 tok/s,DSpark 解码 17-30 tok/s,HumanEval 21/21、工具调用 10/10。

    同一新闻,精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE》

10月19日周一
  1. Hugging Face · 新模型:uncensored49

    Infatoshi 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型

    Infatoshi 在 Hugging Face 上架 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored,并附上 Native MXFP4、NVFP4 target 与 EXL3 2.875/3.5 多组并发基准。Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,高于 NVFP4 的 796.13 与 EXL3 3.5 的 480.84;单并发时延方面 NVFP4 target 的 time_to_content_p50 为 0.32442 秒,略优于 Native MXFP4 的 0.34266 秒。

  2. Hugging Face · 新模型:uncensored41

    DeepSeek-V4.1-Flash-1017-NVFP4-uncensored 量化模型基准测试数据发布

    Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-NVFP4-uncensored 的性能测试数据,对比 Native MXFP4、NVFP4 target、EXL3 2.875 与 EXL3 3.5 四种配置在不同并发下的吞吐与延迟。Native MXFP4 在 32 并发时达 831.66 tokens/second,NVFP4 target 为 796.13 tokens/second,EXL3 3.5 为 480.84 tokens/second。

  3. Hugging Face · 新模型:uncensored38

    DeepSeek-V4.1-Flash-1017 EXL3 3.5bpw 无审查量化版本在 Hugging Face 发布

    Hugging Face 用户 Infatoshi 发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 无审查(uncensored)量化版本。附带的基准测试显示,Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,EXL3 3.5 在 32 并发下达 480.84 tokens/second,同时给出各并发数下的 time_to_content_p50 等延迟数据。

  4. Reddit · r/LocalLLaMA52

    72小时内四大开放权重模型发布,唯一能塞进24GB的来自NVIDIA

    作者复盘72小时内四个开放权重模型发布:Meta Muse Spark Open(816B总参/42B激活/1M上下文,Artificial Analysis指数39)、NVIDIA Nemotron 3.5 Bolt(74B总参/9B激活,量化感知训练到2 bit,全模型22GB加1.7GB视觉投影器,专为24GB显存设计)、Reflection Beam(501B总参/23B激活,Apache 2.0)、DeepSeek V4.1 Flash 1017(MIT,官方表格DeepSWE 77.0对比Opus 5的74.0,仓库510GB)。作者指出许可证差异比参数量更关键,Meta要求署名且超2000万美元营收需另签协议,而卖24GB显卡的NVIDIA是唯一为24GB显存造模型的实验室。

10月18日周日
  1. Hugging Face · 新模型:uncensored36

    Baekpica 发布 DeepSeek-V4.1-Flash-1017-UNCENSORED-VQ-GGUF 量化版

    Baekpica 将 dealignai 的 DeepSeek-V4.1-Flash-1017-UNCENSORED FP8 权重按 YoungAi 的 vq8sh14-q4k-mtpnative 配方原样转换为 VQ GGUF,基础文件约 113.6 GB,面向 128 GB DGX Spark,上下文保持原生 1,048,576 tokens。该量化约 1.6 bits per routed-expert weight,同配方在 V4.1 Flash 上与 FP8 模型 next token 一致率为 69–79%,质量与去审查行为可能下降。目标运行时为 ds4-dfm-rs,1017 Engram 表(2 × 101.5 GB)需从本地 SSD 读取。

  2. Hugging Face · 新模型:abliterated41

    bigfat/DeepSeek-V4.1-Flash-Abliterated-GGUF 发布

    bigfat 发布 DeepSeek-V4.1-Flash-Abliterated 的 DwarfStar Q2 GGUF 量化版本,基于 s-zaizen 用 Hereteric 对 deepseek-ai/DeepSeek-V4.1-Flash 去审查后的 checkpoint(拒绝关键词率 97/100 → 24/100)。提供 imatrix 校准版(推荐)与 bootstrap 版两个文件,imatrix 版 NLL 0.359,与原版 Q2(0.346)基本持平,需在 128 GB Mac 上用 --ssd-streaming 运行。

  3. GitHub · prompt 工程新仓库50

    sandbase-lab 开源 awesome-deepseek-v4.1-flash 提示词与示例合集

    SandBase Lab 发布 awesome-deepseek-v4.1-flash 仓库,收录 DeepSeek-V4.1-Flash-1017(2026年10月17日更新)生成的 Three.js、WebGL 3D 场景、动效和浏览器游戏,共 88 条视频、来自 70 位创作者,其中 14 条附创建者提示词,每日同步。仓库提供 7 种提示词模式与填空模板、从提示词到 HTML 再到 MP4 的教程,以及 OpenAI 兼容 API 调用脚本;模型在 SandBase 上 id 为 deepseek/deepseek-v4.1-flash,1M token 上下文、最高 384K 输出,价格 $0.30/M 输入与 $1.20/M 输出,推理 token 计入输出计费。

  4. Hugging Face · 趋势模型70

    Unsloth 放出 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本

    Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版,1-bit 可在 128GB+ 内存设备运行,3-bit 需 256GB,全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新,官方基准显示推理、编码、Agent 和视觉任务均有提升,如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2;模型采用 MIT 许可,支持 1M token 上下文,需使用 llama.cpp PR 或 Unsloth Desktop 运行,prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。

    推荐理由:官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比,以及量化档位对应的内存需求,可据此评估该版本的实际收益。

10月17日周六
  1. Hugging Face · 趋势模型65

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,在推理、编码、Agent 任务和视觉基准上大幅提升,同时缩短任务执行时间和输出长度,推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3(上一版 31.2),Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板,改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包,支持 1M tokens 上下文窗口、max_tokens ≥ 256K,推荐 temperature 1.0、top_p 1.0,采用 MIT 许可证。

    推荐理由:技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据,并附推荐采样参数与推理工具链,方便本地复现。

10月12日周一
  1. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE

    IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored,对 dealignai 的 abliterated 检查点做校准混合量化,552B 参数 MoE 压缩至约 163 GB(152 GiB 专家权重),可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式(42.8% 三值、39.2% 2-bit、18.0% 3-bit),与同尺寸均匀 Q2_0 相比输出误差低 17%;held-out 困惑度 5.645(原模型 4.915),top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s(启用 ggml patch 可达 27+)。

    推荐理由:原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据,并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。

10月5日周一
  1. Hugging Face · 趋势模型82

    DeepSeek-AI 发布 DeepSeek-V4.1-Flash:552B 多模态 MoE 模型,支持 1M token 上下文与 KV cache 压缩

    DeepSeek-AI 在 Hugging Face 发布多模态 MoE 模型 DeepSeek-V4.1-Flash,552B 骨干参数、每 token 预填充激活 8B、解码激活 16B,支持 1M token 上下文,MIT License 开放权重。

    推荐理由:原文给出CED架构与CSA2等KV cache压缩设计细节,并附同框架基准分数,读者可自行对比它与V4-Flash及前沿模型的性价比。