DeepSeek-V4.1-Flash-1017-Abliterated 的 ik-llama GGUF 量化版上线 Hugging Face
Hugging Face 用户 ji-farthing 发布 DeepSeek-V4.1-Flash-1017-Abliterated 的 ik-llama GGUF 量化仓库。该仓库公开可访问,但用户需登录并同意分享 Hugging Face 信息、接受相关条件后才能下载模型文件。
新闻、仓库与研究,按时间排列。
Hugging Face 用户 ji-farthing 发布 DeepSeek-V4.1-Flash-1017-Abliterated 的 ik-llama GGUF 量化仓库。该仓库公开可访问,但用户需登录并同意分享 Hugging Face 信息、接受相关条件后才能下载模型文件。
Reddit r/LocalLLaMA 用户质疑 ISTA 的 GSQ-RCO 2-bit(IQ2_XXS)量化版 DeepSeek-V4.1-Flash 在基准测试中与原模型得分持平的说法。其评测基准已饱和(90%+,AIME25 各版本均达 100),可能无法反映量化损失,且未公布 KLD 数据,用户求助实测 KLD 或 PPL。
Hugging Face 上线 Marker689 的 DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw-Abliterated 模型仓库,采用 2.9-bpw 量化并提供 abliterated 去 abliterated 版本。仓库公开可访问,但用户需登录并同意条件后才能下载文件。
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
推荐理由:原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。
ISTA 深度算法与系统实验室用 GSQ 与 RCO 方法发布了 DeepSeek-V4.1-Flash-1017 的三个量化 GGUF,位宽 1.75 至 2.25 bpw,骨干 120.7 至 155.2 GB。其中 IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上与基座完全一致,任务平均保留 100.0%;IQ1_M 保留 98.7%。该模型为稀疏 MoE,763.2B 参数、每层 384 个路由专家激活 6 个、1M token 上下文窗口。所有版本可经 Strata 在单张 12 GB VRAM 的 NVIDIA GPU 上运行,llama.cpp 暂不支持。
同一新闻,精选展示《ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF》
staccs 发布 pqhaz/DeepSeek-V4.1-Flash-1017-heretic(DeepSeek-V4.1-Flash-1017 的 pqhaz abliterated 版)的 106.8 GB 单文件 GGUF,对 557B 参数的 routed experts 采用 lecore 激活校准 11-bit 矢量量化(2048 条码本、65,536 校准 token),Engram n-gram 表沿用原版需另下载约 203 GB。以未量化源模型为教师的评测显示 2k 上下文困惑度 2.762、top-1 一致率 80.9%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。
staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。
推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。
staccs 在 Hugging Face 发布 rumplestilzken/DeepSeek-V4.1-Flash-1017-abliterated 的单文件 GGUF,大小 106.8 GB,对 557B 参数的路由专家采用 lecore 激活校准 11-bit 向量量化(2048 码本条目,65,536 校准 token),1.39 bpw、加权余弦 0.909。评测以未量化源模型为 teacher,2k/16k 上下文困惑度 2.821/2.950,top-1 一致率 80.5%/78.4%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。
同一新闻,精选展示《staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包》
mrfakename 的 DeepSeek-V4.1-Flash-1017-abliterated 被重新量化为单个 106.8 GB 的 lecore 校准 11-bit VQ GGUF 文件,路由专家参数 557B,码本 2048 条目、1.39 bpw。在 WikiText-2 上 2k/16k 上下文 perplexity 分别为 2.799/2.917,top-1 与源模型一致率 80.3%/78.5%,优于此前未校准的 vq10sh12 版(PPL 3.615)。
Hugging Face 上架了 abliterated 版模型 DeepSeek-R1-Distill-Qwen-1.5B-Abliterated-dpo,并提供 Transformers、vLLM、SGLang 及 Docker Model Runner 的调用与部署示例。模型可通过 pipeline 加载,或经 vllm serve、sglang launch_server 启动 OpenAI 兼容 API 服务。
overhand 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored,并附上性能基准数据。原生 MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,高于 NVFP4 target 的 796.13、EXL3 3.5 的 480.84 和 EXL3 2.875 的 452.16;单并发时 MXFP4 首 token 延迟 p50 为 0.34266 秒。
fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 2.875bpw uncensored 量化版本。附带的性能测试显示,Native MXFP4 在 batch 32 时达到约 831.66 tokens/秒,EXL3 2.875 在 batch 32 为约 452.16 tokens/秒,batch 1 时首 token 延迟约 0.41 秒。量化模型可在 Hugging Face 获取。
fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型,并给出基准测试数据。原生 MXFP4 在单并发下达 146.84 tokens/秒、32 并发下达 831.66 tokens/秒,高于 NVFP4 target 与 EXL3 2.875/3.5 配置;单并发 time_to_content p50 为 0.34 秒。该模型为 uncensored 版本,测试数据已公开。
Hugging Face 上发布 edp1096/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3,基于 Turboderp EXL3 底座与 Huihui GGUF 供体张量,保留路由专家、视觉与 MTP,替换 18 个注意力输出 B 和 18 个共享专家下投影(Q8_0 解码为 F16)。提供 2.04bpw/75.97 GiB、2.27bpw/83.47 GiB、2.52bpw/94.08 GiB 三个分支,实测移植后上下文 129,996 至 1,046,999,各分支按 1M 窗口配置,测试引擎为 ExLlamaV3 1.5.4 与 TabbyAPI。
开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版(163 GB,152 GiB 专家权重),基于 dealignai 的 abliterated 无拒绝行为检查点,需搭配自研 Xolotl 引擎在 RTX 4090(24 GB)加 90 GB 内存加 NVMe 的单机上运行,512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层,总位宽与均匀 2.25-bit 持平,校准代理上输出误差比均匀 Q2_0 低 17%;实测 prefill 约 250 tok/s,DSpark 解码 17-30 tok/s,HumanEval 21/21、工具调用 10/10。
同一新闻,精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE》
Hugging Face 上线 dealignai 的 DeepSeek-V4.1-Flash-1017 EXL3 3.5bpw abliterated 量化镜像仓库。该仓库为镜像,权重、文档与更新实际存放在同模型的 UNCENSORED 仓库中,后者持续更新并附完整 README 与评测表。
Hugging Face 上发布 DeepSeek V4.1 Flash 1017 的 Uncensored REAP-256 4-bit 量化版本,文件正在上传中。完整模型卡将包含模型介绍、评测分数、速度结果,以及在 RTX PRO 6000、A100 和 CMP 170HX 上的运行方法,数小时内发布。
Infatoshi 在 Hugging Face 上架 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored,并附上 Native MXFP4、NVFP4 target 与 EXL3 2.875/3.5 多组并发基准。Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,高于 NVFP4 的 796.13 与 EXL3 3.5 的 480.84;单并发时延方面 NVFP4 target 的 time_to_content_p50 为 0.32442 秒,略优于 Native MXFP4 的 0.34266 秒。
Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-NVFP4-uncensored 的性能测试数据,对比 Native MXFP4、NVFP4 target、EXL3 2.875 与 EXL3 3.5 四种配置在不同并发下的吞吐与延迟。Native MXFP4 在 32 并发时达 831.66 tokens/second,NVFP4 target 为 796.13 tokens/second,EXL3 3.5 为 480.84 tokens/second。
Hugging Face 用户 Infatoshi 发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 无审查(uncensored)量化版本。附带的基准测试显示,Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,EXL3 3.5 在 32 并发下达 480.84 tokens/second,同时给出各并发数下的 time_to_content_p50 等延迟数据。
作者复盘72小时内四个开放权重模型发布:Meta Muse Spark Open(816B总参/42B激活/1M上下文,Artificial Analysis指数39)、NVIDIA Nemotron 3.5 Bolt(74B总参/9B激活,量化感知训练到2 bit,全模型22GB加1.7GB视觉投影器,专为24GB显存设计)、Reflection Beam(501B总参/23B激活,Apache 2.0)、DeepSeek V4.1 Flash 1017(MIT,官方表格DeepSWE 77.0对比Opus 5的74.0,仓库510GB)。作者指出许可证差异比参数量更关键,Meta要求署名且超2000万美元营收需另签协议,而卖24GB显卡的NVIDIA是唯一为24GB显存造模型的实验室。
Baekpica 将 dealignai 的 DeepSeek-V4.1-Flash-1017-UNCENSORED FP8 权重按 YoungAi 的 vq8sh14-q4k-mtpnative 配方原样转换为 VQ GGUF,基础文件约 113.6 GB,面向 128 GB DGX Spark,上下文保持原生 1,048,576 tokens。该量化约 1.6 bits per routed-expert weight,同配方在 V4.1 Flash 上与 FP8 模型 next token 一致率为 69–79%,质量与去审查行为可能下降。目标运行时为 ds4-dfm-rs,1017 Engram 表(2 × 101.5 GB)需从本地 SSD 读取。
bigfat 发布 DeepSeek-V4.1-Flash-Abliterated 的 DwarfStar Q2 GGUF 量化版本,基于 s-zaizen 用 Hereteric 对 deepseek-ai/DeepSeek-V4.1-Flash 去审查后的 checkpoint(拒绝关键词率 97/100 → 24/100)。提供 imatrix 校准版(推荐)与 bootstrap 版两个文件,imatrix 版 NLL 0.359,与原版 Q2(0.346)基本持平,需在 128 GB Mac 上用 --ssd-streaming 运行。
SandBase Lab 发布 awesome-deepseek-v4.1-flash 仓库,收录 DeepSeek-V4.1-Flash-1017(2026年10月17日更新)生成的 Three.js、WebGL 3D 场景、动效和浏览器游戏,共 88 条视频、来自 70 位创作者,其中 14 条附创建者提示词,每日同步。仓库提供 7 种提示词模式与填空模板、从提示词到 HTML 再到 MP4 的教程,以及 OpenAI 兼容 API 调用脚本;模型在 SandBase 上 id 为 deepseek/deepseek-v4.1-flash,1M token 上下文、最高 384K 输出,价格 $0.30/M 输入与 $1.20/M 输出,推理 token 计入输出计费。
dealignai 在 Hugging Face 上镜像了 DeepSeek-V4.1-Flash-1017 的 EXL3 2.9bpw abliterated 量化版本。该仓库为镜像,权重、文档和更新实际存放在同名的 UNCENSORED 仓库中,后者持续更新并包含完整 README 和评测表。
mrfakename 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-abliterated 的 GGUF 量化版本,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 本地运行,支持启动 OpenAI 兼容服务器或终端直接推理,也可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中使用。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版,1-bit 可在 128GB+ 内存设备运行,3-bit 需 256GB,全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新,官方基准显示推理、编码、Agent 和视觉任务均有提升,如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2;模型采用 MIT 许可,支持 1M token 上下文,需使用 llama.cpp PR 或 Unsloth Desktop 运行,prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由:官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比,以及量化档位对应的内存需求,可据此评估该版本的实际收益。
Hugging Face 上架了 ji-farthing 发布的 DeepSeek-V4-Flash-Uncensored-TextOnly-ik-llama-GGUF 模型仓库。仓库公开可访问,但用户需登录并同意分享联系信息的条件后才能下载模型文件。
DeepSeek 发布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,在推理、编码、Agent 任务和视觉基准上大幅提升,同时缩短任务执行时间和输出长度,推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3(上一版 31.2),Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板,改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包,支持 1M tokens 上下文窗口、max_tokens ≥ 256K,推荐 temperature 1.0、top_p 1.0,采用 MIT 许可证。
推荐理由:技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据,并附推荐采样参数与推理工具链,方便本地复现。
Reddit r/LocalLLaMA 用户报告 DeepSeek API 疑似出现 V4.1-Flash-1017 版本更新,发帖者随后确认该更新已上线。目前信息仅来自用户观察,DeepSeek 官方尚未发布说明。
IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored,对 dealignai 的 abliterated 检查点做校准混合量化,552B 参数 MoE 压缩至约 163 GB(152 GiB 专家权重),可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式(42.8% 三值、39.2% 2-bit、18.0% 3-bit),与同尺寸均匀 Q2_0 相比输出误差低 17%;held-out 困惑度 5.645(原模型 4.915),top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s(启用 ggml patch 可达 27+)。
推荐理由:原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据,并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。
DeepSeek-AI 在 Hugging Face 发布多模态 MoE 模型 DeepSeek-V4.1-Flash,552B 骨干参数、每 token 预填充激活 8B、解码激活 16B,支持 1M token 上下文,MIT License 开放权重。
推荐理由:原文给出CED架构与CSA2等KV cache压缩设计细节,并附同框架基准分数,读者可自行对比它与V4-Flash及前沿模型的性价比。