模型与平台
DeepSeek 的开源模型与权重开放，以及社区基于它的微调与去对齐变体。
45 条精选近 30 天 44 条共收录 167 条
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型，提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS（2.00 bpw）在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型，任务均值恢复 100.0%；IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行；llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
推荐理由：原文给出了各量化的基准恢复率和完整方法与分配文件，读者可以据此判断低比特量化到底损失了多少能力。
ktobik 在 Hugging Face 发布 abliterated（去拒绝）版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化，提供 Mix-256G（235.8 GB 内存）与 Mix-128G（114.0 GB）两种构建。模型为 763B 参数 MoE，含 384 个路由专家和 197B 参数 Engram n-gram 表（110.6 GB 留在 SSD 按需读取），1M token 上下文。精度由实测 KLD 的背包搜索逐层分配，Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。
推荐理由：原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法，读者可据此判断去对齐版本与量化方案的实际代价。
staccs 发布了 106.8 GB 单文件 GGUF，对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated（UNCENSORED-FP8）版本重新量化，采用 lecore 激活校准的 11-bit 向量量化处理路由专家（2048 码本条目、65,536 校准 token，1.39 bpw，cosine 0.909），注意力骨架用 q4_K，共享专家 VQ 11-bit。评测以未量化源模型为教师，WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936，top-1 一致率 80.2%/78.6%，优于未校准的 vq10sh12 版本（PPL 3.615、top-1 74.5%）。
推荐理由：作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照，可据此评估这套 11-bit VQ 量化的损耗。
TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017（Unsloth UD-IQ2_XXS GGUF），默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍，关闭 YOCO 仍有 2.44–3.23 倍；decode 提升较小（1.08–1.20 倍）。质量上，WikiText-2 困惑度相对 llama.cpp 高约 0.46%（YOCO 关）到 1.14%（YOCO 开）。vLLM 0.32.0 在该机未能出 token，仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动，完整报告见 GitHub。
推荐理由：作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化，可据此评估该推理引擎在 A40 上的实际收益与质量代价。
AtomicChat 发布 DeepSeek-V4.1-Flash-1017 的 DwarfStar（ds4）Q2 版 GGUF，把 DeepSeek 的拒绝方向从权重中投影移除，仅替换写入残差流的 122 个张量，其余字节与原文件一致，文件大小 365.7 GB，MIT 许可。同一编辑在 llama.cpp 实测中，JailbreakBench 英文拒绝率从 91.4% 降到 0.0%，XSTest 安全拒绝率从 8.0% 降到 0.4%，MMLU 变化在约 2 分内；该文件本身尚未在 DwarfStar 上测得数据，适用 Metal（Apple Silicon）、单张 CUDA GPU 或 ROCm。
推荐理由：原文给出同编辑在 llama.cpp 上的 JailbreakBench 等前后实测数据，读者可以据此估算该 Q2 版本的去对齐收益与 MMLU 代价。
AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从权重中投影移除，发布 GGUF 量化版和 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率从 88.9%/91.4% 降至 0.0%，3.58bpw-Q2_K 档 MMLU 86.0%→86.6%，2.67bpw-IQ1_M 档 MMLU 降至 81.8% 未通过门槛；需支持 DeepSeek-V4.1 的 llama.cpp 构建（如 Unsloth 的 commit 9d907b7cfe0e），Engram n-gram 表可留在 SSD 上分页读取。
推荐理由：原文给出拒绝率、KLD 和 MMLU 的前后对照数据，还说明各量化档的取舍，读者可据此选择合适的版本。
dealignai 发布了 DeepSeek-V4.1-Flash-1017 的去拒绝（uncensored）版本 DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8，通过权重级修改移除拒绝行为，采用原生 FP8（e4m3）加 FP4 MoE 专家权重，保留 1M 上下文、视觉与视频、工具调用和推理档位。实测 HarmBench-320 在 reasoning_effort=max 下 320/320 全部 COMPLY、零拒绝；MMLU logit 评分从基线 87.63% 降至 83.77%（−3.86 pp）。作者建议低比特量化需在目标精度上重做 abliteration 流程，否则合规性可能退化；权重以 MIT 许可发布，需手动申请访问。
推荐理由：发布方给出了与官方API同提示词的MMLU对照和HarmBench全合规数据，可以据此判断这次abliteration的合规收益与能力代价。
DeepSeek 在 PyTorch Conf 期间开源 DeepInfer，即支撑 V4.1 Flash 的生产推理栈。该框架基于 vLLM 定制，支持 NVIDIA SM100 与华为昇腾 950，并配套发布 deepseek-recipe。
推荐理由：DeepSeek 放出生产级推理栈本身罕见，单集群吞吐与推理毛利数字可作推理成本侧的参照。
DeepSeek 开源高性能大规模推理框架 DeepInfer，采用 Apache-2.0 许可，仓库地址 https://github.com/deepseek-ai/DeepInfer。框架支持优化 kernel、模型与 sampler 运行时，包含 Attention DP、平衡 CP、MoE EP + EPLB 等并行方案，以及零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
推荐理由：原文列出了该推理框架的核心并行方案与调度特性，读者可以据此评估它在本地部署和大批量推理场景中的适用性。
DevZjQx 发布 oh-my-clm，一个可加载到 Pi 的精简 live-context 扩展，参考 Facebook Research context-language-models 把当前上下文镜像到普通文件、由模型自行整理的思路。扩展在 Pi 构建 projection 时把可编辑上下文镜像到 /tmp/clm-${sessionId}/LIVE_CTX_MAIN.md，模型可通过 cleanup 工具按 block ID 删除冗余内容或同 call rewrite 缩短 block；所有编辑采用 shrink-only 策略，不能严格缩短上下文的编辑会被拒绝。
推荐理由：README 把镜像协议、编辑校验和 Pi 与 DSH 两侧持久化语义差异讲得很完整，适合想自己做上下文管理的开发者参考实现思路。
dealignai 基于 LibertAI 的 EXL3 3.5bpw 量化包（257.6 GB）发布 DeepSeek-V4.1-Flash-1017 无对齐版本，移除拒绝行为，支持 6 种语言、131K 上下文，保留视觉权重、MTP 头与 n-gram 表。实测 HarmBench-320 在 chat 与 thinking 模式均 320/320 全部 COMPLY，MMLU-500 从 67.60% 降至 64.80%（-2.80 pp）。在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 55 tok/s 解码，并建议如需更低比特应重新跑 abliteration 流程而非直接重量化。
推荐理由：原文给出 MMLU 与 HarmBench 的前后对照数据，读者可以据此评估这个去对齐版本在拒绝率与能力之间的取舍。
IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度量化版，552B 参数 MoE 压缩到 152 GB，可在 RTX 4090（24 GB）加 90 GB 内存的家用 PC 上运行，需配合自研 Xolotl 引擎而非 llama.cpp/Ollama。模型带 rank-2 拒绝方向编辑（manifest id adea0515bbf69a0b），拒绝探针显示 chat 模式 0/100、think 模式 0/50 拒绝；8K 预填充 239.8 tok/s，解码 12–13 tok/s。短 Gauntlet 测试 2/5，比作者此前 V4.1 v2 量化版（4/5）有回退，原因尚未定位；校准后重做的 V3 版本正在上传。
推荐理由：作者给出了拒绝探针、困惑度和速度的实测数据，还说明了量化分配与拒绝方向编辑的具体做法，可据此评估这个本地化版本。
lowtide 是 DeepSeek Harness（dsh）的任务队列插件，可把任务排入队列，在设定的低谷价格时段（默认 19:00 后）自动运行，据称同一批任务成本约为高峰时段的一半。插件提供单次、迭代、采样、评审四种执行策略和 L1 到 L3 三级自治档位，内置五道 preflight 检查、沙箱（approval 设为 never）、每日预算与文件 sha256 锁，含 168 个单元测试和 10 个端到端规格；默认模型为 deepseek-flash（DeepSeek-V4.1-Flash），安装地址 https://github.com/KelaoHu/dsh-lowtide 。
推荐理由：原文把任务调度、沙箱与预算约束的设计讲得足够具体，读者可以评估无人值守跑批这件事的安全边界在哪。
IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 GSQ 混合层级量化无对齐版本，552B 参数 MoE 压缩到 152 GB，可在 RTX 4090（24 GB）加 90 GB 内存的家用 PC 上以 12–13 tok/s 解码运行。模型对专家采用 ternary/2-bit/3-bit 混合量化（平均 2.093 bpw），并施加 mrfakename 风格的 rank-2 拒绝方向编辑；行为探针显示 chat 模式 100 个有害与 100 个安全样本均 0 次拒绝，think 模式同样 0 次拒绝。
推荐理由：卡片给出了量化前后困惑度对比、拒绝探针和速度实测数据，读者可以据此判断这个 152 GB 版本在消费级硬件上的真实质量。
drowzeys 在 Hugging Face 发布 keys-DeepSeek-V4.1-Flash-1017-Abliterated，这是针对 deepseek-ai/DeepSeek-V4.1-Flash-1017 的 keys overlay 而非完整 checkpoint。消融范围为 L10–35 的 attn.wo_b（λ=3.5，k=1，mean Δrel ≈ 0.053），L0–9、L36–39、MTP、vision、Engram、experts 等锚点保持不动；Refusal32 32/32 BYPASS、0 拒绝、0 乱码，Cyber 22/22 BYPASS。
推荐理由：原文给出了消融层范围、λ参数和 Refusal32 拒绝率前后对比，读者可据此判断这个去对齐 overlay 的实际改动幅度。
dealignai 基于 LibertAI 的 EXL3 2.9bpw 量化包（388 GB）发布 DeepSeek-V4.1-Flash-1017 无对齐版本，移除拒绝行为，支持 6 种语言、131K 上下文、thinking 开关与 vision/MTP/Engram 权重保留。实测 MMLU-500 从 67.40% 降至 63.20%（−4.20pp），HarmBench-320 chat 模式 320 项全部 COMPLY；在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 68 tok/s 解码、1105 tok/s 预填充。
推荐理由：发布方给出了 MMLU 前后对比和 HarmBench 拒绝率数据，可以量化评估去对齐带来的能力损失。
xingzoudefengye 在 GitHub 发布 dsh-compaction-local-handoff，为 DeepSeek Harness（DSH）提供零模型调用的压缩后端，在上下文达到阈值时用本地确定性、有界的交接文档替代额外一次 LLM 摘要调用。触发阈值、逐字尾部保留、工具结果剪枝与 /compact 等行为继承自 dsh-compaction-basic；交接文本硬上限 6,000 字符并 redact 凭据，验证显示 compaction/summary 记录为 provider=local、model=local-handoff 且 11 毫秒完成，27 项测试全部通过。
推荐理由：它把压缩摘要从一次模型调用换成有界的本地拼装交接，并给出日志级验证和已知取舍，方法对上下文管理有可参考性。
SandBase Lab 在 GitHub 发布 awesome-deepseek-v4.1-flash-1017 仓库，收录用 DeepSeek-V4.1-Flash-1017 生成的88个视频，来自70位创作者，涵盖 Three.js/WebGL 3D 场景、动画、游戏等，其中14个附创作者原提示词，每日同步。仓库还提供含7种模式和填空模板的提示词指南、prompt 到 HTML 再到 MP4 的教程，以及与 Claude Opus 5.5、GPT-6、Gemini 4 Argon 的对比测试。
推荐理由：合集把88个示例按类别整理并标注哪些附原提示词，还给出7种提示词模式和补全模板，方便直接复用。
Reddit 用户 /u/returnity 为 DeepSeek v4.1 Flash 1017（ds4）制作并发布了量化版本，需其 PR 才能加载新的 vision tower。量化沿用 antirez 原版 DS4.1 Q2 配方：2-bit 路由专家加 8-bit 及以上精度处理其余部分，imatrix 基于 1017 构建，并保留原版 FP8 engram 表。模型 wired backbone 超过 150GB，可在 128GB 内存系统上从 SSD 流式加载，M5 Max 上解码速度最高 20tps；约 200GB 的 engram 表按需从 SSD 分页调入。该版本中约 40% 路由专家张量、30% engram 和约 50% vision tower 专家张量有改动。
推荐理由：作者给出了量化配方、模型体积与 M5 Max 上的解码速度等实测细节，本地部署用户可参考其 SSD 流式加载方案。
/u/shayanx45 在 2x DGX Spark（TP=2 经 CX7 线连接）上以 EXL3 2.9bpw、1M 上下文运行 DeepSeek-V4.1-Flash-1017，实测 TensorFold 较 vLLM kit 快 2.1-2.3x：文本解码 27.0→56.8 tok/s，代码 39.9→92.2 tok/s，64K大海捞针 80.4s→35.9s；8K-64K 冷 prefill 约 2.1-2.2x，1M（1,034,753 tokens）达 1,246 tok/s。提示词缓存可跨重启恢复，18K 对话从 16.8s 降至 2.7s。部署配方与 HF 卡片已公开，引擎来自 bertholomus 的 V4.1 port，host 调优将随下次更新进仓库。
推荐理由：作者用同一对硬件和同一组提示词给出 vLLM kit 与 TensorFold 的逐项对比数据，可复现的部署配方已开源到 GitHub。