跳到正文
  1. Hugging Face · 新模型:abliterated73

    DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑

    ktobik 在 Hugging Face 发布 abliterated(去拒绝)版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化,提供 Mix-256G(235.8 GB 内存)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 384 个路由专家和 197B 参数 Engram n-gram 表(110.6 GB 留在 SSD 按需读取),1M token 上下文。精度由实测 KLD 的背包搜索逐层分配,Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。

    推荐理由:原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法,读者可据此判断去对齐版本与量化方案的实际代价。

  2. GitHub · 灵魂体仓库62

    Momoding 1.0 预览版发布:把能干活的 Personal Agent 装进现有安卓手机

    Momoding 1.0 预览版在 GitHub 开源发布,是基于 OpenMinis 的 fork,把 Personal Agent 装进现有安卓手机(Android 8.0+),可交代一句话完成日程、提醒、闹钟、短信草稿、联网查询和例行任务。数据与记忆存在手机本地,自带模型 Key 调用 DeepSeek、Kimi、通义千问等服务,App 免费开源(GPLv3),因需无障碍等权限暂不上应用商店,仅在 GitHub 发 APK。

    推荐理由:这是开源手机端 Agent 的发布说明,讲清了数据存本地但对话发往自选模型服务的隐私边界,适合想自己部署的人对照评估。

  3. Hugging Face · 趋势模型77

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。

    推荐理由:原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。

  4. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  1. Reddit · r/LocalLLaMA62

    TensorSharp 在 5× A40 上运行 DeepSeek-V4.1-Flash-1017:预fill 吞吐达 llama.cpp 的 4.4–5.5 倍

    TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017(Unsloth UD-IQ2_XXS GGUF),默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍,关闭 YOCO 仍有 2.44–3.23 倍;decode 提升较小(1.08–1.20 倍)。质量上,WikiText-2 困惑度相对 llama.cpp 高约 0.46%(YOCO 关)到 1.14%(YOCO 开)。vLLM 0.32.0 在该机未能出 token,仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动,完整报告见 GitHub。

    推荐理由:作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化,可据此评估该推理引擎在 A40 上的实际收益与质量代价。

  2. arXiv · cs.CL59

    arXiv 论文提出模型与执行框架联合评测框架,解析 Agent 失败该归咎谁

    arXiv:2610.32483 提出评测 LLM Agent 执行框架(harness)与底层模型交互的框架,包含有效完成率(VCR)、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型,加上两组原生固定组合,共 111 个评测设置、52,168 条轨迹;结果显示框架排名随模型和基准变化,OpenCode 跨模型表现第一,DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。

    推荐理由:论文把 Agent 拆成模型与执行框架两部分联合评测,给出五项指标和 52,168 条轨迹的实测,可帮助读者理解框架排名为何随模型和基准而变。

  3. arXiv · cs.AI58

    arXiv 论文提出用低比特精度压缩语言模型 n-gram 嵌入表

    Stephen Chung 在 arXiv 发布论文,研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上,4-bit 表节省约 75% 表内存,同时保留加表带来的验证损失改善的 99% 以上;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存,困惑度增加低于 1.2%。更低位宽性能下降更大,但短时微调可恢复大部分损失,将省出的内存换成更大表还能超越原全精度表的性能。

    推荐理由:论文系统比较了不同量化和位宽分配方案,给出从零训练与现有大模型两组数据,可帮助读者评估低比特 n-gram 表的实际收益。

  4. Hugging Face · 新模型:abliterated57

    distributedcognition 发布 DeepSeek-V4.1-Flash-1017 abliterated 去对齐版本

    distributedcognition 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 abliterated 版本,将 refusal directions 从同系 DeepSeek-V4.1-Flash-abliterated 迁移而来,以 scale 3.0 的保范双投影编辑作用于 attn.wo_b 和共享专家 ffn.shared_experts.w2(第 4-36 层)。评测显示 LLM 评审下真实拒绝率从基座的 99/100 降到 0/100(53 条完全配合、47 条带免责声明),无害提示 KL 散度 0.093,GSM8K 抽测 18/20 对比基座 19/20。

    推荐理由:原文给出拒绝率前后对比、KL 散度和 GSM8K 抽测数据,并说明关键词检测与 LLM 评审的差异,读者可据此评估去对齐程度。

  1. GitHub · 灵魂体仓库70

    Tether 长时 Agent 运行时开源,主打可验证压缩与中断恢复

    作者开源了 Tether,一个面向长时编码 Agent 的运行时,解决压缩后假完成问题:任务摘要和模型维护的计划放在永不裁剪的记忆层,每次压缩过 ROUGE-L 加关键词双校验,不达标就整条回滚。压缩率 22.5%,比不上 LLMLingua 类学习式压缩器的 10–20 倍;DeepSeek 端到端实测 20 任务 pass@1 80%,总 token 省 21%。还含三层记忆、三级文件漂移检测(stat → MD5 → AST)、10 种中断场景恢复、重复调用拦截、MCP 接入,150 个测试全离线可跑。作者明确列出局限:代码执行无沙箱,漂移测试集为自建,e2e 仅 20 任务样本差异在噪声内。

    推荐理由:作者把每个设计取舍都配上了可复现的实验数字和明确局限,读者可以照着 benchmark 判断这套运行时是否值得试。

  2. Hugging Face · 新模型:abliterated76

    orcarouter 发布 DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化权重

    orcarouter 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 去对齐(abliterated)版的 GGUF 量化权重,提供 Mix-256G(235.8 GB 内存占用)与 Mix-128G(114.0 GB)两种构建,基于 763B 参数 MoE 模型,含 197B 参数 Engram n-gram 表常驻 SSD。去对齐后 500 条有害提示拒绝率加权均值从 0.874 降至 0.074,过度拒绝从 0.069 降至 0.006,MMLU 保持 0.91 左右不变。

    推荐理由:原文给出实测 KLD、拒绝率与 MMLU 前后对比,读者可据此判断这个去对齐版本到底去掉了多少、能力是否保留。

  3. arXiv · cs.CL54

    SPARE 提出基于路由熵的 MoE 分层剪枝稀疏度分配方法

    论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1

    推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。

  4. GitHub · 灵魂体仓库59

    zhihu-ai-studio 开源:自托管 AI 内容创作与知乎运营工作台

    作者开源 zhihu-ai-studio,一个部署在自己服务器上的 AI 内容创作与知乎运营工作台,覆盖选题、写作、独立审稿、图文核验、发布与复盘全流程。项目内置 LLM Wiki 写作参考库,基于本地词法检索提供有来源、可链接的写法笔记,初稿须记录借鉴卡 ID 和迁移方式;支持多模型流式对话、长文分节写作与持久化 Markdown 知识库,默认关闭自动发布。

    推荐理由:开源的自托管 AI 写作到知乎发布全流程工程,从选题、LLM Wiki 参考检索到独立审稿和发布核验都有可借鉴的具体做法。

  1. Hugging Face · 新模型:uncensored54

    AtomicChat 发布面向 DwarfStar 的 DeepSeek-V4.1-Flash-1017 去拒绝 GGUF 版本

    AtomicChat 发布 DeepSeek-V4.1-Flash-1017 的 DwarfStar(ds4)Q2 版 GGUF,把 DeepSeek 的拒绝方向从权重中投影移除,仅替换写入残差流的 122 个张量,其余字节与原文件一致,文件大小 365.7 GB,MIT 许可。同一编辑在 llama.cpp 实测中,JailbreakBench 英文拒绝率从 91.4% 降到 0.0%,XSTest 安全拒绝率从 8.0% 降到 0.4%,MMLU 变化在约 2 分内;该文件本身尚未在 DwarfStar 上测得数据,适用 Metal(Apple Silicon)、单张 CUDA GPU 或 ROCm。

    推荐理由:原文给出同编辑在 llama.cpp 上的 JailbreakBench 等前后实测数据,读者可以据此估算该 Q2 版本的去对齐收益与 MMLU 代价。

  2. Hugging Face · 新模型:abliterated70

    koldfrontier 发布 DeepSeek-V4.1-Flash-1017 FP8 abliterated 完整权重

    koldfrontier 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 FP8 abliterated 完整权重,仅原地改写 52 个张量(attn.wo_b,第 10-35 层),lambda 2.5,架构不变,可直接用 vLLM 或 SGLang 按原配方部署。实测 1,207 条提示下拒绝率大幅下降,如 HarmBench 从 94.1% 降至 5.0%,过拒率略有改善;代价是一个安全工具的授权/未授权配对从 8/11 降到 0/11,另提供保留 6/11 配对的 lambda 1.0 overlay 版本。

    推荐理由:原文给出六个提示集共 1,207 条的拒绝率前后对比,以及强度与过拒率的取舍数据,可据此判断这个去对齐版本的实际效果。

  3. Hugging Face · 新模型:abliterated65

    koldfrontier 发布 DeepSeek-V4.1-Flash-1017 FP8 去拒绝 overlay

    koldfrontier 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 FP8 去拒绝 overlay,仅修改 52 个 attn.wo_b 张量(第 10-35 层),其余权重与上游逐字节一致。lambda=2.0/2.5 时 HarmBench 拒绝率从 94.1% 降至约 5%,但授权/未授权安全任务的区分从 8/11 塌缩到 0/11,无害提示的过度拒绝从 3.2% 降到 0.0%;方向向量来自 drowzeys/keys-DeepSeek-V4.1-Flash-1017-Abliterated 的 rank-1 分解,生产环境为 4 节点 DGX Spark (GB10) TP4 环形集群,1M 上下文下连续使用无循环或退化。

    推荐理由:原文给出六个评测工具、1207 条提示的拒绝率实测和 lambda 选择依据,读者可据此判断这个去对齐 overlay 的实际代价。

  1. Hugging Face · 新模型:uncensored80

    AtomicChat 发布 DeepSeek-V4.1-Flash-1017 无拒绝版 GGUF 权重

    AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从权重中投影移除,发布 GGUF 量化版和 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率从 88.9%/91.4% 降至 0.0%,3.58bpw-Q2_K 档 MMLU 86.0%→86.6%,2.67bpw-IQ1_M 档 MMLU 降至 81.8% 未通过门槛;需支持 DeepSeek-V4.1 的 llama.cpp 构建(如 Unsloth 的 commit 9d907b7cfe0e),Engram n-gram 表可留在 SSD 上分页读取。

    推荐理由:原文给出拒绝率、KLD 和 MMLU 的前后对照数据,还说明各量化档的取舍,读者可据此选择合适的版本。

  2. Reddit · r/LocalLLaMA64

    DeepSeek-V4.1-Flash UD-Q4_K_XL 在 4x 3090 + EPYC 上的本地部署实测

    /u/C0smo777 在 EPYC 9575F + 768 GB DDR5 + 4x RTX 3090 上实测 Unsloth 的 DeepSeek-V4.1-Flash-1017 UD-Q4_K_XL 量化版,用 llama.cpp PR #30817 构建,散文生成从 12.6 提升到 25.4 tok/s,代码达 39.3 tok/s。关键调优包括用 --load-mode none --lazy-mode off 全量载入 RAM、每物理核一线程、-ub 2048 使 prompt 处理快约 35%;DSpark Q8_0 投机解码在代码上约 80% 接受率、速度翻倍,散文仅约 30%。作者还记录了 --fit 无法为 drafter 正确分配显存、与 --override-tensor 冲突等坑。

    推荐理由:作者实测给出了四组配置的逐项对比数据,包括 DSpark 投机解码在代码与散文上的接受率差异,可复现性较强。

  3. AIHOT · 精选65

    DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer

    DeepSeek 开源高性能大规模推理框架 DeepInfer,采用 Apache-2.0 许可,仓库地址 https://github.com/deepseek-ai/DeepInfer。框架支持优化 kernel、模型与 sampler 运行时,包含 Attention DP、平衡 CP、MoE EP + EPLB 等并行方案,以及零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。

    推荐理由:原文列出了该推理框架的核心并行方案与调度特性,读者可以据此评估它在本地部署和大批量推理场景中的适用性。

  4. GitHub · 灵魂体仓库57

    oh-my-clm 发布可加载到 Pi 的 live-context 镜像扩展并适配 DeepSeek Harness

    DevZjQx 发布 oh-my-clm,一个可加载到 Pi 的精简 live-context 扩展,参考 Facebook Research context-language-models 把当前上下文镜像到普通文件、由模型自行整理的思路。扩展在 Pi 构建 projection 时把可编辑上下文镜像到 /tmp/clm-${sessionId}/LIVE_CTX_MAIN.md,模型可通过 cleanup 工具按 block ID 删除冗余内容或同 call rewrite 缩短 block;所有编辑采用 shrink-only 策略,不能严格缩短上下文的编辑会被拒绝。

    推荐理由:README 把镜像协议、编辑校验和 Pi 与 DSH 两侧持久化语义差异讲得很完整,适合想自己做上下文管理的开发者参考实现思路。