跳到正文
10月21日周三
  1. Hugging Face · 新模型:uncensored67

    dealignai 发布 DeepSeek-V4.1-Flash 无对齐 FP8 权重版

    dealignai 团队基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone,8B/16B 激活)发布权重级 abliterated 无对齐版本 DeepSeek-V4.1-Flash-UNCENSORED-FP8,采用原生 FP8 权重、支持 1M token 上下文、视觉与工具调用,无需自定义 model.py 或运行时钩子,可直接按 base 模型加载。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》

  2. Hugging Face Blog66

    Ai2 发布 FairStress 基准,测出 LLM 决策公平性中的隐性不对称

    Ai2 发布 FairStress 基准,用 300 个真实两难决策场景、扩展后超 1300 万测试用例,测量大语言模型在不同人口身份下的决策稳定性和解释差异。实验发现存在反刻板印象的过纠,模型在对抗性前缀下更容易放弃有利于多数群体的正确决策,匹配前缀下向少数群体切换的概率高出 8.8 到 42.4 个百分点;对 BBQ 的对比显示评测提问和打分方式会改变测得的偏见方向。

    推荐理由:不止测最终选择,还用对抗性前缀测决策稳定性,揭示了用固定选项打分的旧基准可能漏掉的反向过纠现象。

  3. Hugging Face · 新模型:abliterated68

    jcartu 发布 DeepSeek-V4.1-Flash-1017 消融版无损 FP4-CSF 权重

    jcartu 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 版本,用 grimjim 保范数双投影方法在 4-36 层反转拒绝方向,仅改写 attn.wo_b 与共享专家 FFN w2 两类张量,打包为 Local Inference Lab 的无损 FP4-CSF 格式。实测拒绝数从 17 降到 1,MMLU 保持 88.95% 不变,KL 散度仅比运行间噪声高约 0.011;CSF 版需通过 LiL vLLM 镜像以 --load-format mxfp4_csf 加载,权重 MIT 许可,访问需向 Local Inference Lab 社区申请。

    推荐理由:原文给出完整的消融方法、拒绝率前后对照和 MMLU、KL 散度等质量数据,读者可据此评估这个去对齐版本的实际代价。

  4. Hugging Face · 新模型:uncensored60

    Ministral-3-3B-Reasoning 去对齐版发布,拒绝率从 91/100 降至 1/100

    xtools-at 基于 unsloth/Ministral-3-3B-Reasoning-2512 发布去对齐版本,使用 Heretic v2.0.0.dev0 的 Arbitrary-Rank Ablation 方法,对第 9 至 20 层做消融。实测 100 次中拒绝次数从原版的 91 次降到 1 次,KL 散度为 0.0170。原模型为 Ministral 3 家族最小的 3.4B 语言模型加 0.4B 视觉编码器,支持 256k 上下文窗口,BF16 下可装入 16GB 显存,量化后低于 8GB,采用 Apache 2.0 许可证。

    推荐理由:原文给出 Heretic 消融参数与拒绝率前后对比,读者可据此判断这个去对齐版本实际去掉了多少。

  5. Hugging Face · 新模型:uncensored72

    GLM-5.3-Flash 去中国政治审查 LoRA 发布,敏感话题审查率从 65% 降至 1%

    zjj1993 发布面向智谱 GLM-5.3-Flash 的去中国政治审查 LoRA(rank 32,107M 参数,仅作用于 attention 与 shared experts),采用自蒸馏 SFT 加 DPO 两阶段训练,可精确合并进 nvidia/GLM-5.3-Flash-NVFP4 的 BF16 权重。

    推荐理由:原文给出训练方法与前后对照数据,敏感话题审查率从65%降到1%,能力测试差异也在文中列明,可据此自行判断。

10月20日周二
  1. Hugging Face Blog59

    Hugging Face 推出 TorchTPU 原生支持,Transformers 与 Diffusers 可直接运行在 TPU 上

    Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上,用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持,batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×;transformers 测试套件在 TPU 上 96.5% 通过,已报告 34 个问题并修复 19 个。

    推荐理由:官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法,还附带 kernel 加速倍数和 CI 通过率等实测数据。

  2. Hugging Face Blog71

    IBM Research ALTK-Evolve 用学习式记忆登顶 τ²-bench 客服任务榜单

    IBM Research 发布 ALTK-Evolve,通过 GPT-4.1 从智能体自身轨迹中蒸馏行为规则并追加到系统提示词,在不更新权重的情况下让 stock ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%,登顶 2026 年 10 月 12 日榜单快照。换用 gpt-5.5 后 airline 以 82.0% 位居第一;对比显示 retail 需 292 条 lossless 全集才见效,airline 的 14 条 sup3 核心反而更可靠,代价主要是输入 token 成本上升,对话轮数略降。

    推荐理由:不更新权重,仅靠从轨迹中蒸馏的提示词级规则就把 stock ReAct 智能体推上 τ²-bench 榜首,方法可直接复用。

  3. Hugging Face · 新模型:abliterated37

    Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3 量化分支发布

    Hugging Face 上发布 edp1096/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3,基于 Turboderp EXL3 底座与 Huihui GGUF 供体张量,保留路由专家、视觉与 MTP,替换 18 个注意力输出 B 和 18 个共享专家下投影(Q8_0 解码为 F16)。提供 2.04bpw/75.97 GiB、2.27bpw/83.47 GiB、2.52bpw/94.08 GiB 三个分支,实测移植后上下文 129,996 至 1,046,999,各分支按 1M 窗口配置,测试引擎为 ExLlamaV3 1.5.4 与 TabbyAPI。

  4. Hugging Face · 新模型:uncensored34

    Qwen3.6-27B-Uncensored Genesis 版 GGUF 发布:基于 Genesis 张量修复算法的去噪模型

    burningfeet 发布基于 HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型,采用 Genesis 后训练数据再生与校准算法,通过基于 Marchenko–Pastur 分布的自定义 SVD 修复张量噪声,保留 99% 信号与学习梯度,无需重新训练。该 27B 稠密模型原生支持 262,144 token 上下文(可扩展至 1,000,000),支持文本、图像和视频理解,推荐 NVFP4 量化,兼容 llama.cpp、LM Studio、koboldcpp 等 GGUF 运行时。

  5. Hugging Face · 新模型:uncensored38

    Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes GGUF 发布

    burningfeet 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored 的 Genesis Hermes GGUF 模型,将 DJLougen Hermes 微调中约 2k 块 FFN 专家张量数据迁移到无审查基座。该模型采用 Genesis 后训练张量修复算法,基于 Marchenko–Pastur 分布降噪,不涉及再训练。总参数 35B、每 token 激活约 3B(MoE,256 专家),原生 262K 上下文可经 YaRN 扩展至 1M,推荐 NVFP4 或 APEX 量化。

  6. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署发布

    huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署,采用近 2-bit E8P 编码与旋转处理,模型目录约 51.2 GB,只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP,上下文容量 262,144 tokens;实测 8,192 输入 prefill 达 809 tokens/s,Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0,Orinfer 代码为 LGPL-3.0-or-later。

  7. Hugging Face · 新模型:uncensored64

    DeepSeek-V4.1-Flash-1017 无对齐 FP8 版发布,附 MMLU 与 HarmBench 实测数据

    dealignai 发布 DeepSeek-V4.1-Flash-1017 的去对齐版本 DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8,仅做权重级修改,保留视觉、视频、工具调用、推理档位与 1M 上下文,格式与上游字节兼容。内部实测 HarmBench-320 全部 320 条 COMPLY、零拒绝;MMLU 从基线 87.63% 降至 83.77%(-3.86 pp),其中 moral scenarios 下降 40 pp。原生 FP8 e4m3 加 FP4 MoE 专家,需 FP8 GPU,已在 4×H200 验证,MIT 许可。

  8. Hugging Face · 新模型:uncensored46

    hotocooo 发布 Qwen3.8-Flash-Next 专用 DFlash2 草稿模型(Uncensored 版)

    hotocooo 发布针对 DavidAU/Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x-Reasoning-Instruct-GSQ-RCO-GGUF(IQ3_S)微调的 DFlash2 草稿模型,基于 incoai/Qwen3.8-Flash-Next-DFlash2 训练 3000 步,每 7-token 块接受草稿数从 3.568 提升至 3.796。该草稿模型非独立语言模型,输出与目标模型 greedy 结果完全一致。

  9. Hugging Face · 新模型:uncensored78

    AtomicChat 发布 DeepSeek-V4.1-Flash-1017 无拒绝 GGUF 版本

    AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从发布权重中投影移除,烘焙成 GGUF 并附 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率 91.4%→0.0%,俄语 69.0%→0.0%,XSTest 8.0%→0.4%,MMLU 86.0%→86.6%(p=0.69);3.58bpw-Q2_K 版占盘 334.8 GB,Engram n-gram 表可留在 SSD。需未合并的 llama.cpp 支持构建,暂不能在 Atomic Chat 中运行。

    同一新闻,精选展示《AtomicChat 发布 DeepSeek-V4.1-Flash-1017 无拒绝版 GGUF 权重》

  10. Hugging Face · 新模型:uncensored21

    Dyluhn 发布 Qwen3.8-Flash-Next-Uncensored 的 EXL3 4.03 bpw 量化(shared input vector)

    Dyluhn 于 2026-10-20 发布 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 EXL3 量化版本,总体 4.03 bpw,采用 exllamav3 1.5.2 与 turboderp 的 4.05 设置,所有 routed expert 压至 4 bpw、attention 6 bpw。模型引入层内共享输入 sign/scale 向量(suh)以支持开发中的 radiance-exl3 内核,n-gram 表沿用 turboderp 版本且与基座逐字节一致。该仓库未在 exllamav3 中实测,质量未测量;许可证为 Qwen Community License 1.0。

  11. Hugging Face · 新模型:abliterated64

    DeepSeek-V4.1-Flash-1017 Maya-S abliterated GGUF 发布,有害拒绝率从 100% 降至 4%

    Kiwimaker 发布 DeepSeek-V4.1-Flash-1017 Maya-S 的 abliterated GGUF 替换分片,对每个模型 62 个张量施加 rank-2 拒绝削减编辑,提供 Maya v1.1.17 六分片、v1.1.16 四分片及多个 unsloth 布局。实测显示有害拒绝率从 100% 降至 4%,校正准确率差异 0/50,needle 检索 6/6 保持,解码速度下降约 12.8%。附完整下载校验、Maya 部署与编辑复现脚本,MIT 许可。

    推荐理由:原文给出拒绝率前后对比、needle 检索与速度数据,读者可据此判断这个去对齐版本损失了多少能力。

  12. Hugging Face · 新模型:uncensored59

    Harsha001 发布 LTX-2.5 22B dev 去审查版 ROCmFPX GGUF 权重

    Harsha001 在 Hugging Face 发布 LTX-2.5 22B dev 的去审查版 ROCmFPX GGUF 权重,供 stable-diffusion.cpp 在 AMD GPU 上运行。视频 transformer 为 Q4_0_ROCMFP4 4 位格式,Gemma 4 12B 文本编码器经 Heretic 拒绝编辑去审查,拒绝率从 99/100 降到 6/100(KL 散度 0.12),只编辑第 24-39 层的注意力输出投影,并将该差异以 FP32 合入 Lightricks 调优权重,其余张量逐位保留。

    推荐理由:作者给出拒绝率前后对比和逐张量差异统计,还解释了为何文本编码器不用 4 位量化,方法可复用。

  13. Hugging Face · 新模型:uncensored46

    vaultai 发布 Qwen3.8-Flash-Next-Uncensored GGUF 版本

    VaultAI 在 Hugging Face 发布基于 Qwen/Qwen3.8-Flash-Next 的去审查(abliterated)GGUF 模型,采用 huihui-ai 的 abliterated 构建与 unsloth UD-Q4_K_XL 量化并合并为单文件。在 100 条提示词的盲评测试中,质量得分 4.61 对 4.44,容错性 4.86 对 3.83,0 次拒答,沿用 Qwen 许可证(含商用条款)。

  14. Hugging Face Blog58

    Hugging Face 发布 AnyLanguageModel 1.0,一年来本地模型接入 Apple 平台的成果

    Hugging Face 发布 AnyLanguageModel 1.0,它是 Apple Foundation Models 框架的 drop-in 替代,可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成,托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点;同日发布 swift-huggingface 1.0 与 swift-xet 1.0,并可运行于 Linux。

    推荐理由:官方回顾了一年迭代脉络,并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法,对 Swift 开发者有直接参考价值。

  15. Hugging Face Blog73

    Hugging Face 介绍 PyTorch 2.15 的 MPS 后端改进:FP8 登场,MoE 解码最高提速 6.5 倍

    Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进:新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 提速 5 到 6.5 倍,M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核(几何平均 1.23 倍),词表 softmax 约 8 倍加速;Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB,并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。

    推荐理由:Hugging Face PyTorch 团队亲述 MPS 后端改进细节,给出各模型的实测吞吐数字,Mac 上跑模型的读者可以对照评估升级收益。

  16. Hugging Face · 新模型:uncensored56

    Qwen3.8-27B TURBO Heretic 无对齐微调版发布 GGUF 权重,ARC-C 达 735

    yushen100 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版,主打去对齐与思考 token 缩减(约 1/2 至 1/10),8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。去对齐用 Heretic v1.2.0+ 的 ARA 方法,Stage 1 拒绝数从 99/100 降到 0/100(KL 散度 0.0535),Stage 2 后为 11/100、KL 0.0025。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  17. Hugging Face · 新模型:uncensored24

    mradermacher 发布 LFM2.5-24B-A2B-uncensored-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored 的 i1-GGUF 量化版本,示例量化为 Q2_K。该模型可通过 llama.cpp 在本地运行,支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理,也可用 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具加载,并可接入 Pi、Hermes、OpenClaw 等 Agent。

  18. Hugging Face · 新模型:uncensored62

    DeepSeek-V4.1-Flash-1017 无对齐 FP8 版本发布,HarmBench 320 项全部 COMPLY

    dealignai 发布 DeepSeek-V4.1-Flash-1017 的去对齐版本,在原生 FP8 e4m3 权重上做 abliteration,移除拒绝行为,保留视觉、视频、工具调用、推理档位与 1M 上下文。HarmBench-320 全部 320 项 COMPLY、零拒绝;MMLU 从基线 87.63% 降至 83.77%,其中 moral scenarios 下降 40 pp。权重与上游字节兼容,需 FP8 GPU,已在 4×H200 验证,MIT 许可。

  19. Hugging Face · 新模型:abliterated52

    gemma-3-12b-it abliterated v2 GGUF 版发布,改进拒绝方向消融

    作者发布了 google/gemma-3-12b-it 的无审查 abliterated v2 版本,提供 1B、4B、12B、27B 多种规格的 GGUF 量化。新版本以更高精度针对拒绝行为,通过对比有害与无害样本的残差流计算拒绝方向并对 o_proj 等模块的隐状态做正交化,权重因子服从带峰值层的正态分布,支持分批迭代正交化或累积拒绝方向以节省显存;评测结合词典方法与 NousResearch/Minos-v1,目标是接受率大于90%且输出保持连贯,并建议使用 temperature=1.0、top_k=64、top_p=0.95 的生成参数。

    推荐理由:作者给出了消融的具体实现方法和以接受率大于90%为目标的评测方式,可据此了解这一版去对齐权重的做法。

  20. Hugging Face · 趋势模型53

    lodestones 发布 Kromoss:MOSS-Image-Base 的 1024px 全参微调,附 8 步 DMD turbo LoRA

    lodestones 在 Hugging Face 发布 Kromoss,是对 MOSS-Image-Base 的全参微调(1024 px,704k 训练图,发布 EMA 权重),架构与 MOSS-Image-SFT 相同、可直接替换,主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors(8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA)、int8 ConvRot 量化单文件(5.4 GB)、ComfyUI 原生支持与转换脚本,权重采用 Apache 2.0 许可。PartiPrompts(100 提示词,CLIP ViT-L/14)显示 Kromoss + LoRA 得分 27.82,高于 MOSS-Image-Base 的 27.19。

    推荐理由:这是官方模型卡,给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字,便于直接上手和评估效果。

  21. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合量化无审查版发布,单张 RTX 4090 可跑 552B MoE

    开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版(163 GB,152 GiB 专家权重),基于 dealignai 的 abliterated 无拒绝行为检查点,需搭配自研 Xolotl 引擎在 RTX 4090(24 GB)加 90 GB 内存加 NVMe 的单机上运行,512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层,总位宽与均匀 2.25-bit 持平,校准代理上输出误差比均匀 Q2_0 低 17%;实测 prefill 约 250 tok/s,DSpark 解码 17-30 tok/s,HumanEval 21/21、工具调用 10/10。

    同一新闻,精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE》

  22. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  23. Hugging Face · 新模型:abliterated33

    Huihui-Qwen3-VL-4B-Instruct-abliterated 模型发布

    huihui-ai 基于 Qwen/Qwen3-VL-4B-Instruct 通过 abliteration 技术发布去审查版本 Huihui-Qwen3-VL-4B-Instruct-abliterated,仅处理文本部分、不改动图像部分,模型不再回复“无法描述或分析此图像”。该模型已可在 Ollama v0.12.7 及以上版本中以 huihui_ai/qwen3-vl-abliterated:4b-instruct 直接运行,官方建议用于研究或受控环境,避免直接用于生产场景。

  24. Hugging Face · 新模型:uncensored58

    Qwen3.8-Flash-Next-Uncensored NVFP4 版发布,可在单块 96 GB Blackwell 上部署

    sysop1122 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 量化版,将 OrcaRouter 的消融 BF16 权重按 Primitive 的 experts-only RTN 方案打包,路由专家为 NVFP4 group 16,51B PLE n-gram 表保持 BF16 以支持 VLLM_PLE_CPU_OFFLOAD。消融沿用 Arditi et al. (2024) 的拒绝方向移除,仅编辑 149 个残差写入张量,未改动视觉塔、MoE 路由和 gate_up_proj;该版本未重跑 AdvBench/HarmBench 评分,仅做了文本、视觉 OCR 和工具调用解析的抽查。

    推荐理由:模型卡给出了消融编辑的具体张量清单和 DGX Spark 实测吞吐数据,读者可据此判断去对齐程度与单卡部署成本。

  25. Hugging Face · 新模型:abliterated18

    mradermacher 发布 flux-3-image-klein-prompt-upsampler abliterated 版 GGUF 模型

    mradermacher 在 Hugging Face 上发布 flux-3-image-klein-prompt-upsampler 的 abliterated GGUF 版本,提供 F16 量化。该模型可通过 llama.cpp 在本地运行,支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理,也可用 Ollama、Docker Model Runner、Lemonade 等工具加载。

  26. Hugging Face · 新模型:uncensored32

    mradermacher 发布 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic 的 GGUF 量化版本,示例量化为 Q4_K_S。该模型可通过 llama.cpp 在本地运行,支持 llama-server 启动 OpenAI 兼容服务器和 llama-cli 直接推理,也可用 Ollama、Docker Model Runner、Lemonade 等工具加载,并可接入 Pi、Hermes、OpenClaw 等智能体工具。

  27. Hugging Face · 新模型:uncensored42

    neko-legends 发布 DeepSeek-V4.1-Flash-1017-EXL3-3.5bpw-UNCENSORED-4xSpark 去审查量化包

    neko-legends 发布 DeepSeek-V4.1-Flash-1017 的 3.5 bpw EXL3 去审查量化包,对 54 个 abliterated 矩阵以 K=6 重新编码,编辑保留率 mean 0.9992,量化误差比 2.9 bpw 包低约 40%。在 4× DGX Spark 上 MMLU-500 chat 达 81.0%、HumanEval-164 pass@1 达 93.29%,但每 rank 需 67.3 GiB 内存,prefill 吞吐比 2.9 bpw 包低 76%,官方建议四卡环境仍用 2.9 bpw 包。