跳到正文
  1. Hugging Face · 新模型:abliterated74

    DeepSeek-V4-Flash-0731 去对齐 v2 LoRA 适配器发布,拒绝率最低降至 3.57%

    putao886 发布 DeepSeek-V4-Flash-0731(284B 总参数/13B 激活 MoE,MIT 许可)的 abliterated v2 rank-1 LoRA 适配器,用 heretic-gguf 在量化 GGUF 权重上直接运行 Heretic 的 Optuna 优化方向消融。四个适配器均 Pareto 最优:t265 拒绝率 8.57%(12/140)、KL 0.0651,t264 拒绝率 3.57%(5/140)、KL 0.1399,在 140 条有害提示词评测集上每个拒绝/KL 权衡点都优于 v1(v1 为 14.29%)。

    推荐理由:原文给出四个 LoRA 适配器的拒绝率与 KL 散度实测数据,v2 在每个权衡点都优于 v1,读者可按需选择去对齐强度。

  2. arXiv · cs.AI59

    ThinkBit 提出面向推理保持的标量 2-bit 量化框架,Qwen3-1.7B 上 MATH-500 达 73.0

    ThinkBit 是一个严格标量的 2-bit 量化框架,用整数码字乘 bfloat16 组共享尺度表示权重,按敏感性给每层分配三值/2-bit/3-bit 位宽,经逐层 Gumbel-softmax 码字搜索、知识蒸馏尺度再校准和短程 QAT 保留推理能力。在 Qwen3-1.7B 上,再校准检查点 MATH-500 得 46.7,高于同数据训练的 EfficientQAT 的 30.0;QAT 后达 73.0;0.52 GB 的体积小于该模型所有已发布 2-bit GGUF 且 MATH-500 更准。扩展到 14B 时 3.74 GB 模型得 94.8,bfloat16 的 29.5 GB 模型为 97.5。论文地址 https://arxiv.org/abs/2610.34886v1

    推荐理由:论文用敏感性分层、尺度再校准和短程 QAT 做 2-bit 推理模型量化,给出与 EfficientQAT 的 MATH-500 对比数据可参考。

  1. Hugging Face · 新模型:uncensored60

    XTer123 发布 Nanbeige4.3-33B-Uncensored GGUF 去对齐版本

    XTer123 基于 Heretic 的拒绝方向消融方法,将 Nanbeige4.3-33B 去对齐并量化为 Q5_K_M GGUF,无微调与新训练数据,104 个可消融矩阵中仅改 59 个,抽查张量与基座逐位一致。在其 100 条提示词测试集上,基座模型拒绝 98 次,该版本拒绝 26 次,KL 散度为 0.0224;聊天模板未改动,支持 262144 token 上下文配 4-bit KV cache,附带 rank-3 delta adapter 可重建权重,License 为 Apache-2.0。

    推荐理由:原文给出拒绝方向消融方法与 98 比 26 的拒绝率对比和 KL 散度数据,可据此判断这个去对齐版本改动幅度。

  2. Hugging Face · 新模型:abliterated60

    KaedeTai 发布 occamy-1.0-abliterated 的 MLX 4-bit 量化版并移植 MTP 草稿头

    KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit,约 20 GB。仓库装回 Accio-Lab 原版的 vision tower,并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头;该头在 Occamy 上草稿接受率达 65.6%(每周期 2.13 个 token),高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动,42 个对照张量中 40 个与未去对齐基座逐位一致,其余两个正是消融所改的矩阵。

    推荐理由:作者给出了逐张量校验和同机对照的 TMMLU+ 分数,可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。

  3. Hugging Face · 新模型:uncensored60

    dealignai 发布 Nanbeige4.3-33B 的 UNCENSORED GGUF 量化版本

    dealignai 在 Hugging Face 发布 Nanbeige4.3-33B 的 UNCensored GGUF 版本,移除基础模型的拒绝行为,提供 Q6_K(25.3 GB)、Q4_K_M(18.7 GB)、IQ2_XXS(8.7 GB)三种量化,均附带基于 1M token 校准内容的 imatrix,保留原生 think on/off 与 512K 上下文。与同量化基础版对比,MMLU chat 下降 Q6_K −1.74pp、Q4_K_M −1.09pp、IQ2_XXS −4.53pp;6 提示多轮合规测试三个量化均为 6/6 通过、0 次拒绝。

    推荐理由:原文给出三种量化的 MMLU 前后对照和多轮拒绝率实测,读者可据此评估去掉拒绝行为的能力代价。

  4. Hugging Face · 新模型:abliterated58

    Nanbeige4.3-33B 网络安全去对齐 GGUF 版发布,拒绝率从 80% 降到 8%

    FRENCHFAKER 发布首个 abliterated 版 Nanbeige4.3-33B GGUF,用 refusal-direction ablation 移除原始模型对进攻性安全请求的拒绝行为。50 条有害提示词基准上拒绝率从 80%(40/50)降至 8%(4/50),安全/渗透测试类提示词拒绝率约 0%,推理与工具调用保持完整;IQ4_XS 量化约 17 GB,可在单张 24 GB GPU 上以约 33 tok/s 运行,基于 Apache-2.0 许可。

    推荐理由:原文给出拒绝率前后对照和逐层消融方法,读者可据此评估这个去对齐版本的可靠程度。

  5. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布,附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。

    推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。

  1. Hugging Face · 新模型:abliterated58

    Qwen3.8-Flash-Next GSQ-RCO 量化包发布,附运行时去拒绝向量与实测数据

    作者发布了一个 Strata 运行时去拒绝方案包,收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GSQ-RCO 量化权重(逐字节复制并校验 SHA256),外加一个 480 KB 的拒绝方向向量文件,来自 Huihui 对 144 个残差写入张量的秩一编辑,在推理时对每层残差流做投影 h = h - (h·r)r 以移除拒绝行为。

    推荐理由:作者用拒绝率、KL 散度和解码速度实测了运行时去拒绝向量的效果,数据可直接用于判断这种方案对输出的改动幅度。

  2. Hugging Face · 新模型:abliterated74

    RecursiveSI Flint 40B-A2.5B 去对齐版发布,MITRE 拒绝率从 15% 降至 0%

    RecursiveSI 的 Flint 40B-A2.5B 去对齐版本发布,用 abliterix 从 attention、共享与路由专家投影中移除拒绝方向,Optuna 在 100 条 MITRE 提示词上选强度。保留的 MITRE 拒绝率从 15% 降至 0%(n=100,Q8_0),无害提示词 KL 散度 0.0146 nats/token,HumanEval+、MBPP+、GSM8K、MMLU-Pro、CyberMetric、WMDP-cyber 无显著下降,pp512/tg128 速度变化在 3% 以内。

    推荐理由:原文给出消融方法与拒绝率前后对照,MITRE 拒绝从 15% 降到 0% 且各基准无显著下降,便于评估该去对齐版本的取舍。

  1. Hugging Face · 新模型:abliterated73

    DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑

    ktobik 在 Hugging Face 发布 abliterated(去拒绝)版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化,提供 Mix-256G(235.8 GB 内存)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 384 个路由专家和 197B 参数 Engram n-gram 表(110.6 GB 留在 SSD 按需读取),1M token 上下文。精度由实测 KLD 的背包搜索逐层分配,Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。

    推荐理由:原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法,读者可据此判断去对齐版本与量化方案的实际代价。

  2. Hugging Face · 趋势模型77

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。

    推荐理由:原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。

  3. Hugging Face · 新模型:uncensored68

    Qwen3.8-27B OrcaRouter Uncensored 的 GGUF 与 NInfer 量化版发布,适配 16 GB 显存

    codavidgarcia 发布 orcarouter/Qwen3.8-27B-Uncensored 的 GGUF 与 NInfer 量化文件,让模型连同原生 MTP 头在 16 GB 显存内运行。该去对齐版本在 abliterlitics 的 12 个变体对比中以 82% 的有害提示服从率排第一,各能力基准与原模型差距在 ±1.3 分内;作者在单张 RTX 4080 16 GB 上实测了各文件的 KLD、速度与 llama.cpp/NInfer 运行命令,许可证为 Apache-2.0。

    推荐理由:原文给出拒绝率、KLD 与 RTX 4080 实测速度数据,可据此判断该去对齐量化版的损失与 16 GB 可用性。

  4. Hugging Face · 新模型:uncensored52

    Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced GGUF 量化镜像发布

    grainrigi 在 Hugging Face 镜像了 HauhauCS 的 Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced GGUF 量化版,作为备份保留 Q8_K_P 与 f16 mmproj。原版基于 google/gemma-4-26B-A4B-it,总参数 25.2B、激活约 3.8B(128 专家取 top-8 加 1 共享专家),256K 原生上下文、原生多模态;经自动化与人工拒绝基准测试为 0/465 拒绝,少量边缘提示首次会回避但重问即答。

    推荐理由:原文给出 0/465 拒绝率的自动化与人工实测数据,以及各量化档位大小和推荐配置,便于按显存选档。

  5. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  6. Hugging Face · 新模型:uncensored78

    AtomicChat 发布 NVIDIA Nemotron 3.5 Bolt E4B 无拒绝 GGUF 与 3.5 MB LoRA

    AtomicChat 把 NVIDIA Nemotron 3.5 Bolt E4B(基于 Gemma-4-E4B-it)的拒绝行为从权重中移除,提供烘焙 GGUF 量化版和 3.5 MB rank-1 LoRA。按 Arditi et al. 2024 的拒绝方向方法处理 Gemma 4 每块三次写入及其 RMSNorm 共 126 个矩阵。JailbreakBench 拒绝率从 93.8% 降到 1.2%,俄语红队提示从 76% 降到 0%,XSTest 从 9.2% 降到 0.4%,开启思考后 30 题中 29 个拒绝降为 0;MMLU 从 68.50% 到 67.85%(McNemar p=0.21),工具调用 20/20、30k 长文检索 3/3 不受影响。

    推荐理由:原文给出完整的拒绝方向定位方法与前后对照数据,拒绝率从93.8%降到1.2%,MMLU与工具调用影响均有实测。

  7. Hugging Face · 新模型:uncensored64

    flint-uncensored GGUF 量化版发布,拒绝率从 98/100 降至 5/100

    Octopusman388 发布 electroglyph/flint-uncensored 的 GGUF Q4_K_M 量化版(22.5 GiB),该模型是对 RecursiveSI/flint(39.8B-A2.5B MoE 编码模型)的 Heretic 去对齐版本,仓库仅做转换与量化,无额外训练,Apache 2.0 许可。实测拒绝率 5/100(原版 98/100);已知问题是在边界/敏感提示下推理可能失控,10k+ 字符无答案,presence_penalty 1.5 无效,用 --reasoning-budget 4096 加提示语可缓解,4/4 单轮及多轮 agent 运行均正常终止。

    推荐理由:作者实测了拒绝率前后对比和推理循环问题,并给出可复现的 reasoning budget 缓解参数与解码速度数据。

  8. Hugging Face · 新模型:abliterated58

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版,体积从 bf16 的 65.8 GB 降到 22.1 GB,KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化:专家用 FP4 权重加 bf16 激活,Mamba2 投影用 FP8,注意力保持 bf16,并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过,MTP 投机解码接受率 63%;24 GB 显存较紧张,建议 32 GB 以上。

    推荐理由:作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比,可据此选择合适的构建。

  1. Hugging Face · 新模型:abliterated62

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版,20.5 GB(bf16 为 65.8 GB),KL 0.0215,用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化,激活保持 bf16,面向无 FP4/FP8 支持的 GPU(如 Ampere)。在 DGX Spark 上用 vLLM 0.30.0 测试,4 个温度为 0 的请求均正确且工具调用格式正常;Heretic 评测显示 100 个有害提示拒绝 26 个(bf16 去对齐版为 23),作者称数个拒绝的差异不显著。

    推荐理由:发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比,还注明两次基线运行差异数个拒绝不显著,便于判断精度损失。

  2. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  3. Hugging Face · 新模型:abliterated71

    armin1 发布 Nemotron-3.5-Super-VL-120B-A12B-NVFP4 的 abliterated 无对齐版本

    armin1 发布了 NVIDIA Nemotron-3.5-Super-VL-120B-A12B-NVFP4 的 abliterated(uncensored)版本,通过保持量化的轻量权重编辑移除拒绝行为,可无缝替换原模型并在 vLLM 与 TensorFold 上直接加载。

    推荐理由:给出了同一测试环境下的拒绝率、KL 保真度和推理速度对比数据,可以据此评估这个去对齐版本付出的实际代价。