跳到正文
  1. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  2. Hugging Face · 新模型:abliterated58

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版,体积从 bf16 的 65.8 GB 降到 22.1 GB,KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化:专家用 FP4 权重加 bf16 激活,Mamba2 投影用 FP8,注意力保持 bf16,并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过,MTP 投机解码接受率 63%;24 GB 显存较紧张,建议 32 GB 以上。

    推荐理由:作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比,可据此选择合适的构建。

  1. Hugging Face · 新模型:abliterated62

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版,20.5 GB(bf16 为 65.8 GB),KL 0.0215,用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化,激活保持 bf16,面向无 FP4/FP8 支持的 GPU(如 Ampere)。在 DGX Spark 上用 vLLM 0.30.0 测试,4 个温度为 0 的请求均正确且工具调用格式正常;Heretic 评测显示 100 个有害提示拒绝 26 个(bf16 去对齐版为 23),作者称数个拒绝的差异不显著。

    推荐理由:发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比,还注明两次基线运行差异数个拒绝不显著,便于判断精度损失。

  1. Hugging Face · 新模型:abliterated68

    Ternary-Bonsai-2 27B 无对齐版重打包为 1.75-bit GGUF 并附 MTP 草稿头发布

    Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。

    推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。

  2. Hugging Face · 新模型:abliterated54

    Ternary-Bonsai-2-27B 无对齐 GGUF 发布,MTP 头重量化后可跑进 8GB 显存

    作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。

    推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。

  1. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  1. Hugging Face · 新模型:abliterated56

    edp1096 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local 量化检查点

    edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。

    推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。

  1. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE

    IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored,对 dealignai 的 abliterated 检查点做校准混合量化,552B 参数 MoE 压缩至约 163 GB(152 GiB 专家权重),可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式(42.8% 三值、39.2% 2-bit、18.0% 3-bit),与同尺寸均匀 Q2_0 相比输出误差低 17%;held-out 困惑度 5.645(原模型 4.915),top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s(启用 ggml patch 可达 27+)。

    推荐理由:原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据,并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。

  2. Hugging Face · 新模型:abliterated84

    Qwen3.8-Flash-Next 剪枝版 GGUF 发布:每层保留 352 个路由专家,RTX 4050 笔记本跑 10.8 tokens/s

    shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版,每层保留 512 个路由专家中的 352 个,未重量化或重训,基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s,全量 512 专家版为 9.0;代价是事实问答 NQ-open 得分 28.4%(全量 33.1%),greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平;相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB,附带 Strata 运行配置和专家档位文件。

    推荐理由:原文给出完整速度与基准对照数据,读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。

  1. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-Uncensored 的 EXL3 4.00bpw 量化版发布,单卡 24 GB 跑满 262K 上下文

    sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版,权重、lm_head、视觉塔和 MTP 头均为 4-bit,仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测:加载后显存 21.0 GB,无思考模式 155–167 tok/s,MTP 起草接受率 81%;作者注明只做了短测,最长提示词 9K tokens,质量未对照 BF16 源模型。许可为 Apache 2.0,去对齐工作来自 llmfan46。

    推荐理由:作者给出了单张 24 GB 卡上的实测数据,包括显存、速度和 MTP 接受率,对想本地跑同款量化的人有直接参考价值。

  1. Hugging Face · 新模型:abliterated57

    swdq 发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 4-bit 量化版

    swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重,并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors,供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark(GB10)上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测,8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s;相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。

    推荐理由:原文给出了完整的量化方法、实测吞吐数据和复现命令,读者可以直接拿来在单机上部署这个 4-bit 版本。

  1. Hugging Face · 新模型:uncensored56

    Venice.ai 联合 Dolphin 团队发布 venice-uncensored(Dolphin Mistral 24B)

    Venice.ai 与 Eric Hartford 及 Dolphin 团队合作发布基于 Mistral 24B 的 venice-uncensored 权重,定位为平台上无硬编码对齐的模型,对齐由用户系统提示词决定。模型卡保留 Mistral 默认 V7-Tekken 聊天模板,给出用于去审查的示例系统提示词,推荐 temperature=0.15,可用 vLLM(需 vllm>=0.6.4、mistral_common>=1.5.2)或 transformers 运行,全精度约需 60GB 以上显存。

    推荐理由:模型卡写明了依赖系统提示词设定对齐的思路和推荐采样参数,本地部署者可以据此直接上手。

  2. Hugging Face · 新模型:abliterated68

    Dankpaws 发布 Swift 1.5 Qwen3.8-27B Abliterated 的 EXL3 4.25bpw 量化版

    Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式,面向双 RTX 5060 Ti 16 GB 硬件,支持三路并发、每路 115,200 tokens 上下文,包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据,并明确说明未做额外微调或新的 abliteration,也未与 BF16 做成对评测;许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。

    推荐理由:原文给出了完整的量化参数、实测吞吐和内存数据,读者可以按自己的双卡配置复现这套 EXL3 本地部署。

  1. Hugging Face · 新模型:uncensored57

    Qwen3.8-27B-Uncensored 发布 NVFP4 量化版,体积从约 65 GB 压至 19.2 GiB

    zuozijian 发布 JonathanColetti/Qwen3.8-27B-Uncensored 的 NVFP4 量化版,用 NVIDIA TensorRT Model Optimizer 0.43.0 制作。

    推荐理由:原文给出分层量化取舍与双节点 DGX Spark 实测吞吐数据,部署参数和踩坑记录可直接复用。

  1. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored GGUF 量化发布

    Humberto16 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版,8bit ARC-C 达 0.735、ARC-E 0.882,4bit ARC-C 0.719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。

    推荐理由:作者给出了 Heretic ARA 消融的拒绝率与 KL 散度前后对比,以及各量化档位的基准分数,可据此判断这个去对齐微调的实际改动幅度。

  2. Hugging Face · 新模型:abliterated69

    shefowl 发布 Qwen3.8-Flash-Next 混合精度 GGUF 量化版

    shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF,非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档,逐字节复制未重新量化,权重为上游已去拒绝的 abliterated 版本。

    推荐理由:作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比,可据此权衡这套混合量化的取舍。

  3. Hugging Face · 趋势模型60

    OrcaRouter 发布 OrcaSAQ2 27B Cyber Uncensored GGUF 量化权重

    OrcaRouter 发布 OrcaSAQ-2-27B-Uncensored GGUF,将无对齐的 Qwen3.8-27B 从 54.7 GB BF16 压缩到 15.7 GB,PPL 仅 +0.80%,Top-1 agreement 94.4%,mean KLD 0.020。

    推荐理由:原文给出了量化后与 BF16 基线的 PPL、Top-1 agreement 和 KLD 对照数据,可据此评估这类高压缩权重的保真程度。

  4. Hugging Face · 新模型:abliterated56

    shamidk 发布 Apex Flash 1 abliterated 的 DS4 混合 Q2 GGUF 量化版

    shamidk 在 Hugging Face 上发布了 Apex Flash 1 abliterated 的纯文本 GGUF 转换版,采用 IQ2_XXS 与 Q2_K 混合量化配方,文件 89.88 GiB、含 1,412 个张量,省略视觉权重。作者在 128 GiB 内存的 Apple M5 Max MacBook Pro 上用 DS4 runtime 实测,解码速度中位数 11.13 tokens/s,有界质量测试 3/4 通过、严格类型化工具测试 34/36 通过;作者明确说明 abliteration 只针对拒绝行为,不代表能力提升,Agent 编码交付、视觉权重、更大上下文和与 BF16 的质量对等均未验证。转换版以 MIT 许可分发。

    推荐理由:这是一次量化转换加实测记录,作者给出了具体推理速度、质量测试结果和明确的未验证范围,便于读者自行评估可用性。

已经到底了