跳到正文
  1. Hugging Face · 新模型:abliterated58

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版,体积从 bf16 的 65.8 GB 降到 22.1 GB,KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化:专家用 FP4 权重加 bf16 激活,Mamba2 投影用 FP8,注意力保持 bf16,并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过,MTP 投机解码接受率 63%;24 GB 显存较紧张,建议 32 GB 以上。

    推荐理由:作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比,可据此选择合适的构建。

  1. Hugging Face · 新模型:abliterated62

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版,20.5 GB(bf16 为 65.8 GB),KL 0.0215,用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化,激活保持 bf16,面向无 FP4/FP8 支持的 GPU(如 Ampere)。在 DGX Spark 上用 vLLM 0.30.0 测试,4 个温度为 0 的请求均正确且工具调用格式正常;Heretic 评测显示 100 个有害提示拒绝 26 个(bf16 去对齐版为 23),作者称数个拒绝的差异不显著。

    推荐理由:发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比,还注明两次基线运行差异数个拒绝不显著,便于判断精度损失。

  2. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  1. Hugging Face · 新模型:abliterated68

    Ternary-Bonsai-2 27B 无对齐版重打包为 1.75-bit GGUF 并附 MTP 草稿头发布

    Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。

    推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。

  2. Hugging Face · 新模型:abliterated54

    Ternary-Bonsai-2-27B 无对齐 GGUF 发布,MTP 头重量化后可跑进 8GB 显存

    作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。

    推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。

  1. Hugging Face · 新模型:abliterated56

    edp1096 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local 量化检查点

    edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。

    推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。

  1. Hugging Face · 新模型:uncensored60

    sky3c 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版,ARC-C 达 735

    sky3c 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,用 Heretic v1.2.0 的 ARA 方法去审查,8 bit 拒绝率从 99/100 降到 0/100,KL 散度 0.0535。模型将思考 token 减至原版的 1/2 到 1/10,8 bit ARC-C 735、ARC-E 882,4 bit ARC-C 719,作者称在全部 7 项基准上超过原版 Qwen3.8-27B。提供常规与 MTP 两种 GGUF 量化,Q4_K_S 下常规版约 75 t/s、MTP 版可超 90 t/s(5090 实测),支持 256k 上下文与视觉(需另下 mmproj 文件),工具调用建议 Q4_K_M 以上量化。

    推荐理由:作者给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据,以及各量化档位的基准对比,可据此评估这个去对齐微调的实际改动幅度。

  2. Hugging Face · 新模型:abliterated69

    shefowl 发布 Qwen3.8-Flash-Next 混合精度 GGUF 量化版

    shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF,非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档,逐字节复制未重新量化,权重为上游已去拒绝的 abliterated 版本。

    推荐理由:作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比,可据此权衡这套混合量化的取舍。

已经到底了