跳到正文
  1. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布,附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。

    推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。

  1. Hugging Face · 新模型:abliterated60

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 FP8 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版,体积从 bf16 的 65.8 GB 降到 35.0 GB,KL 0.0134,用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16(22.1 GB)和 W4A16(20.5 GB)4-bit 版本,可在 Ampere GPU 上运行。Heretic 评测协议下(关闭思考,100 条有害提示)各版本拒绝数为 20-26/100,差异不显著;原始 ThinkingCap 拒绝 99/100,bf16 去对齐版降至 21/100。

    推荐理由:原文给出各量化档位的拒绝率与 KL 对比,以及 vLLM 实测细节,读者可据此判断量化对去对齐效果的影响。

  1. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE

    IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored,对 dealignai 的 abliterated 检查点做校准混合量化,552B 参数 MoE 压缩至约 163 GB(152 GiB 专家权重),可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式(42.8% 三值、39.2% 2-bit、18.0% 3-bit),与同尺寸均匀 Q2_0 相比输出误差低 17%;held-out 困惑度 5.645(原模型 4.915),top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s(启用 ggml patch 可达 27+)。

    推荐理由:原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据,并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。

  1. Hugging Face · 新模型:uncensored52

    Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布,为 12/16/24 GB 显卡保留原生 MTP 头

    codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化,采用 Unsloth 逐张量配方,MTP 头(blk.64)在各档保持 q6_K/q8_0,使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍,RTX 4080 上开启 MTP 后代码生成 55 tok/s,约为关闭时的 1.9 倍;拒绝率数据来自 llmfan46 的 Heretic v2(3/100 拒绝),本仓库未复测。

    推荐理由:作者对每档量化都实测了 KLD、top-1 命中率和解码速度,并与同权重其他量化逐项对比,数据可直接用于选型。

  1. Hugging Face · 新模型:uncensored56

    Venice.ai 联合 Dolphin 团队发布 venice-uncensored(Dolphin Mistral 24B)

    Venice.ai 与 Eric Hartford 及 Dolphin 团队合作发布基于 Mistral 24B 的 venice-uncensored 权重,定位为平台上无硬编码对齐的模型,对齐由用户系统提示词决定。模型卡保留 Mistral 默认 V7-Tekken 聊天模板,给出用于去审查的示例系统提示词,推荐 temperature=0.15,可用 vLLM(需 vllm>=0.6.4、mistral_common>=1.5.2)或 transformers 运行,全精度约需 60GB 以上显存。

    推荐理由:模型卡写明了依赖系统提示词设定对齐的思路和推荐采样参数,本地部署者可以据此直接上手。

  1. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored GGUF 量化发布

    Humberto16 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版,8bit ARC-C 达 0.735、ARC-E 0.882,4bit ARC-C 0.719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。

    推荐理由:作者给出了 Heretic ARA 消融的拒绝率与 KL 散度前后对比,以及各量化档位的基准分数,可据此判断这个去对齐微调的实际改动幅度。

  2. Hugging Face · 趋势模型52

    Infatoshi 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版

    Infatoshi 在 Hugging Face 发布 dealignai/GLM-5.3-UNCENSORED-FP8 的 ExLlamaV3 EXL3 3.0bpw 量化版,总参数 753B,体积 273 GiB,含 MTP 层可用作推测草稿模型。

    推荐理由:作者附上了与 FP8 源权重的 KL 散度、困惑度对比和 tau2-bench 实测,还指出 glm4_5 解析器会破坏字符串参数导致工具调用失败。

  3. Hugging Face · 趋势模型60

    OrcaRouter 发布 OrcaSAQ2 27B Cyber Uncensored GGUF 量化权重

    OrcaRouter 发布 OrcaSAQ-2-27B-Uncensored GGUF,将无对齐的 Qwen3.8-27B 从 54.7 GB BF16 压缩到 15.7 GB,PPL 仅 +0.80%,Top-1 agreement 94.4%,mean KLD 0.020。

    推荐理由:原文给出了量化后与 BF16 基线的 PPL、Top-1 agreement 和 KLD 对照数据,可据此评估这类高压缩权重的保真程度。

  1. Hugging Face · 新模型:uncensored74

    TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集

    TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集,从 3.33 bpw 到 6.72 bpw,全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度,每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×,同质量档位小 1.44 到 7.90 GiB,匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。

    推荐理由:作者用同一协议实测十档量化的KLD、体积与速度,并给出与上游仓位的逐项对照,读者可按显存和用途挑选合适的档位。

已经到底了