GLM-5.3-Flash 去拒绝向量版发布:EXL3 2.05bpw 量化加运行时消融
作者 alesha-pro 发布 GLM-5.3-Flash 的去拒绝版本,复用 turboderp 的 EXL3 2.05bpw 量化权重,仅新增一个 2.2 MB 的逐块向量文件(44 个块各 3 个方向)并在自研 exllamav3 fork 中运行时减除。在 4x RTX 3090 上以 256K 上下文、视觉、工具调用和 MTP 达 75 tokens/s;438 条 AdvBench 与 JailbreakBench 请求中,加向量后拒绝数从 222 降至 0(严格二分类判定为 1/438),代价是 KLD 从 0.1219 升至 0.1318。作者同时提供 2.4bpw-mix 与 GGUF 版本,并列出仅有单一硬件、无人工标注等限制。
推荐理由:原文给出逐块去拒绝向量的构造方法、438 条请求的拒绝率前后对比和 KLD 代价,可复现也可据此评估损失。