GLM-5.3-Flash abliterated EXL3 2.4bpw 混合量化发布,附逐块去拒向量
作者发布 GLM-5.3-Flash 的 EXL3 混合量化(gate/up 2 bit、expert down 3 bit,约 2.4bpw,98.1 GB),并附 2.2 MB 的逐块去拒向量,运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文(77% 专家驻留 VRAM),256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝,原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个;带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959,需配合作者自己的 exllamav3 fork 使用,许可证 MIT。
推荐理由:作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据,可自行复现并检验量化与去对齐的实际代价。