Hugging Face · 新模型:abliterated·· 17 天前精选AI 评分80
GLM-5.3-Flash 去拒绝向量版发布:EXL3 2.05bpw 量化加运行时消融
alesha-pro/GLM-5.3-Flash-abliterated-exl3-2.05bpw
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/alesha-pro/GLM-5.3-Flash-abliterated-exl3-2.05bpw
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 alesha-pro 发布 GLM-5.3-Flash 的去拒绝版本,复用 turboderp 的 EXL3 2.05bpw 量化权重,仅新增一个 2.2 MB 的逐块向量文件(44 个块各 3 个方向)并在自研 exllamav3 fork 中运行时减除。在 4x RTX 3090 上以 256K 上下文、视觉、工具调用和 MTP 达 75 tokens/s;438 条 AdvBench 与 JailbreakBench 请求中,加向量后拒绝数从 222 降至 0(严格二分类判定为 1/438),代价是 KLD 从 0.1219 升至 0.1318。作者同时提供 2.4bpw-mix 与 GGUF 版本,并列出仅有单一硬件、无人工标注等限制。
推荐理由
原文给出逐块去拒绝向量的构造方法、438 条请求的拒绝率前后对比和 KLD 代价,可复现也可据此评估损失。
来源:Hugging Face · 新模型:abliterated · huggingface.co