fribourgquants 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版
fribourgquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,主打去对齐与思考 token 缩减。用 Heretic v1.2.0+custom 的 ARA 方法消融后,Stage 1 拒绝数从原版 99/100 降到 0/100,Stage 2 平衡后为 11/100、KL 散度 0.0025;8bit ARC-C 达 0.735、ARC-E 0.882,4bit ARC-C 0.719,均高于原版 Qwen3.8-27B。思考块缩减至原版约 1/2 到 1/10,支持 xhigh/medium/low 三档推理模式;MTP 量化在 Q4_K_S 上约 90 t/s,普通量化约 75 t/s(5090、LMStudio 实测)。
推荐理由:作者给出了 Heretic 消融前后 100 次拒绝数与 KL 散度的对照数据,以及各量化档位的基准分数,可据此评估该去对齐微调的实际效果。