candor-lab 发布 Llama 3.2 3B Instruct 去对齐 GGUF 版

candor-lab 在 Hugging Face 发布 Llama 3.2 3B Instruct 的去对齐版本，通过 Candor 权重编辑工具对注意力和 MLP 输出矩阵做 rank-1 修改，移除模型拒绝指令的方向。实测显示该文件对 288 个有害提示词只拒绝 6 个，而普通 Q4_K_M 量化版拒绝 161 个；团队指出该权重此前经过 4-bit 量化，再次量化会损失 30-45% 的编辑效果，因此将 49 个被编辑矩阵保留在 Q8_0。测量基于 StrongREJECT、Alpaca 提示词与 GSM8K，在 llama.cpp llama-server 中以实际发布文件进行，结果与 heretic 的最佳试验无统计显著差异。