跳到正文
我的
Reddit · r/LocalLLaMA· /u/FeydRowan·· 15 小时前精选AI 评分69

对 Qwen3.8-27B 做低秩权重编辑降低拒绝率,实测能力几乎无损

Can Opus weight-space-edit Qwen3.8-27B to refuse less? Yes

来源与原文

Reddit · r/LocalLLaMA

作者:/u/FeydRowan

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xoo730/can_opus_weightspaceedit_qwen3827b_to_refuse_less/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/FeydRowan 对 Qwen3.8-27B 做了低秩权重编辑以降低拒绝率,编辑限定在第 20-47 层(共 64 层),每层单一方向,无训练且可逆,仅由 28 个小向量描述。限制在层带内可保留能力:Q8 下 MMLU-Pro 73%、GSM8K 93% 与基线持平,而全 64 层编辑会让 MMLU-Pro 从 73% 跌到 9%。拒绝率整体下降约 50%,但效果按 9 个类别不均匀,接受率从约 76% 到约 10%,多数为带免责声明的部分帮助。权重已以 GGUF 发布于 https://huggingface.co/Feyd89/Qwen3.8-27B-refusal-band-ablation-experiment ,作者还指出此类编辑可通过权重量审计检测到,建议开放权重附带签名哈希。

推荐理由

作者给出了层带限制、基准前后对比和分类别接受率的实测数据,还讨论了权重量审计这种可检测性,方法与局限都写得坦白。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。