跳到正文
热点事件历史事件

Reddit 用户发布 Qwen3.5-4B 单神经元激活转向教程

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

Reddit 用户 /u/Tasty-Ad-3753 在 r/LocalLLaMA 发布教程,讲解如何对 Qwen3.5-4B 做单神经元激活转向,并称该方法可在 llama.cpp 中保存为控制向量、用 --control-vector 参数加载后继续对话。作者称此前发过关于 Qwen 中奇特神经元的帖子,应网友要求整理成指南。 方法是在目标层的 down_proj 上加 forward pre hook,按 dose × median_residual_norm[L] / W_down[:, n].norm() 对单个神经元注入固定偏移。作者称 dose 取 0.75–1 效果较好,超过 1–1.5 通常会产生乱码。

AI 根据报道生成 · 4 天前更新

最新进展11月10日 07:59
Qwen3.5-4B 单神经元转向实操指南

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. Reddit · r/LocalLLaMA精选
    Qwen3.5-4B 单神经元转向实操指南

    Reddit 用户 /u/Tasty-Ad-3753 在 r/LocalLLaMA 发布教程,讲解如何对 Qwen3.5-4B 做单神经元激活转向。Qwen3.5-4B 共 32 层、每层 9,216 个神经元,方法是在目标层 down_proj 上加 forward pre hook,按 dose * median_residual_norm[L] / W_down[:, n].norm() 对单个神经元注入固定偏移;dose 取 0.75-1 效果较好,超过 1-1.5 易产出乱码。