研究者提出MAEM解释残差流方向
热点事件持续更新
研究者提出MAEM解释残差流方向
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Celeste De Schamphelaere等作者提出Maximally-Activating Example Metamodels(MAEM),用无标签强化学习目标最大化生成文本激活与给定残差流方向的余弦相似度,把方向映射为强激活文本样例。 据该研究,Qwen3.6-27B MAEM在留出激活反演上优于语料搜索和自然语言自编码器(NLA),在多数留出语言/领域上胜过10M tokens语料搜索,并激活89%的留出SAE特征。其样例可在目标模型上通过前向传播验证,为缩放元模型训练提供有据可查的替代方案。
AI 根据报道生成 · 3 小时前更新
最新进展11月6日 02:54
MAEM:用激活反演缩放解释任意残差流方向报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv · cs.AIMAEM:用激活反演缩放解释任意残差流方向
研究者提出 Maximally-Activating Example Metamodels(MAEMs),用无标签强化学习目标最大化生成文本激活与给定残差流方向的余弦相似度,把方向映射为强激活文本样例。Qwen3.6-27B MAEM 在留出激活反演上优于语料搜索和自然语言自编码器(NLA),在多数留出语言/领域上胜过 10M tokens 语料搜索,并激活 89% 的留出 SAE 特征。其样例可在目标模型上通过前向传播验证,为缩放元模型训练提供有据可查的替代方案。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。