arXiv · cs.AI· Nikita Koriagin·· 22 小时前AI 评分30
SAE 训练数据的缩放定律：固定预算下激活缓冲区无需随训练规模增长
Scaling Laws for SAE Training Data
来源与原文
arXiv · cs.AI
作者：Nikita Koriagin
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07756v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
在总训练预算固定时，SAE 所需的唯一激活数量存在质量平台期，越过该点后回放缓冲区几乎与全程使用新激活同样有效，额外唯一激活对重建和可解释性收益甚微。该缩放定律在 Llama-3.1、Qwen3 不同层与 BatchTopK、TopK、JumpReLU SAE 及不同字典规模、token 预算下得到验证，实验中将激活存储降低 8–64 倍且质量损失可忽略。据此可选择达到质量平台的最小缓冲区并回放剩余预算。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。