SAE训练数据缩放定律：固定预算下激活缓冲区无需增长

1. 18:00
   arXiv · cs.AI

   SAE 训练数据的缩放定律：固定预算下激活缓冲区无需随训练规模增长

   在总训练预算固定时，SAE 所需的唯一激活数量存在质量平台期，越过该点后回放缓冲区几乎与全程使用新激活同样有效，额外唯一激活对重建和可解释性收益甚微。该缩放定律在 Llama-3.1、Qwen3 不同层与 BatchTopK、TopK、JumpReLU SAE 及不同字典规模、token 预算下得到验证，实验中将激活存储降低 8–64 倍且质量损失可忽略。据此可选择达到质量平台的最小缓冲区并回放剩余预算。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。