论文提出Perturb-Select-Vote重新解释Neural Thickets增益
热点事件持续更新
论文提出Perturb-Select-Vote重新解释Neural Thickets增益
1 篇报道1 个报道来源14 小时前更新
先了解这件事
AI 综述
Nicolas Dufour 在 arXiv 论文(arXiv:2610.40649)中复现了 Neural Thickets 的报告增益,但发现该增益并不依赖其权重空间邻近专家的几何解释:只扰动单个 decoder block 已能恢复大部分提升,冻结模型仅给输出 logits 加随机偏置即可在多数推理任务上匹配或超过全权重扰动。 作者将这一机制形式化为 Perturb-Select-Vote(PSV):通过扰动生成输出多样的预测器、在小验证集上筛选、再投票聚合预测,并联系到采样、self-consistency 和 verifier-guided selection 等推理时方法。在视觉域偏移包括地球观测任务上,logit PSV 显著提升性能,而全权重扰动的额外收益很小。
AI 根据报道生成 · 1 小时前更新
最新进展10月30日 01:59
arXiv 论文提出 Perturb-Select-Vote,无需权重扰动即可解释 Neural Thickets 增益报道时间线
沿着报道,了解事件的不同侧面。
10月30日
- arXiv · cs.AIarXiv 论文提出 Perturb-Select-Vote,无需权重扰动即可解释 Neural Thickets 增益
Nicolas Dufour 在 arXiv:2610.40649 复现了 Neural Thickets 的报告增益,但发现其不需要权重空间邻近专家的几何解释。只扰动单个 decoder block 已能恢复大部分提升,冻结模型仅给输出 logits 加随机偏置即可在多数推理任务上匹配或超过全权重扰动。作者将此形式化为 Perturb-Select-Vote(PSV),通过输出多样性、验证集筛选和投票聚合预测,并联系到采样、self-consistency 和 verifier-guided selection 等推理时方法;在视觉域偏移包括地球观测任务上,logit PSV 显著提升性能而全权重扰动额外收益很小。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。