跳到正文
热点事件持续更新

论文提出Perturb-Select-Vote重新解释Neural Thickets增益

1 篇报道1 个报道来源14 小时前更新

先了解这件事

AI 综述

Nicolas Dufour 在 arXiv 论文(arXiv:2610.40649)中复现了 Neural Thickets 的报告增益,但发现该增益并不依赖其权重空间邻近专家的几何解释:只扰动单个 decoder block 已能恢复大部分提升,冻结模型仅给输出 logits 加随机偏置即可在多数推理任务上匹配或超过全权重扰动。 作者将这一机制形式化为 Perturb-Select-Vote(PSV):通过扰动生成输出多样的预测器、在小验证集上筛选、再投票聚合预测,并联系到采样、self-consistency 和 verifier-guided selection 等推理时方法。在视觉域偏移包括地球观测任务上,logit PSV 显著提升性能,而全权重扰动的额外收益很小。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. arXiv · cs.AI
    arXiv 论文提出 Perturb-Select-Vote,无需权重扰动即可解释 Neural Thickets 增益

    Nicolas Dufour 在 arXiv:2610.40649 复现了 Neural Thickets 的报告增益,但发现其不需要权重空间邻近专家的几何解释。只扰动单个 decoder block 已能恢复大部分提升,冻结模型仅给输出 logits 加随机偏置即可在多数推理任务上匹配或超过全权重扰动。作者将此形式化为 Perturb-Select-Vote(PSV),通过输出多样性、验证集筛选和投票聚合预测,并联系到采样、self-consistency 和 verifier-guided selection 等推理时方法;在视觉域偏移包括地球观测任务上,logit PSV 显著提升性能而全权重扰动额外收益很小。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。