跳到正文
arXiv · cs.AI· Nicolas Dufour·· 15 小时前AI 评分51

arXiv 论文提出 Perturb-Select-Vote,无需权重扰动即可解释 Neural Thickets 增益

Rethinking Neural Thickets Without Weight Perturbations

来源与原文

arXiv · cs.AI

作者:Nicolas Dufour

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.40649v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Nicolas Dufour 在 arXiv:2610.40649 复现了 Neural Thickets 的报告增益,但发现其不需要权重空间邻近专家的几何解释。只扰动单个 decoder block 已能恢复大部分提升,冻结模型仅给输出 logits 加随机偏置即可在多数推理任务上匹配或超过全权重扰动。作者将此形式化为 Perturb-Select-Vote(PSV),通过输出多样性、验证集筛选和投票聚合预测,并联系到采样、self-consistency 和 verifier-guided selection 等推理时方法;在视觉域偏移包括地球观测任务上,logit PSV 显著提升性能而全权重扰动额外收益很小。

来源:arXiv · cs.AI · arxiv.org