arXiv · cs.CL· Yibei Guo·· 20 天前AI 评分38
输入盲对照在多选评测中为层程序带来可观的 oracle 余量
Input-Blind Controls Produce Substantial Oracle Headroom for Layer Programs in Multiple-Choice Evaluation
来源与原文
arXiv · cs.CL
作者：Yibei Guo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10368v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究在 Qwen3-4B-Base 和 Llama-3.1-8B 两个模型、4,413 道多选题上检验 32 个跳层与重复层程序。结果显示，共享选项顺序时，输入盲对照产生 10.2-11.8 和 15.6-19.4 个百分点的 oracle 余量，超过真实程序的 9.0 和 10.1；轮换选项后余量大幅下降，但真实程序仍保有 1.4-2.3 和 3.7-4.5 点的正差。这表明可观余量可在共享选项顺序的提示间持续存在，却不构成所选层计算特定收益的证据。
来源：arXiv · cs.CL · arxiv.org