arXiv · cs.CL· Srinivasan Iyengar·· 11 天前精选AI 评分60
SPLIT 论文提出在验证器不完美时分配测试时算力的方法
Sample, Mix, or Verify? Allocating Test-Time Compute under Imperfect Verifiers
来源与原文
arXiv · cs.CL
作者：Srinivasan Iyengar
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23255v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.23255 提出 SPLIT，用小规模标注试点通过经验贝叶斯拟合精确公式，在固定预算下规划采样数量、模型选择与验证开销，覆盖接受/拒绝和最高分选择两类验证方式。在七个基准、26 个模型、175 个智能体系统和六类真实验证器上，SPLIT 距事后最优分配仅差 0.02-0.8 个百分点，而所有测试的固定规则在部分场景至少损失 2.5 个百分点；该公式还解释了何时增加 LLM judge 反而降低精度，代码将发布。
推荐理由
论文提出用小规模标注试点来规划测试时算力分配，覆盖26个模型和六类真实验证器的实验规模可作方法参考。
来源：arXiv · cs.CL · arxiv.org