跳到正文
arXiv · cs.CL· Arjun Balaji·· 20 天前AI 评分41

小校准预算下链式推理验证器的免分布保证研究

Certified by Abstention: Distribution-Free Guarantees for Chain-of-Thought Verifiers at Small Calibration Budgets

来源与原文

arXiv · cs.CL

作者:Arjun Balaji

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.09541v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项基于 7 个开源模型、5 种验证信号、37,000 条标注链式推理(CoT)轨迹的研究提出“弃权即有效”观察:低触发率证书虽满足 (\alpha,\delta) 有效性,失败概率却可达 δ/P_fire,模拟中标准证书在校准抽样失败至多 0.3%,但触发时失败高达 69%。研究提出 floor-started 固定序列证书,在所有模型-信号组合上覆盖率超过 Bonferroni,在目标 0.75π₀ 下覆盖率从 0.05 提升到 0.16。研究还发现 benchmark 偏移和 best-of-n 选择下证书错误会超过目标,弃权机制吸收了这些失败。

来源:arXiv · cs.CL · arxiv.org