德州农工团队提出置信度分层人机协同评测统计框架

德州农工大学 Harine Choi 等研究团队在 arXiv 发布论文，提出统一统计框架，将模型自置信与 LLM-as-a-judge 两条评测路线纳入置信分层抽样与误差校正估计（arXiv:2610.35698）。 在 MMLU-Pro 和 MMMU-Pro 上的实验显示，即使置信度未校准也能支撑统计有效的分层审计；当置信分布高度不均衡时，按比例分配可显著降低估计误差。研究同时指出，仅少量目标-验证器对满足人标效率条件，且自动推理成本可能限制实际节省空间。复现材料已随论文发布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。