LLM 智能体“准确但不谦逊”:知识冲突下的认知谦逊评估
一项 arXiv 研究提出用认知谦逊(EH)评估智能体,涵盖 Identify、Solve、Escalate(ISE)三个轨迹级行为维度,并在受控冲突与多步执行中自然冲突两种知识冲突设置下测试四个智能体。结果显示更高的任务准确率未必带来更大的认知谦逊:部分高准确率配置能在执行中识别冲突,却不在错误的最终答案中沟通未解决的不确定性;智能体常在早期步骤检测到冲突,但难以在后续步骤维持或解决。模型层面的干预可提升 EH,但往往以牺牲任务准确率为代价。