arXiv · cs.CL· Kaiser Sun·· 19 天前AI 评分41
LLM 智能体“准确但不谦逊”:知识冲突下的认知谦逊评估
Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict
来源与原文
arXiv · cs.CL
作者:Kaiser Sun
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12360v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出用认知谦逊(EH)评估智能体,涵盖 Identify、Solve、Escalate(ISE)三个轨迹级行为维度,并在受控冲突与多步执行中自然冲突两种知识冲突设置下测试四个智能体。结果显示更高的任务准确率未必带来更大的认知谦逊:部分高准确率配置能在执行中识别冲突,却不在错误的最终答案中沟通未解决的不确定性;智能体常在早期步骤检测到冲突,但难以在后续步骤维持或解决。模型层面的干预可提升 EH,但往往以牺牲任务准确率为代价。
来源:arXiv · cs.CL · arxiv.org