arXiv论文提出可验证任务上的心智理论多级评测
热点事件观察中
arXiv论文提出可验证任务上的心智理论多级评测
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Zhenshuai Yin 等人在 arXiv 发布论文，提出在带非对称信息的家庭协作与日程调度任务上，对语言模型心智理论（ToM）进行多级评测，区分“恢复信念”与“使用信念”两种能力，并保留原任务的约束与验证器。 在六种模型配置中，两种能力出现分化：Claude 能正确恢复全部智能体信念，但仅在 67.9% 的匹配调度案例中给出主观最优计划；Qwen-27B 在提供信念后成功率从 55.0% 升至 75.0%；Qwen-4B 答对所有固定信念来源问题，却只完成 20.0% 的对应后续执行。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 11:06
从信念推理到任务执行：可验证任务上心智理论的多层次评估报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv · cs.CL从信念推理到任务执行：可验证任务上心智理论的多层次评估
一项 arXiv 研究提出在可验证任务上评估语言模型心智理论（ToM）的多层次方法，通过带非对称信息的家庭协作与日程调度任务，区分信念恢复与信念使用。六种模型配置中能力出现分化：Claude 能正确恢复全部智能体信念，但仅在 67.9% 的匹配调度案例中给出主观最优计划；Qwen-27B 在提供信念后成功率从 55.0% 升至 75.0%，而 Qwen-4B 虽答对所有固定信念来源问题，却只完成 20.0% 的对应后续执行。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。