arXiv · cs.AI· Jiayi Chen·· 6 天前AI 评分35
TIDE:基于模型行为的树结构细粒度诊断评测方法
TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors
来源与原文
arXiv · cs.AI
作者:Jiayi Chen
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29985v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
复旦等机构研究者提出 TIDE,将诊断评测重构为行为驱动的决策树归纳,从 benchmark 样本和模型分数递归构建层次化能力树进行细粒度能力诊断。该方法在 5 个模型、4 个 benchmark 上应用,发现聚合分数掩盖的能力差异:Claude Opus 4.6 在微观经济市场推理上达 100%,高于 GPT-5.4 的 83.3%,但在合同法推理上以 77.8% 落后于 GPT-5.4 的 88.9%。
来源:arXiv · cs.AI · arxiv.org