跳到正文
arXiv · cs.AI· Jiayi Chen·· 6 天前AI 评分35

TIDE:基于模型行为的树结构细粒度诊断评测方法

TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors

来源与原文

arXiv · cs.AI

作者:Jiayi Chen

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.29985v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

复旦等机构研究者提出 TIDE,将诊断评测重构为行为驱动的决策树归纳,从 benchmark 样本和模型分数递归构建层次化能力树进行细粒度能力诊断。该方法在 5 个模型、4 个 benchmark 上应用,发现聚合分数掩盖的能力差异:Claude Opus 4.6 在微观经济市场推理上达 100%,高于 GPT-5.4 的 83.3%,但在合同法推理上以 77.8% 落后于 GPT-5.4 的 88.9%。

来源:arXiv · cs.AI · arxiv.org