arXiv · cs.AI· Yu Jiang·· 4 天前精选AI 评分58
arXiv 论文提出 DEPTH 方法，度量并合成终端任务中的真实深度
Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks
来源与原文
arXiv · cs.AI
作者：Yu Jiang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.01927v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出用工作量和深度描述终端任务，深度指必须顺序执行的回合数，并审计了六个数据集的 734 个任务。结果显示合成任务主要增加了工作量而非深度，94% 被解决的合成任务在三个回合内通过，而深度比回合数更能预测难度。作者提出 DEPTH 方法，由生成智能体在真实软件环境中逐段执行并生成任务，产出 105 个深度和工作量超过所有被审计数据集的任务，六个现有模型没有一个通过其中一半；用这些任务的运行记录微调 Qwen3-8B 在两个终端基准上有提升。
推荐理由
论文指出用回合数衡量任务长度反映了模型习惯而非任务本身，并给出深度的新度量方法，可迁移到其他长程任务基准的审视上。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。