arXiv · cs.CL· Art Kanke·· 15 小时前精选AI 评分55
rTaste 论文评测六款前沿模型研究智能体的早期研究判断力
rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment
来源与原文
arXiv · cs.CL
作者：Art Kanke
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.40488v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Art Kanke 在 arXiv 发布 rTaste 评测，让六款前沿模型作为研究智能体为7篇 NLP 论文提出最小可行实验（MVE）、预测结果并排序。415个 MVE 中194个被判定可靠、有价值且新颖，但仅73个同时超越种子论文且不显然；智能体首选实验优于随机挑选，但未证明优于选第一个写出的实验，预测仅好于基础率却不比同模型新实例更准，组队成本更高且质量无明确提升。评测框架与全部415个 MVE 的数据集已公开。
推荐理由
论文给出了可复用的研究智能体评测框架和415个实验的完整数据，读者可以据此了解模型研究品味评测的真实边界。
来源：arXiv · cs.CL · arxiv.org