Ai2 发布研究：LLM 判断科研想法新颖性并不可靠
热点事件持续更新
Ai2 发布研究：LLM 判断科研想法新颖性并不可靠
2 篇报道2 个报道来源1 小时前更新
先了解这件事
AI 综述
Ai2（Allen Institute for AI）发布研究《Old Ideas, Novel Problems》，结论是 LLM 判断科研想法新颖性并不可靠。研究同时公开了配套的测试基准、数据、代码及自动化构建管线。 该基准基于 ICLR 2026 评审构建，包含 154 条高新颖性与 145 条低新颖性的人类想法池。实验显示六个 LLM 评判器对评测设置高度敏感：GPT-5.4 因提示词改动准确率从 93.5% 降到 40.9%；而一个简单的 Claude Opus 4.6 提示词基线以 0.854 macro-F1、2.59 美元的成本优于两个专用评测系统。
AI 根据报道生成 · 6 分钟前更新
最新进展10月28日 00:12
Ai2 发布 Old Ideas, Novel Problems 研究与基准：LLM 判断科研想法新颖性并不可靠报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face Blog精选Ai2 发布 Old Ideas, Novel Problems 研究与基准：LLM 判断科研想法新颖性并不可靠
Ai2 发布 Old Ideas, Novel Problems 研究，推出测试 LLM 新颖性评判器的基准、数据、代码及自动化构建管线，基于 ICLR 2026 评审构建 154 条高新颖性与 145 条低新颖性人类想法池。实验显示六个 LLM 评判器对评测设置高度敏感，GPT-5.4 因提示词改动准确率从 93.5% 降到 40.9%；简单 Claude Opus 4.6 提示词基线以 0.854 macro-F1、$2.59 成本优于两个专用评测系统。
10月27日
- AIHOT · 精选Ai2 发布 Old Ideas, Novel Problems 研究与 benchmark，揭示 LLM 新颖性裁判不稳定
Ai2 发布 Old Ideas, Novel Problems 研究及配套 benchmark、数据、代码和自动化流水线，测试 LLM 作为研究想法新颖性裁判的可靠性。结果显示 LLM 充当新颖性裁判时存在不稳定问题。相关资源已随论文一同公开。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。