Hugging Face Blog·· 1 小时前精选AI 评分56
Ai2 发布 Old Ideas, Novel Problems 研究与基准：LLM 判断科研想法新颖性并不可靠
Can we trust LLMs to judge whether a research idea is novel?
来源与原文
Hugging Face Blog
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/blog/allenai/novelty-bench
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Ai2 发布 Old Ideas, Novel Problems 研究，推出测试 LLM 新颖性评判器的基准、数据、代码及自动化构建管线，基于 ICLR 2026 评审构建 154 条高新颖性与 145 条低新颖性人类想法池。实验显示六个 LLM 评判器对评测设置高度敏感，GPT-5.4 因提示词改动准确率从 93.5% 降到 40.9%；简单 Claude Opus 4.6 提示词基线以 0.854 macro-F1、$2.59 成本优于两个专用评测系统。
推荐理由
原文用提示词改动前后准确率对比量化了 LLM 判新颖性的不稳定，这种评测方法可迁移到其他评测场景。
来源：Hugging Face Blog · huggingface.co