SciIG 基准发布:评测 LLM 生成论文引言
热点事件持续更新
SciIG 基准发布:评测 LLM 生成论文引言
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
Krishna Garg 等发布 SciIG 基准,用于评测 LLM 生成 AI/ML 论文引言的能力,配套数据集、代码与评测框架已在 GitHub 开源(数据集采用 CC BY 4.0,运行评测需 CUDA GPU)。该工作对应 EMNLP 2026 论文。 基准涵盖 NAACL 2025 与 ICLR 2025 论文的 3,900 个样本,评测覆盖 5 个 SOTA 模型、7 种提示策略和 30 项指标,数据集引用解析率达 94.0%。结果显示 LLaMA-4 Maverick 在词汇重叠、内容覆盖、引用质量和困惑度上整体领先;作者称 three-shot 提示在超过 50% 的公式化指标上优于更少示例的方案。
AI 根据报道生成 · 18 小时前更新
最新进展11月5日 21:21
SciIG:面向 AI 辅助科研写作的 LLM 论文引言生成 benchmark(EMNLP 26)报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- GitHub · 3D 生成新仓库SciIG:面向 AI 辅助科研写作的 LLM 论文引言生成 benchmark(EMNLP 26)
SciIG 是一项用于评测 LLM 生成 AI/ML 论文引言能力的 benchmark,涵盖 NAACL 2025 与 ICLR 2025 的 3,900 个样本、5 个 SOTA 模型、7 种提示策略和 30 项评估指标。结果显示 LLaMA-4 Maverick 在词汇重叠、内容覆盖、引用质量和困惑度上整体领先,three-shot 提示在超过 50% 的公式化指标上优于更少示例的方案。数据集采用 CC BY 4.0 开源,引用解析率达 94.0%。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月5日 22:00
- 近 24 小时变化
- –
02.557.510
11月6日03:0006:0009:0012:0015:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。