清华百度等发布上下文压缩规模悖论论文仓库与诊断数据集
先了解这件事
清华大学、百度等机构的研究者在 NeurIPS 2026 发表论文 When Less Is More，并开源了配套 GitHub 仓库和知识覆写、语义漂移诊断数据集（托管于 Hugging Face）。研究发现压缩中的 Size-Fidelity 悖论：更大压缩器重构误差更低但忠实度下降，中型压缩器常优于大模型。 论文覆盖 27 组配置（9 个模型规模 × 3 种压缩率），将现象归因于知识覆写（如白色草莓被改写为红色草莓）与语义漂移（如 Alice hit Bob 被改写为 Bob hit Alice）。在 64× 压缩下，LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53，语义漂移 QA 从 0.41 降至 0.28。 此次发布包含项目网站、数据集文档、QA 生成提示词和数据校验工具；模型检查点、训练与评估实现未包含在本次发布中，FineWeb 预训练语料也未随诊断数据集打包。
AI 根据报道生成 · 2 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 3D 生成新仓库精选NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论，开源诊断数据集与提示词
清华、百度等机构在 NeurIPS 2026 发表 When Less Is More，发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论，覆盖 27 组配置（9 个模型规模 × 3 种压缩率）：更大压缩器重构误差更低但忠实度下降，中型压缩器常优于大模型。论文归因于知识覆写（如白色草莓被改写为红色草莓）与语义漂移（如 Alice hit Bob 被改写为 Bob hit Alice），64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1010月25日 18:00
- 近 24 小时变化
- -51%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。