NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论,开源诊断数据集与提示词
清华、百度等机构在 NeurIPS 2026 发表 When Less Is More,发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论,覆盖 27 组配置(9 个模型规模 × 3 种压缩率):更大压缩器重构误差更低但忠实度下降,中型压缩器常优于大模型。论文归因于知识覆写(如白色草莓被改写为红色草莓)与语义漂移(如 Alice hit Bob 被改写为 Bob hit Alice),64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。
推荐理由:论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据,并公开了诊断数据集与 QA 生成提示词,方法可复用于其他压缩评测。