NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论，开源诊断数据集与提示词

清华、百度等机构在 NeurIPS 2026 发表 When Less Is More，发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论，覆盖 27 组配置（9 个模型规模 × 3 种压缩率）：更大压缩器重构误差更低但忠实度下降，中型压缩器常优于大模型。论文归因于知识覆写（如白色草莓被改写为红色草莓）与语义漂移（如 Alice hit Bob 被改写为 Bob hit Alice），64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。