arXiv · cs.CL· Mingyan Liu·· 19 天前精选AI 评分52
SemanticFold 论文提出潜在序列压缩方法，发现语言建模、可解码性与推理无统一保持阈值
SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning
来源与原文
arXiv · cs.CL
作者：Mingyan Liu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.10304v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 SemanticFold，一种在可学习边界折叠前缀隐藏状态的压缩方案，并在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五个规模上评测。固定目标协议下，压缩对各端点的影响非单调且不共享同一阈值，Qwen3-1.7B 在 R=1.7 时 NLL 降低 0.135，而 Pythia 两个模型的 NLL 基本不变；线性探针与推理指标变化小于 0.03。作者结论是潜在压缩下的能力保持没有单一标量证书，语言建模拟合、可解码性与推理在同一压缩操作下可能朝不同方向变化。
推荐理由
原文用固定目标协议把语言建模、可解码性与推理拆开评测，读者可以了解潜在压缩下各能力为何不同步。
来源：arXiv · cs.CL · arxiv.org