arXiv · cs.CL· Hongcan Guo·· 4 天前AI 评分48
Cola2：连续语义压缩与平衡离散生成协同的层级语言建模
Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
来源与原文
arXiv · cs.CL
作者：Hongcan Guo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31305v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出层级语言生成框架 Cola2，将连续语义压缩与离散文本生成解耦并协同优化，通过无辅助损失的负反馈控制压缩率，结合重建与生成监督学习紧凑潜在表示。约 2100 亿 token 训练量的五项下游任务实验显示其具备竞争力且未饱和的扩展性；在 3460.3 亿源 token 下，未收敛 checkpoint 在八项任务上平均达 60.10，并在 HellaSwag 和 StoryCloze 上超过 Llama-3-8B，而后者预训练预算超过其 43 倍。
来源：arXiv · cs.CL · arxiv.org