arXiv · cs.CL· Ian Magnusson·· 12 天前精选AI 评分52
arXiv 论文提出 COUNT 方法：用 n-gram 计数扩展主机内存并实现免训练适配
The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation
来源与原文
arXiv · cs.CL
作者：Ian Magnusson
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20456v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文（arXiv:2610.20456）提出 COUNT（Counting Offline Unlocks N-gram Transformers），通过在主机内存存储预计算的 n-gram 计数构建 n-gram 嵌入，不增加可学习参数。在固定算力预算下，将 COUNT 作为额外输入嵌入用于预训练 1B 参数语言模型，验证损失的改善相当于多花 57% 算力；GPU 内存受限时，让骨干参数占满 GPU 的效果优于与可学习 n-gram 嵌入分摊内存。推理时还可换用领域语料的 n-gram 计数表，无需训练即可适配新任务。
推荐理由
论文给出把 n-gram 计数存到主机内存的免训练适配方案，并量化了固定算力下的验证损失收益。
来源：arXiv · cs.CL · arxiv.org