Reddit · r/LocalLLaMA· /u/pmttyji·· 7 天前AI 评分47
论文解读：COUNT 通过统计 n-gram 计数在主机内存上实现扩展与免训练适配
[Paper] The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation
来源与原文
Reddit · r/LocalLLaMA
作者：/u/pmttyji
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xat6o7/paper_the_count_counting_ngrams_unlocks_scaling/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 COUNT（Counting Offline Unlocks N-gram Transformers），将预计算的 n-gram 计数存于主机内存，无需新增可学习参数即可构建 n-gram 嵌入。在固定算力预算下，为 1B 参数 LM 添加 COUNT 预训练，验证损失提升相当于多花 57% 算力；还可在推理时换用领域语料的 n-gram 计数表，免训练适配新任务。
来源：Reddit · r/LocalLLaMA · reddit.com