arXiv · cs.AI· Afshin Khadangi·· 2 天前AI 评分22
DeepMem：一种深入处理记忆的因果多尺度字节级语言模型架构
Going Deeper With Memories
来源与原文
arXiv · cs.AI
作者：Afshin Khadangi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.05255v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
DeepMem 是一种因果多尺度架构，将语义压缩与字节精确保留分离，用可逆子带变换构建短序列层级，并以注意力超分辨率解码器恢复字节级表示。它在 FineWeb-Edu 和 PG19 上优于同规模字节级 Transformer，在 FRES 评测语言中取得最佳宏平均成绩，瓶颈精炼的计算 FLOPs 约为全分辨率推理的 1/7600，同时保持有竞争力的评估吞吐。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。