跳到正文
GitHub · 去对齐工具与仓库·· 16 天前AI 评分49

TinyCeNN-LM:紧凑循环记忆与选择性 Transformer 层替换研究仓库

vtavakkoli/TinyCeNN-LM

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vtavakkoli/TinyCeNN-LM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 TinyCeNN-LM 是一个研究紧凑循环记忆与选择性替换 Transformer 层的仓库,在 SmolLM2、Qwen3.5、FunctionGemma、Gemma 4 和 Laya / ModernBERT 上实验 CeNN、集成记忆与 delta-memory 等替换方案,目标是在保留预训练能力的同时衡量质量、内存和延迟的权衡。新 V2.5 实验为 Laya 引入 Windowed Delta + 多尺度 CeNN,GPU 结果待出;仓库含 45 个现行 notebook 条目及 30 个归档实验,检查点以 MIT 许可发布在 Hugging Face。

来源:GitHub · 去对齐工具与仓库 · github.com