GitHub · 去对齐工具与仓库·· 16 天前AI 评分49
TinyCeNN-LM:紧凑循环记忆与选择性 Transformer 层替换研究仓库
vtavakkoli/TinyCeNN-LM
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vtavakkoli/TinyCeNN-LM
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 TinyCeNN-LM 是一个研究紧凑循环记忆与选择性替换 Transformer 层的仓库,在 SmolLM2、Qwen3.5、FunctionGemma、Gemma 4 和 Laya / ModernBERT 上实验 CeNN、集成记忆与 delta-memory 等替换方案,目标是在保留预训练能力的同时衡量质量、内存和延迟的权衡。新 V2.5 实验为 Laya 引入 Windowed Delta + 多尺度 CeNN,GPU 结果待出;仓库含 45 个现行 notebook 条目及 30 个归档实验,检查点以 MIT 许可发布在 Hugging Face。
来源:GitHub · 去对齐工具与仓库 · github.com