Reddit · r/LocalLLaMA· /u/Nameis19letterslong·· 3 天前AI 评分35
用户开源预训练小型 MoE 模型，供社区微调用于特定任务
I pretrained an efficient SLM for you to finetune for specialised tasks.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Nameis19letterslong
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xddmfu/i_pretrained_an_efficient_slm_for_you_to_finetune/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit 用户预训练了一个小型 SLM 并开放用于微调：该模型是基于 7.28M backbone 的稀疏 11M MoE（活跃参数 5.52M，top-1 路由、2 专家），在约 5.7B token 上训练，上下文窗口 2048。作者同时开源了整套训练管线，支持 CUDA 并针对 Blackwell 2.0 优化，CPU 完全对等；模型权重与快速上手指南已发布在 Huggingface。
来源：Reddit · r/LocalLLaMA · reddit.com