GitHub · 去对齐工具与仓库·· 3 天前AI 评分25
MicroLLM：从零训练的 50M 参数小模型开源项目
Anand135001/micro-llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Anand135001/micro-llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
MicroLLM 是一个在 50M 参数预算内从零构建训练的 decoder-only Transformer 语言模型，实际可训练参数为 48,779,904（约 48.78M），采用 GQA、RoPE、RMSNorm、SwiGLU 和 1,024 token 上下文，基于 FineWeb-Edu 数据训练。项目已完成 100M token 训练，val loss 3.8326、困惑度 52.6029，评测接入 HellaSwag、ARC-Easy、PIQA、WinoGrande，并开发基于 FastAPI 的本地推理后端。
来源：GitHub · 去对齐工具与仓库 · github.com