GitHub · 去对齐工具与仓库·· 20 天前AI 评分16
CharanAI：从零实现的 GPT 风格小型语言模型开源项目
klu2300032065/LLM_scale_model
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/klu2300032065/LLM_scale_model
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
CharanAI 是一个纯 PyTorch 从零搭建的教育向 GPT 风格因果自回归语言模型，不依赖任何预训练 LLM 权重。模型采用 BPE 分词器、学习式位置嵌入和 2 层 Transformer 块，每层含 Pre-LN、4 头因果自注意力与 GELU 前馈网络。项目以开源形式提供分词、训练、推理脚本及端到端测试套件。
来源：GitHub · 去对齐工具与仓库 · github.com