GitHub · 灵魂体仓库·· 14 小时前AI 评分20
baochan24/Project_LLMs_Group4:Deep Learning 课程 decoder-only Transformer 小模型项目仓库
baochan24/Project_LLMs_Group4
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/baochan24/Project_LLMs_Group4
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
这是 Deep Learning 课程的第 4 组演示项目仓库,包含一个用 PyTorch 从零实现的 decoder-only Transformer 小模型,以及 GPT-2 预训练模型推理,自定义模型不加载 GPT-2 权重。模型在 Tiny Shakespeare 数据集(90/10 划分)上训练,采用 2 blocks、4 heads、d=128、context=128,参数量 421,632。仓库提供训练、评估、生成(greedy/temperature/top-k)等 pipeline 命令及 Windows/Linux 环境搭建说明。
来源:GitHub · 灵魂体仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。