跳到正文
我的
GitHub · 灵魂体仓库·· 14 小时前AI 评分20

baochan24/Project_LLMs_Group4:Deep Learning 课程 decoder-only Transformer 小模型项目仓库

baochan24/Project_LLMs_Group4

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/baochan24/Project_LLMs_Group4

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

这是 Deep Learning 课程的第 4 组演示项目仓库,包含一个用 PyTorch 从零实现的 decoder-only Transformer 小模型,以及 GPT-2 预训练模型推理,自定义模型不加载 GPT-2 权重。模型在 Tiny Shakespeare 数据集(90/10 划分)上训练,采用 2 blocks、4 heads、d=128、context=128,参数量 421,632。仓库提供训练、评估、生成(greedy/temperature/top-k)等 pipeline 命令及 Windows/Linux 环境搭建说明。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。