GitHub · 去对齐工具与仓库·· 5 天前AI 评分33
ShreyasK06 的 Tiny Shakespeare GPT：从零训练小规模 GPT 语言模型项目
ShreyasK06/LLMProject
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ShreyasK06/LLMProject
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一个从随机初始化、无预训练权重开始训练的 GPT 风格语言模型项目，使用约 1MB 的 TinyShakespeare 文本（1,115,394 字符、65 个字符类别），字符级 tokenize，模型 3.24M 参数，上下文窗口 256 字符。经 next-token prediction 预训练，选中的 exp_c_small 配置验证损失 1.4338、测试困惑度 6.19，并通过 React 前端与 Vercel serverless 后端以纯 JavaScript 逐字符流式输出。
来源：GitHub · 去对齐工具与仓库 · github.com