跳到正文
GitHub · 灵魂体仓库·· 17 天前AI 评分22

taharallouche/llm-from-scratch:从零实现 GPT-2 的学习仓库

taharallouche/llm-from-scratch

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/taharallouche/llm-from-scratch

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开发者 taharallouche 在 GitHub 上开源 llm-from-scratch 仓库,按 Sebastien Raschka 的《Build a Large Language Model (From Scratch)》一书从零实现 GPT-2,全程未使用编码助手。项目正在进行分类微调部分(WIP),改用 Hugging Face 开源数据集在平衡与非平衡数据上实验,发现左填充(left-padding)显著优于右填充。影评分类任务测试集 Accuracy 达 0.84,并记录了训练集疑似过拟合、需配置 AdamW weight decay 和 early stopping 的经验。

来源:GitHub · 灵魂体仓库 · github.com