GitHub · 灵魂体仓库·· 19 天前精选AI 评分69
bethehand 开源 lab1：从零预训练到 aha moment 到编码 Agent 的十五个实验
bethehand/lab1-llm-scratch-to-aha-moment-to-coding-agent
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/bethehand/lab1-llm-scratch-to-aha-moment-to-coding-agent
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者开源 lab1 仓库，在四张 RTX 4090 上完成十五个实验：95M/201M 从零预训练（FineWeb-Ede 困惑度 30.2/18.1）、GSM8K 上 GRPO 使 Qwen2.5-1.5B-Instruct pass@1 提升 0.21、Countdown pass@1 从 0.02 提至 0.98，以及四阶段编码 Agent 课程。报告给出每个实验的完整设置、表格与预测账本，bench_observation_price.py 可在一小时内测量任意 Hugging Face 模型移除可见测试后的性能损失（RL 模型损失 0.16 且全部落在修复环节）。
推荐理由
作者在四张 RTX 4090 上跑通十五个实验并开放全部脚本与预测账本，读者可逐条对照复现 RL 与 SFT 的真实增益。
来源：GitHub · 灵魂体仓库 · github.com