Optimatech Labs 开源单文件教学用 LLM 项目 feel-smart-llm

Optimatech Labs 在 GitHub 发布 feel-smart-llm，用单个 Python 文件加 numpy 从零实现大语言模型的注意力、损失与手写反向传播，无云端、无 API、无 PyTorch，仅依赖 numpy。模型约 10,689 参数，在文件内段落上训练 4000 轮约需 30 秒（Apple M4 Pro），支持 --text 训练自定义文本、保存加载权重、held-out 损失和温度采样，另有 JavaScript 移植版可在浏览器本地运行。2026 年 10 月更新修复了反向传播中 Wo 梯度用错输入、嵌入梯度经 Wo 重复流回两处错误，新增有限差分梯度检查（--check）、按全局范数的梯度裁剪、单元测试，MIT 许可。