跳到正文
我的
GitHub · 灵魂体仓库·· 3 小时前AI 评分44

llm-from-scratch:从零手写 GPT、专注软件开发与网络安全的开源学习项目

Canadasun/llm-from-scratch

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Canadasun/llm-from-scratch

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 llm-from-scratch 从零手写 tokenizer、自注意力、Transformer 块和训练循环构建大语言模型,目标是面向软件开发与网络安全领域。当前 Milestone 1 提供约 0.5M 参数的字符级 GPT,可在 CPU 上数分钟完成训练;Milestone 2 升级到 BPE tokenizer 和 10–100M 参数,可用免费 Colab/Kaggle GPU。项目内置安全流水线,包括训练前清洗 API token、JWT 等密钥的 safety/scrub.py 和 prompt 分级内容策略,评测报告 held-out perplexity 并在 CI 中运行。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。