GitHub · 去对齐工具与仓库·· 19 天前AI 评分46
llm-arch-research：用 PyTorch 从零实现 GPT、LLaMA、Mistral 等 6 种 LLM 架构的研究项目
pese-git/llm-arch-research
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/pese-git/llm-arch-research
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开源仓库 llm-arch-research 基于 PyTorch 从零实现并对比 GPT、GPT-2、LLaMA、Mistral、Mixtral、Gemma 六种大语言模型架构，仅依赖 PyTorch 和 NumPy，附 BPE 分词器和简单 Trainer。项目含三部分文档：讲解 tokenization、attention、RoPE、MoE 等机制的教程，面向研究者的训练与 HuggingFace 权重加载指南，以及开发者文档；hf-proxy 目前仅支持 GPT 模型。
来源：GitHub · 去对齐工具与仓库 · github.com