跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分48

llm-architectures:系统化学习与复现主流开源大模型架构的代码知识库

yyl123456/llm-architectures

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/yyl123456/llm-architectures

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 llm-architectures 提供主流开源大模型(LLM/VLM/MoE)网络结构与核心算法的系统化学习与复现实现,覆盖 LLaMA、DeepSeek、Qwen、Mistral、Gemma、Phi、Falcon、Yi、Baichuan 等系列。项目按机构/系列/版本组织目录,每个版本含 README 架构解析、纯 PyTorch 自包含 modeling.py 实现与 config.json,并提供注意力机制、位置编码、归一化、MoE 及量化(FP8、AWQ、GPTQ)等通用组件库和跨模型横向对比。

来源:GitHub · 去对齐工具与仓库 · github.com