GitHub · 去对齐工具与仓库·· 14 天前AI 评分46
Modern_LLM：用 PyTorch 复现现代 LLM 对 2017 Transformer 的各项改进的开源库
Thibault-GAREL/Modern_LLM
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Thibault-GAREL/Modern_LLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 Modern_LLM 用 PyTorch 重建 LLaMA 以来开源模型对 Vaswani 2017 Transformer 的各项架构偏离（RoPE、ALiBi、GQA、MLA、YaRN 等），每项由一个 config flag 控制，用于消融实验衡量各改进的真实收益。每个组件提供 naive 与 fast 两条实现路径及数值等价性测试，configs 中附带 7 套配置，并索引了 29 篇参考论文。
来源：GitHub · 去对齐工具与仓库 · github.com