GitHub · 去对齐工具与仓库·· 4 小时前AI 评分31
maps-behind-llms:用数学映射逐层拆解 decoder-only LLM 的完整讲义
alfietry/maps-behind-llms
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/alfietry/maps-behind-llms
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Alfred Adzika 在 Ohio University 数学系发布的 40 页讲义,把 decoder-only 语言模型逐词预测下一 token 的过程写成一条完整数学映射链:嵌入向量→ L 层 DL 模块(Attn.B + FFN.B)→ LayerNorm、W_vocab 与 softmax。内容涵盖 causal mask、残差连接、交叉熵损失 $L_i=-\log p_i(y_{i+1})$ 及其梯度,并附 LaTeX 源码与 7 页可视化摘要。目前第 1 部分(slides 1–18)已讲,第 2 部分即将发布。
来源:GitHub · 去对齐工具与仓库 · github.com