跳到正文
GitHub · 去对齐工具与仓库·· 4 小时前AI 评分31

maps-behind-llms:用数学映射逐层拆解 decoder-only LLM 的完整讲义

alfietry/maps-behind-llms

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/alfietry/maps-behind-llms

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Alfred Adzika 在 Ohio University 数学系发布的 40 页讲义,把 decoder-only 语言模型逐词预测下一 token 的过程写成一条完整数学映射链:嵌入向量→ L 层 DL 模块(Attn.B + FFN.B)→ LayerNorm、W_vocab 与 softmax。内容涵盖 causal mask、残差连接、交叉熵损失 $L_i=-\log p_i(y_{i+1})$ 及其梯度,并附 LaTeX 源码与 7 页可视化摘要。目前第 1 部分(slides 1–18)已讲,第 2 部分即将发布。

来源:GitHub · 去对齐工具与仓库 · github.com