跳到正文
GitHub · 去对齐工具与仓库·· 7 天前AI 评分40

attention-architectures:11 组国产大模型注意力架构路线图集

meetrust/attention-architectures

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/meetrust/attention-architectures

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一个交互式网页把《大模型 Attention 架构与技术路线对照》整理为覆盖 11 组国产大模型、22 个模型版本的可视化路线图集,梳理混合线性、滑动窗口、动态稀疏等注意力机制的使用与演进。页面提供路线迁移图、架构图鉴和 Kimi K3、GLM-5.3-Flash、Step 3.5 Flash、MiMo-V2-Flash 的逐层条码视图,支持按机制筛选、最多 3 组并排对比和 Ctrl/Command + K 定位。数据核对于 2026-11-16,其中 MiMo-V2-Flash 层数按官方 README 更正为 8 组、40 个 SWA 层加 8 个 Global 层,项目需 Node.js 22.18 以上本地运行。

来源:GitHub · 去对齐工具与仓库 · github.com