跳到正文
热点事件历史事件

发布国产大模型注意力架构交互网页

1 篇报道1 个报道来源7 天前更新

先了解这件事

AI 综述

开发者(麦式AI情报站相关方)在 GitHub 发布开源项目 attention-architectures,将《大模型 Attention 架构与技术路线对照》整理为一个交互式网页,覆盖 11 组国产大模型、22 个模型版本的注意力机制使用与演进路线,包括混合线性、滑动窗口、动态稀疏等机制。

AI 根据报道生成 · 5 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. GitHub · 去对齐工具与仓库
    attention-architectures:11 组国产大模型注意力架构路线图集

    一个交互式网页把《大模型 Attention 架构与技术路线对照》整理为覆盖 11 组国产大模型、22 个模型版本的可视化路线图集,梳理混合线性、滑动窗口、动态稀疏等注意力机制的使用与演进。页面提供路线迁移图、架构图鉴和 Kimi K3、GLM-5.3-Flash、Step 3.5 Flash、MiMo-V2-Flash 的逐层条码视图,支持按机制筛选、最多 3 组并排对比和 Ctrl/Command + K 定位。数据核对于 2026-11-16,其中 MiMo-V2-Flash 层数按官方 README 更正为 8 组、40 个 SWA 层加 8 个 Global 层,项目需 Node.js 22.18 以上本地运行。