GitHub · 灵魂体仓库·· 9 天前AI 评分50
InferFabric 在 8 张 Ascend NPU 上完成 OpenPangu V2 92B 原生 TP8/EP8 推理
hb4ch/IronPangu
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/hb4ch/IronPangu
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
InferFabric(前身为 Iron Pangu)是一个 Rust 编写的华为 Ascend 推理编译器与运行时,通过 DSL 描述模型并用原生内核执行,全程不参与任何 Python 或 PyTorch 引擎。2026-10-16 达成两个里程碑:92B 模型以 107 行 DSL 定义并编译为 2,109 个 primitive 操作,在 8 张 Ascend NPU(TP8/EP8)上端到端验证,三个完整回答的 33/33 生成 token 与固定参考匹配;activation、路由数据和 KV 状态全程驻留 NPU,24 项 case/rank 审计零 activation 回传。内存复用使每 rank 启动 HBM 增长从 5.79 GB 降至 3.53 GB,约 39%。
来源:GitHub · 灵魂体仓库 · github.com