跳到正文
GitHub · 灵魂体仓库·· 9 天前AI 评分50

InferFabric 在 8 张 Ascend NPU 上完成 OpenPangu V2 92B 原生 TP8/EP8 推理

hb4ch/IronPangu

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/hb4ch/IronPangu

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

InferFabric(前身为 Iron Pangu)是一个 Rust 编写的华为 Ascend 推理编译器与运行时,通过 DSL 描述模型并用原生内核执行,全程不参与任何 Python 或 PyTorch 引擎。2026-10-16 达成两个里程碑:92B 模型以 107 行 DSL 定义并编译为 2,109 个 primitive 操作,在 8 张 Ascend NPU(TP8/EP8)上端到端验证,三个完整回答的 33/33 生成 token 与固定参考匹配;activation、路由数据和 KV 状态全程驻留 NPU,24 项 case/rank 审计零 activation 回传。内存复用使每 rank 启动 HBM 增长从 5.79 GB 降至 3.53 GB,约 39%。

来源:GitHub · 灵魂体仓库 · github.com