跳到正文
GitHub · 3D 生成新仓库·· 3 天前AI 评分43

mini-deepinfer:面向 Ascend 910C 的教学推理引擎开源发布

AkiYangDev/mini-deepinfer

来源与原文

GitHub · 3D 生成新仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/AkiYangDev/mini-deepinfer

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

AkiYangDev 开源 mini-deepinfer,一个参考 DeepInfer 设计、面向 Ascend 910C 的教学推理引擎,已在 Ascend 910C 上用项目自身前向计算跑通 Qwen3.5-2B 文本生成,教程共十四课。v0.2 把跨轮执行接到文本生成入口,v0.3 开发版新增可控 greedy 投机实验。验证包括短上下文数值与状态处理,跨轮分块九轮十四组 logits 最大差约 2.67e-5,项目采用 Apache-2.0 许可证,与 DeepSeek、SGLang 及华为无官方隶属关系。

来源:GitHub · 3D 生成新仓库 · github.com