GitHub · 3D 生成新仓库·· 3 天前AI 评分43
mini-deepinfer:面向 Ascend 910C 的教学推理引擎开源发布
AkiYangDev/mini-deepinfer
来源与原文
GitHub · 3D 生成新仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/AkiYangDev/mini-deepinfer
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
AkiYangDev 开源 mini-deepinfer,一个参考 DeepInfer 设计、面向 Ascend 910C 的教学推理引擎,已在 Ascend 910C 上用项目自身前向计算跑通 Qwen3.5-2B 文本生成,教程共十四课。v0.2 把跨轮执行接到文本生成入口,v0.3 开发版新增可控 greedy 投机实验。验证包括短上下文数值与状态处理,跨轮分块九轮十四组 logits 最大差约 2.67e-5,项目采用 Apache-2.0 许可证,与 DeepSeek、SGLang 及华为无官方隶属关系。
来源:GitHub · 3D 生成新仓库 · github.com