GitHub · 灵魂体仓库·· 3 小时前AI 评分39
PyPTO Serving：基于昇腾 NPU 运行 Qwen3-14B 与 DeepSeek V4 的本地推理栈
hw-native-sys/pypto-serving
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/hw-native-sys/pypto-serving
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
PyPTO Serving 是一个在 Ascend NPU 上以 PyPTO kernel 运行 Qwen3-14B 与 DeepSeek V4 生成的小型本地推理栈，提供可安装的 Python 包、模型执行器集成与 CLI 入口。它支持离线生成和 OpenAI 兼容的 HTTP 服务，默认 temperature=0.0、top_p=1.0；DeepSeek V4 需要恰好 8 卡、注意力 DP=8 与 MoE EP=8。监控方面通过 /metrics 暴露 Prometheus 格式的请求延迟、吞吐、KV cache 用量等指标，并附 SQLite 历史记录的本地监控面板。
来源：GitHub · 灵魂体仓库 · github.com