GitHub · 灵魂体仓库·· 21 天前精选AI 评分66
ictzft 开源从零手写的轻量推理引擎，KV Cache 加速 6.0×
ictzft/inference-engine
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ictzft/inference-engine
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 ictzft 在 GitHub 开源了一个从零手写的轻量推理引擎，覆盖 KV Cache、两阶段调度和采样全家桶，在 RTX 5070 Ti 上用自训 0.21M 字符级 GPT 和 Qwen3-0.6B（bf16）双平台验证。
推荐理由
作者用逐位全等和手算对账验证每步优化，KV Cache 与两阶段调度的加速数字都附实测协议，方法可迁移到自研推理引擎。
来源：GitHub · 灵魂体仓库 · github.com