GitHub · 灵魂体仓库·· 19 天前精选AI 评分70
kekzl/imp 发布：专为 RTX 5090 打造的开源推理引擎
kekzl/imp
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/kekzl/imp
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
kekzl 发布了开源推理引擎 imp（MIT 协议），专为 RTX 5090 一代芯片（sm_120a）编写，直接在 NVFP4 4-bit 格式上计算，一个 docker run 即可部署，提供 OpenAI 和 Anthropic 兼容 API 及内置聊天。基准测试中 Qwen3-8B Q8_0 达 385.4 tokens/s，比 llama.cpp 默认快 +141%；还支持将 56.25 GiB 专家权重放在主机内存的 Qwen3.8-Flash-Next NVFP4，以 65.31 tokens/s 运行超出 32 GB 显存的模型。
推荐理由
README 给出了与 llama.cpp 的逐行基准数据和设计取舍说明，可据此判断这类单卡专用推理引擎是否值得替代通用方案。
来源：GitHub · 灵魂体仓库 · github.com