GitHub · 灵魂体仓库·· 21 天前精选AI 评分63
AryenP 开源自托管 LLM 推理平台，附检索与评测门禁
AryenP/llm-inference-platform
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/AryenP/llm-inference-platform
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
AryenP 在 GitHub 开源了一个自托管 LLM 推理平台，用 vLLM 部署 Qwen3-8B，FastAPI 网关后接 PostgreSQL + pgvector 混合检索，覆盖约 1 万篇 arXiv 摘要（11,991 个 chunk），并用 CLI 评测工具在指标回退时以非零退出码拦截发布。
推荐理由
作者给出 BF16 与 AWQ 在不同并发下的实测延迟和成本数据，并解释了延迟与吞吐为何必须分开测量的方法。
来源：GitHub · 灵魂体仓库 · github.com