GitHub · 灵魂体仓库·· 20 天前AI 评分50
minivllm：从零实现的 vLLM 风格极简 LLM 推理引擎开源
hyjuunn/minivllm
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/hyjuunn/minivllm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 minivllm 是一个从零构建、用于学习的极简 vLLM 风格 LLM 推理引擎，实现了 Paged KV cache、batching 调度器、可插拔 attention 后端和 OpenAI 兼容服务器。项目开源，支持 pip 安装，可下载 Qwen2.5-0.5B-Instruct（约 1GB）进行聊天、测试和不同 attention 后端的 benchmark。
来源：GitHub · 灵魂体仓库 · github.com