GitHub · 灵魂体仓库·· 2 天前AI 评分26
LLM-inference 仓库：用 vLLM 部署 Qwen3-VL-4B-Instruct 的最小推理设置指南
wahyudwi99/LLM-inference
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/wahyudwi99/LLM-inference
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 wahyudwi99/LLM-inference 提供在单张 NVIDIA GPU 的 Linux 环境下通过 vLLM 运行 Qwen/Qwen3-VL-4B-Instruct 的最小设置，经 OpenAI 兼容 API 支持文本及文本+图片请求。基线镜像为 vllm/vllm-openai:v0.11.0，4B 模型 BF16 权重约 8 GB，建议 16-24 GB 显存且 GPU 支持 BF16（compute capability ≥ 8.0）。整套流程通过 Makefile 执行，代码未经实际测试，不含微调、量化、并发 benchmark 等内容。
来源：GitHub · 灵魂体仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。