Reddit · r/LocalLLaMA· /u/FieldMouse-AI·· 3 天前AI 评分32
lvgale 在 PCIe x1 极限硬件上并发服务 Qwen 27B、9B、2B 三个模型
🌋 Pushing PCIe x1 to the limit: lvgale concurrently serving 27B, 9B, and 2B LLMs on a hardware abomination 📈
来源与原文
Reddit · r/LocalLLaMA
作者：/u/FieldMouse-AI
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xdq2cj/pushing_pcie_x1_to_the_limit_lvgale_concurrently/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户在名为 lvgale 的拼凑主机（i7-6700K 加 RX 580、RX 570、GTX 1660 Super、GTX 1070，部分仅 PCIe x1/x2）上，用自研 Slipstream 编排引擎以混合厂商 Vulkan 后端并发运行三个视觉模型：Qwen3.8:27b-vision 达 3.82 t/s，Qwen3.5:9b-vision 达 4.75 t/s，Qwen3.5:2b-vision 达 12.47 t/s，同时处理 OCR 与视觉解析。
来源：Reddit · r/LocalLLaMA · reddit.com