Reddit · r/LocalLLaMA· /u/jfinkpottery·· 1 天前AI 评分49
sFNX 现已可运行 Qwen 27B，3xV100 系统上达 114-300 tok/s
sFNX can run qwen 27B now, if you have the right hardware with P2P support. I get 114-300 tok/s depending on prompt, or 224 combined for 6 requests in parallel on my 3xV100 system running Q8.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jfinkpottery
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xjp0mi/sfnx_can_run_qwen_27b_now_if_you_have_the_right/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
sFNX 现已支持运行 Qwen 27B，在 3xV100 系统以 Q8 量化运行，速度随提示词在 114-300 tok/s 之间变化，6 个请求并行时合计 224 tok/s。有用户在解锁的 3090 上跑通 flash-next，但消费级显卡默认可能缺乏足够的 P2P 支持。卡数在 1-2 张时 1cat-vllm 效果相当，而 3 张及以上且 P2P 速度良好的卡上 sFNX 是目前唯一选择，3 卡相比 2 卡方案有明显提升。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。