sFNX 支持运行 Qwen 27B，3xV100 上达 114-300 tok/s

1. 03:33
   Reddit · r/LocalLLaMA

   sFNX 现已可运行 Qwen 27B，3xV100 系统上达 114-300 tok/s

   sFNX 现已支持运行 Qwen 27B，在 3xV100 系统以 Q8 量化运行，速度随提示词在 114-300 tok/s 之间变化，6 个请求并行时合计 224 tok/s。有用户在解锁的 3090 上跑通 flash-next，但消费级显卡默认可能缺乏足够的 P2P 支持。卡数在 1-2 张时 1cat-vllm 效果相当，而 3 张及以上且 P2P 速度良好的卡上 sFNX 是目前唯一选择，3 卡相比 2 卡方案有明显提升。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。