跳到正文
Reddit · r/LocalLLaMA· /u/Express_Quail_1493·· 12 天前AI 评分12

无 NVLink 的多 GPU 环境下 Strata 值得用吗?Titan RTX + RTX 3090 异构组合实测讨论

Does strata on multi-gpu without nvlink worth it?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Express_Quail_1493

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x6fmxv/does_strata_on_multigpu_without_nvlink_worth_it/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位 Reddit 用户在 r/LocalLLaMA 询问 Strata 在无 NVLink 的异构多 GPU 上是否值得使用。其配置为 Titan RTX 与 RTX 3090(均 24GB),单张 3090 运行 qwen3.8-27b 在 300k 上下文下达到 32 tok/s,Titan RTX 基本闲置;另有约 48GB 空闲系统内存。他想知道多 GPU 是否会大幅降低 prefill 速度,还是单卡加系统内存更快。

来源:Reddit · r/LocalLLaMA · reddit.com