Reddit · r/LocalLLaMA· /u/Express_Quail_1493·· 12 天前AI 评分12
无 NVLink 的多 GPU 环境下 Strata 值得用吗?Titan RTX + RTX 3090 异构组合实测讨论
Does strata on multi-gpu without nvlink worth it?
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Express_Quail_1493
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x6fmxv/does_strata_on_multigpu_without_nvlink_worth_it/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit 用户在 r/LocalLLaMA 询问 Strata 在无 NVLink 的异构多 GPU 上是否值得使用。其配置为 Titan RTX 与 RTX 3090(均 24GB),单张 3090 运行 qwen3.8-27b 在 300k 上下文下达到 32 tok/s,Titan RTX 基本闲置;另有约 48GB 空闲系统内存。他想知道多 GPU 是否会大幅降低 prefill 速度,还是单卡加系统内存更快。
来源:Reddit · r/LocalLLaMA · reddit.com