Reddit · r/LocalLLaMA· /u/jmuff98·· 11 天前AI 评分22
Strata 在 Quadro M6000 / Tesla M40 上的性能表现
Strata performance on Quadro M6000 / Tesla M40
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jmuff98
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x7qy0k/strata_performance_on_quadro_m6000_tesla_m40/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
网友在 Quadro M6000 / Tesla M40 上运行 Strata，实测 Prefill 150 tk/s、Decode 25 tk/s，速度不算快、能效也一般，但对本地 LLM 部署意外实用。借助 Strata 全部专家可装入 VRAM，作者仅用 Strata 提升 prefill 速度，未做代码优化，只是将 NVIDIA 架构移植到 Strata 以支持 Maxwell 显卡。
来源：Reddit · r/LocalLLaMA · reddit.com