Reddit · r/LocalLLaMA· /u/Serious_Scarcity7818·· 18 小时前精选AI 评分62
strata serve 让 12 GB RTX 3060 单卡跑 Qwen3.6-35B-A3B 并支持 4 人并发
I turned a 12 GB RTX 3060 into a Qwen API server for 4 people at once
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Serious_Scarcity7818
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xpfzqk/i_turned_a_12_gb_rtx_3060_into_a_qwen_api_server/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
strata serve 现在能在单张 12 GB RTX 3060 上运行 Qwen3.6-35B-A3B Q2_K_XL，并同时服务多个用户：1 人时 106 tok/s，2 人合计 139 tok/s，4 人合计 164 tok/s、每人 41 tok/s。它提供 OpenAI 与 Anthropic API，Open WebUI、OpenCode 乃至 Claude Code 都能接入，API key 从文件读取并可热更新，每个 key 有用量日志。
推荐理由
原文给出了单卡 3060 上 1 到 4 并发用户的吞吐实测，读者可据此判断小显存多用户共享服务的可行边界。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。