Reddit · r/LocalLLaMA· /u/Adorable_Weakness_39·· 2 小时前精选AI 评分70
OpenJet 在单张 RTX 3090 上并行运行 4 个编码智能体，总解码速度约 256-288 tok/s
4 coding agents on one RTX 3090: ~290 tok/s total from a custom CUDA engine for Qwen3.8-27B (3-4x llama-server --parallel)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Adorable_Weakness_39
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xgs8hp/4_coding_agents_on_one_rtx_3090_290_toks_total/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者为 OpenJet 编码智能体发布了自研 CUDA megakernel 引擎的新版本，可在单张 RTX 3090 上同时服务多个 Qwen3.8-27B Q4_K_M 智能体。4 个智能体合计 256-288 tok/s，为 llama-server --parallel 4（72-80 tok/s）的 3-4 倍，单智能体仍达 117 tok/s。
推荐理由
作者给出同卡同模型下与 llama-server 的逐项解码速度对比和 KL 散度数据，可据此评估这套 megakernel 方案的收益与取舍。
来源：Reddit · r/LocalLLaMA · reddit.com