OpenJet 新版本支持单卡多 Agent 并行解码

OpenJet 作者在 r/LocalLLaMA 发布其 CUDA megakernel 引擎的新版本，称可在单张 RTX 3090 上同时服务多个 Qwen3.8-27B Q4_K_M 智能体；此前的版本一次只能服务一个会话。演示中 4 个编码智能体并行运行，合计解码速度约 256-288 tok/s，为 llama-server --parallel 4（72-80 tok/s）的 3-4 倍，单智能体仍达 117 tok/s。这是作者展示的效果，非独立复现的结论。该版本仅支持 Linux，需 RTX 30/40/50 24GB 显卡和 CUDA 12+；限制包括只支持 Q4_K_M 引擎（混合量化版本仍一次只服务一个会话）、最多 8 个智能体，且不生效 presence 和 repetition 惩罚。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。