Reddit · r/LocalLLaMA· /u/BringTea_666·· 22 天前AI 评分41
RTX5090 本地推理实测:解码够快后,CPU 上的 tool call 成了 agentic coding 的真正瓶颈
Practical limit hit. Decoding so fast that tool calls (cpu) starting to become real limit not decode or prefill. Single RTX5090. Porting Kenshi to Godot project.
来源与原文
Reddit · r/LocalLLaMA
作者:/u/BringTea_666
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wyg1yz/practical_limit_hit_decoding_so_fast_that_tool/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 r/LocalLLaMA 用户在单张 RTX5090 上跑自研推理引擎做 agentic coding 时发现,GPU 平均约 700t/s 仍有余量,瓶颈反而出在 CPU:25 个 agent 同时运行时 tool call 把 9800X3D 的全部线程打满。
来源:Reddit · r/LocalLLaMA · reddit.com