Reddit · r/LocalLLaMA· /u/IngwiePhoenix·· 16 天前AI 评分10
Reddit 用户寻找针对 LLM 推理服务器的负载测试工具
Looking for "load testing" tools
来源与原文
Reddit · r/LocalLLaMA
作者：/u/IngwiePhoenix
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x2ucg7/looking_for_load_testing_tools/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit r/LocalLLaMA 用户想找类似 siege 和 k6 这类 HTTP 负载测试工具的替代品，但用于 LLM 推理服务器。他希望并行发送生成请求，测试服务器在持续负载下的表现，测量 token 生成和 prefill 性能，并评估实际存储需求。
来源：Reddit · r/LocalLLaMA · reddit.com