GitHub · 灵魂体仓库·· 18 天前AI 评分22
tokenbench：面向 LLM 推理服务器的负载测试工具
NomanJafar/tokenbench
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/NomanJafar/tokenbench
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 tokenbench 是一个面向 LLM 推理服务器的负载测试工具，测量并发上升时的 time-to-first-token（TTFT）、inter-token latency 和吞吐量，并绘制可复现的延迟曲线。项目是 inference-infra-portfolio 的第 2 个（共 15 个），目前处于概念阶段：CONCEPTS.md 已完成，代码实现刚启动，实验基于 Kaggle 和 Colab 免费 T4 GPU（16 GB）运行，采用 MIT 许可证。
来源：GitHub · 灵魂体仓库 · github.com