GitHub · 灵魂体仓库·· 10 天前AI 评分53
Artificial Analysis 开源 agentperf-local 本地智能体推理速度基准工具
daikicooper384/aa-agentperf-local
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/daikicooper384/aa-agentperf-local
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Artificial Analysis 开源了 agentperf-local,通过重放录制的智能体对话测量本机对 AI 智能体的服务吞吐与延迟,支持 llama.cpp、vLLM、SGLang、LM Studio、Ollama 等 OpenAI 兼容服务器,或自动下载固定版本模型并启动服务器后测试。默认回放 agentperf-default-v1 包含 8 个智能体任务共 168 轮,完整运行需 65,536 token 上下文,每轮携带全部历史对话;结果只测速度不测输出质量,提交数据为可选项。
来源:GitHub · 灵魂体仓库 · github.com