跳到正文
GitHub · 灵魂体仓库·· 10 天前AI 评分53

Artificial Analysis 开源 agentperf-local 本地智能体推理速度基准工具

daikicooper384/aa-agentperf-local

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/daikicooper384/aa-agentperf-local

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Artificial Analysis 开源了 agentperf-local,通过重放录制的智能体对话测量本机对 AI 智能体的服务吞吐与延迟,支持 llama.cpp、vLLM、SGLang、LM Studio、Ollama 等 OpenAI 兼容服务器,或自动下载固定版本模型并启动服务器后测试。默认回放 agentperf-default-v1 包含 8 个智能体任务共 168 轮,完整运行需 65,536 token 上下文,每轮携带全部历史对话;结果只测速度不测输出质量,提交数据为可选项。

来源:GitHub · 灵魂体仓库 · github.com