跳到正文
我的
热点事件持续更新

ServerBench:评测编码Agent设计LLM服务系统的基准发布

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

Xinrui Zhong 等研究者在 arXiv 发布 ServerBench 基准,用于评测编码智能体端到端设计专用 LLM 推理服务系统的能力,目标函数为 dollars per dollar(单位 GPU 成本下的合格延迟 token 价值)。 在 11 个编码智能体模型、3 种部署环境的测试中,Claude Sonnet 5.5 在 Gemma E4B 上取得 2.97 dollars per dollar,达 vLLM 参考实现的 4.87 倍;33 次运行中 22 次产出经验证的系统,13 次超过最强基线。

AI 根据报道生成 · 18 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv · cs.AI
    ServerBench:让编码智能体设计专用 LLM 推理服务系统

    arXiv 论文提出 ServerBench,用于评测智能体端到端设计专用 LLM serving 系统的能力,目标函数为 dollars per dollar(单位 GPU 成本下的合格延迟 token 价值)。在 11 个编码智能体模型、3 种部署环境测试中,Claude Sonnet 5.5 在 Gemma E4B 上取得 2.97 dollars per dollar,达 vLLM 参考实现的 $4.87\times$;33 次运行中 22 次产出经验证系统,13 次超过最强基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。