跳到正文
我的
热点事件持续更新

go-llmflow/bench 发布 LLM 网关测量工具集

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

go-llmflow 发布纯 Go 仓库 bench,提供三类工具:gwbench 做网关延迟 A/B 对比,fakevllm 充当假 vLLM,llmchaos 向 llmflow-gateway 注入故障并判定九项不变量。仓库称 CI 以 seeds 1 到 5 跑 31 个混沌场景,针对 gateway v0.37.1 和 v0.38.0。 仓库称密钥只从文件读取,不走命令行和环境变量;未设 BENCH_VLLM_URL 时全部测试跳过,CI 因此不跑任何测试;PostgreSQL 场景从 --pg-dsn-file 读 DSN,缺该文件即跳过,CI 则对服务容器运行。仓库称因无可用密钥,v0.4.0 未运行该项测试。

AI 根据报道生成 · 49 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月8日
  1. GitHub · 去对齐工具与仓库
    go-llmflow/bench:面向 LLM 网关的纯 Go 测量与混沌测试工具

    go-llmflow/bench 提供纯 Go 的 LLM 网关测量工具,含 gwbench 网关延迟 A/B、fakevllm 假 vLLM 和 llmchaos 混沌测试。llmchaos 对 llmflow-gateway 注入故障并判定九项不变量,CI 用 seeds 1 到 5 跑 31 个场景,针对 gateway v0.37.1 和 v0.38.0。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。