gojiplus 开源 LLM 预留容量规划工具 slosizer
热点事件观察中
gojiplus 开源 LLM 预留容量规划工具 slosizer
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
gojiplus 开源了 slosizer,一个面向预留 LLM 容量的利润感知规划工具。它将请求 trace 转换为 GSU/PTU 等厂商容量单位,通过 FCFS 队列模拟评估 p95/p99 延迟 SLO、过载概率与溢出,支持吞吐、延迟、混合和利润四种规划目标。 工具支持合成 trace 或 Parquet 日志输入,内置针对 Vertex 上 gemini-2.5-flash-lite 与 gemini-2.5-flash 的示例。内置 Vertex 配置档案以文本为主,多模态流量需补充更多列和权重;Azure PTU 支持需要用户自行校准。
AI 根据报道生成 · 9 小时前更新
最新进展11月4日 05:27
gojiplus/slosizer:面向预留 LLM 容量的利润感知规划工具报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- GitHub · 灵魂体仓库gojiplus/slosizer:面向预留 LLM 容量的利润感知规划工具
gojiplus 开源了 slosizer,一个面向预留 LLM 容量的利润感知规划工具。它将请求 trace 转换为 GSU/PTU 等厂商容量单位,通过 FCFS 队列模拟评估 p95/p99 延迟 SLO、过载概率与溢出,支持吞吐、延迟、混合和利润四种规划目标。工具支持合成 trace 或 Parquet 日志输入,示例针对 Vertex 上的 gemini-2.5-flash-lite 与 gemini-2.5-flash。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 511月5日 05:00
- 近 24 小时变化
- –
0246
06:0008:0010:0012:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。