跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分50

ai-dynamo/aisimulate 接替 AIConfigurator,可离线预测LLM服务表现并搜索部署配置

ai-dynamo/aisimulate

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ai-dynamo/aisimulate

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

AISimulate 在 GitHub 上作为 AIConfigurator(AIC)的后继项目发布,可在不启动 GPU 服务集群的情况下预测 LLM 服务行为并离线搜索部署配置。它提供 predict 和 recommend 两个统一 CLI 命令,可独立于 Dynamo 安装使用,也保留 aiconfigurator 兼容命令(0.13.0 提供,计划在 0.14.0 移除);原 AIC 仓库将发布最终 0.12.0 版本后归档。Replay 和 Sweeper 为实验性功能,官方明确其不用于生产容量规划,候选配置仍需在目标硬件上实测验证。

来源:GitHub · 去对齐工具与仓库 · github.com