GitHub · 去对齐工具与仓库·· 20 天前AI 评分50
ai-dynamo/aisimulate 接替 AIConfigurator,可离线预测LLM服务表现并搜索部署配置
ai-dynamo/aisimulate
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ai-dynamo/aisimulate
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
AISimulate 在 GitHub 上作为 AIConfigurator(AIC)的后继项目发布,可在不启动 GPU 服务集群的情况下预测 LLM 服务行为并离线搜索部署配置。它提供 predict 和 recommend 两个统一 CLI 命令,可独立于 Dynamo 安装使用,也保留 aiconfigurator 兼容命令(0.13.0 提供,计划在 0.14.0 移除);原 AIC 仓库将发布最终 0.12.0 版本后归档。Replay 和 Sweeper 为实验性功能,官方明确其不用于生产容量规划,候选配置仍需在目标硬件上实测验证。
来源:GitHub · 去对齐工具与仓库 · github.com