跳到正文
GitHub · 去对齐工具与仓库·· 21 天前AI 评分33

Intel 开源 Xeon 6 vLLM Recipes 验证 CI 工具

intel-ai-tce/vLLM-Recipes-validation

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/intel-ai-tce/vLLM-Recipes-validation

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Intel 开源了 intel-ai-tce/vLLM-Recipes-validation,一个在真实 Xeon 6 主机上验证 vLLM Recipes 配置的 CI 工具。它从 recipes.vllm.ai 发现所有支持 Xeon 6 的模型,用官方 vllm/vllm-openai-cpu 镜像逐个启动 vllm serve,并运行 128 输入/128 输出、并发为 1 的 vllm bench serve 冒烟测试。Nightly 流程每天 08:00 UTC 运行并发布到 validated-xeon6-nightly 分支,weekly 结果发布到 validated-xeon6 分支。

来源:GitHub · 去对齐工具与仓库 · github.com