GitHub · 灵魂体仓库·· 7 天前AI 评分34
llm-d 与 vLLM-Omni 路由 Scorer 评测分析
rh-waterford-et/voli-scorer-evaluation
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/rh-waterford-et/voli-scorer-evaluation
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
llm-d 与 vLLM-Omni 通过 llm-d-router 协调器评测多种路由 scorer，scorer 分为 Affinity、Distribution、Balance 三类，按 Σ(score × weight) 加权组合。文档给出前缀缓存、LoRA、KV cache 利用率等 scorer 的参考指南，并针对聊天多轮、PD 分离推理、LoRA 服务、多模态（VLM）等场景推荐配置策略。测试使用 scripts/stream_metrics.py 比较不同 EPP 调度 profile，其内置 map 包含 14 个 profile。
来源：GitHub · 灵魂体仓库 · github.com