GitHub · 去对齐工具与仓库·· 4 天前AI 评分40
mohameddhameem/Custom-LLM-Router:基于 HotpotQA 的成本感知 LLM 路由实验
mohameddhameem/Custom-LLM-Router
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/mohameddhameem/Custom-LLM-Router
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
mohameddhameem 开源 Custom-LLM-Router,在 HotpotQA(distractor 设置)上测试成本感知路由:用 nano-jev v1.0 交叉编码器的证据充分性信号,对比仅用问题的路由器,决定用 small 还是 large 专家(Qwen2.5-0.5B/1.5B/7B/14B 等配置)。项目提供数据准备、路由器训练、F1-vs-cost 评测(AIQ、CPT 50%/80%)、tau 0.5-1.0 扫描与 95% 置信区间 bootstrap,支持 CPU/GPU/vLLM 及 SSH/PBS 集群运行。
来源:GitHub · 去对齐工具与仓库 · github.com