mohameddhameem/Custom-LLM-Router:基于 HotpotQA 的成本感知 LLM 路由实验
mohameddhameem 开源 Custom-LLM-Router,在 HotpotQA(distractor 设置)上测试成本感知路由:用 nano-jev v1.0 交叉编码器的证据充分性信号,对比仅用问题的路由器,决定用 small 还是 large 专家(Qwen2.5-0.5B/1.5B/7B/14B 等配置)。项目提供数据准备、路由器训练、F1-vs-cost 评测(AIQ、CPT 50%/80%)、tau 0.5-1.0 扫描与 95% 置信区间 bootstrap,支持 CPU/GPU/vLLM 及 SSH/PBS 集群运行。