arXiv · cs.AI· Rajdeep Pandhare·· 10 天前AI 评分25
ScoutRoute:利用大语言模型内部信号实现高效 MoE 路由
ScoutRoute: Efficient Mixture-of-Experts Routing Using Internal Language Model Signals
来源与原文
arXiv · cs.AI
作者:Rajdeep Pandhare
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23443v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ScoutRoute 是一种轻量级事后路由框架,通过对低成本 scout 模型的单次前向传播提取内部语言模型信号,用 logistic 探针结合 logit 置信度估计异构专家模型的能力,无需修改底层模型。该方法在 5 个开源语言模型和 4 个覆盖数学推理、代码生成、常识推理与多学科知识的基准数据集上评测,一致优于单一路由信号,且能力探针的校准优于传统置信度度量。
来源:arXiv · cs.AI · arxiv.org