arXiv · cs.CL· Yuhan Liu·· 18 天前AI 评分51
arXiv 论文 SGUID 提出筛选紧凑技能库用于模型蒸馏与共同进化
Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model-Skill Co-Evolution
来源与原文
arXiv · cs.CL
作者：Yuhan Liu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12367v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 SGUID 方法，用于在技能蒸馏前筛选紧凑技能子集，发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上，仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏；第二轮循环为 Qwen3-8B 新选 3 个技能，将其成绩从 64.3% 提升到 66.3%，而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点，SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接：https://arxiv.org/abs/2610.12367v1
来源：arXiv · cs.CL · arxiv.org