arXiv · cs.CL· Haohui Wang·· 19 天前AI 评分36
突破先验壁垒：长尾分布下的监督微调
Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution
来源与原文
arXiv · cs.CL
作者：Haohui Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12345v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项研究提出“先验壁垒”概念，用以量化预训练大语言模型（LLM）对竞争概念与目标概念的支持差异，并发现其呈长尾分布。基于此，研究提出自适应 SFT 指令选择方法 PASS，在有限预算下优先覆盖监督不足的概念。实验显示 PASS 在四组 backbone-budget 设置上持续优于七种 SOTA 指令选择方法。
来源：arXiv · cs.CL · arxiv.org