arXiv · cs.AI· Jia Gu·· 21 小时前AI 评分36
基于 内容不变梯度归因(CIGA)的鲁棒 LLM 数据选择方法
Robust LLM Data Selection via Content-Invariant Gradient Attribution
来源与原文
arXiv · cs.AI
作者:Jia Gu
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.36755v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Content-Invariant Gradient Attribution(CIGA),解决现有全局梯度归因方法在指令微调数据选择中的表面形式偏差问题——措辞或格式等无关改动会导致归因分数不一致。CIGA 先筛选梯度稳定且具影响力的层以降低格式噪声,再将其与语义表征动态融合。多项 benchmark 实验显示,CIGA 在扰动下排序更稳定、平均性能更高,同时降低归因成本。
来源:arXiv · cs.AI · arxiv.org