arXiv · cs.AI· Faridoun Mehri·· 12 天前AI 评分41
微调前呈线性可读的知识在微调后更易泛化
Knowledge That Is Linear Before Fine-Tuning Generalizes After It
来源与原文
arXiv · cs.AI
作者：Faridoun Mehri
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22300v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究区分了语言模型中的“活性事实”与“惰性事实”：前者能在微调后泛化到共享答案的保留主体，后者只能被召回却无法支持泛化。研究通过在既有关系上构造任意重标注的新关系来检验泛化，覆盖 11 个语言模型和 70 个关系，原始关系在预训练表示中的线性可读性与之强相关，模型内 Pearson r 为 0.87 至 0.92。结论是新关系能否泛化，更多取决于其共享结构能否被线性读出，而非事实本身能否被召回。
来源：arXiv · cs.AI · arxiv.org