arXiv · cs.AI· Martino M. L. Pulici·· 4 天前AI 评分38
开卷分数衡量了什么：Llama-3.1-8B-Instruct 上单文档 LoRA 适配器的“阅读”与“记忆”之辨
Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters
来源与原文
arXiv · cs.AI
作者：Martino M. L. Pulici
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31017v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
该研究在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个单文档 LoRA 适配器，发现开卷分数主要衡量所有适配器共享的阅读行为：随机适配器可恢复专家适配器 82% 的开卷优势，但在不提供原文的 cloze 探针上仅约 2%，与零无法区分。内容确实进入权重——专家适配器在 cloze 召回上超出基线 0.094，但 16 篇以上文档的合并只能恢复 12% 到 16% 的 cloze 优势（联合训练为 94%）。作者还报告了四个会产生看似干净却错误结果的隐性错误。
来源：arXiv · cs.AI · arxiv.org