GitHub · 去对齐工具与仓库·· 4 天前精选AI 评分57
rag-context-attention：预注册实验测量 RAG 提示词长度与迭代检索收益
MitushiG/rag-context-attention
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/MitushiG/rag-context-attention
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
MitushiG 发布预注册实验仓库 rag-context-attention，研究 RAG 场景下提示词长度与迭代检索的实际收益。实验在单张 RTX 4090 上用 Qwen2.5-7B-Instruct 完成，发现长度本身影响很小，30K token 无关文本下准确率仍有 83%（仅金标段落为 82%），真正伤害来自相似干扰项（30K 时下降 30 分，金标段落在中间时最差，39% vs 65%）；金标段落上的注意力可预测答对（分层 AUROC 0.77）；真实 top-k RAG 在 k=20 达到峰值 51.5%。
推荐理由
预注册实验把提示词长度、干扰相似度与检索收益拆开测量，并给出可复现的实验代码与统计校正方法。
来源：GitHub · 去对齐工具与仓库 · github.com