arXiv · cs.AI· Aman Behera·· 5 天前AI 评分38
长上下文问答研究揭示：Transformer 与状态空间架构均存在证据位置偏差
Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering
来源与原文
arXiv · cs.AI
作者：Aman Behera
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31135v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 NeurIPS 2026 PriGM 工作坊收录的研究比较了 Transformer、状态空间和混合 Mamba 架构在长上下文问答中的位置偏差：将一份含答案文档在九个干扰文档中移动，Transformer 显示开头优势，而状态空间模型缺乏该优势，两类架构都偏向靠近末尾的证据。结果还显示有效上下文利用受架构族、模型能力、任务和提示词影响，无法将序列混频器单独确定为唯一原因。
来源：arXiv · cs.AI · arxiv.org