arXiv · cs.CL· Jiayu Feng·· 20 天前AI 评分40
Right Number, Wrong State？衡量 LLM 州政策记忆中的跨州替代错误
Right Number, Wrong State? Measuring Cross-Jurisdiction Substitution in LLM Recall of State Policy
来源与原文
arXiv · cs.CL
作者：Jiayu Feng
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.09458v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究用最小集设计测试 LLM 回答州政策问题时是否把其他州的正确值当作答案：固定问法、只变换辖区，覆盖 51 个美国辖区和 3 个 Medicaid 收入资格指标。结果显示 Claude Sonnet 5.5 和 GPT-5.6 Sol 分别在 153 项中的 10 项和 25 项上可复现地给出另一州的当前值。但归因脆弱：仅凭答案等于他州值判定替代会带来 3-5 倍的可复现误判，需完整同州参照集。
来源：arXiv · cs.CL · arxiv.org