arXiv · cs.CL· Shuo Lin·· 12 天前AI 评分28
PremiseSQL：评估 Text-to-SQL 系统的前提批判与弃答能力
PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems
来源与原文
arXiv · cs.CL
作者：Shuo Lin
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22158v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 PremiseSQL 基准，用于评估 NL2SQL 系统识别错误前提查询并拒绝生成误导性 SQL 的能力，基准包含 1,800 条带缺陷查询及 1,800 条原始查询，覆盖四类前提失败。评测框架在三种提示设置下测量模型的前提感知行为。实验显示前沿 LLM 默认倾向信任前提、很少质疑缺陷，而批判导向提示虽提升检测与弃答，但也增加误判并抑制原始查询的 SQL 生成。
来源：arXiv · cs.CL · arxiv.org