跳到正文
arXiv · cs.CL· Amit Verma·· 2 天前AI 评分47

结构化输出为何失败?九个 LLM 上提示词强制的 Pydantic Schema 实证研究

Why Does Structured Output Fail? An Empirical Study of Prompt-Enforced Pydantic Schemas Across Nine LLMs

来源与原文

arXiv · cs.CL

作者:Amit Verma

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.33949v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项研究对 3,997 次生成尝试、横跨九个 OpenAI 与 Anthropic 模型/API 配置(基于 HotpotQA 和 FinanceBench 问题)进行了 schema 失败分类。研究发现相近的有效率掩盖了不同失败模式,Markdown 围栏 JSON 是最常见失败:681 次围栏失败中仅 48.0% 在去除围栏后通过验证,其余多为字段长度违规。作者提出四项工程实践并开源了分类器、生成结果与标注。

来源:arXiv · cs.CL · arxiv.org