ricca200xx 开源小票抽取评测框架 llm-doc-extraction-eval
ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架,基于 CORD-v2 数据集,通过 LiteLLM 切换模型后端,所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中,54% 的字段单元无值,全答 null 即得 54.0% 宏平均准确率;本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%,更严格的 v2 提示词将其提升到 86.0%(配对 +36.5 点)并把幻觉率降到 23.1%;对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。
推荐理由:原文给出带置信区间和 always-null 基线的完整评测设计,读者可以照着复现小票抽取模型的幻觉测量。