ricca200xx 开源小票抽取评测框架 llm-doc-extraction-eval

ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架，基于 CORD-v2 数据集，通过 LiteLLM 切换模型后端，所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中，54% 的字段单元无值，全答 null 即得 54.0% 宏平均准确率；本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%，更严格的 v2 提示词将其提升到 86.0%（配对 +36.5 点）并把幻觉率降到 23.1%；对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。