发布葡语文档抽取基准:Regex/NER/LLM/混合路由对比
先了解这件事
GitHub 仓库 do-we-really-need-an-llm 发布了可复现的葡语企业文档抽取基准,对比 Regex、spaCy NER、LLM 和混合路由四种方案从同一批合成文档中提取 10 个字段,测量准确率、误接受率、成本与延迟并附置信区间。 在 60 份文档(40 份测试、10 份对抗样本、10 份盲测)上,Opus 5.5 纯 LLM 准确率 98.3%、每千份成本 17.69 美元;Haiku 5.5 为 71.7%、成本 0.60 美元。混合路由把成本降到纯 LLM 的 25%,但误接受率从 1.7% 升到 18.3%。盲测集中 Regex 全部失败且多为误接受,作者称规则由测试模板作者本人编写、模板措辞歧义即可改变排名。 作者的结论是没有普适赢家,选型取决于文档类型和误接受的代价。复现实验需配置 Anthropic API Key 运行基准命令,可设成本上限;仓库 UI 中 LLM 默认关闭,需 ALLOW_LLM=1 并每次请求确认才启用。
AI 根据报道生成 · 9 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 灵魂体仓库精选do-we-really-need-an-llm 发布葡语文档抽取可复现基准,对比 Regex、NER、LLM 与混合路由
GitHub 仓库 do-we-really-need-an-llm 发布了可复现的葡语企业文档抽取基准,用 Regex、spaCy NER、LLM 和混合路由四种方案从同样的合成文档中提取 10 个字段,测量准确率、误接受率、成本与延迟并附置信区间。在 60 份文档上,Opus 5.5 纯 LLM 准确率 98.3%、每千份成本 17.69 美元,Haiku 5.5 为 71.7%、成本 0.60 美元;混合路由把成本降到纯 LLM 的 25%,但误接受率从 1.7% 升到 18.3%。盲测集中 Regex 全部失败且多数为误接受,作者指出规则由测试模板作者本人编写、模板措辞歧义即可改变排名,结论是没有普适赢家,选型取决于文档类型和误接受的代价。