跳到正文
GitHub · 灵魂体仓库·· 12 天前精选AI 评分59

do-we-really-need-an-llm 发布葡语文档抽取可复现基准,对比 Regex、NER、LLM 与混合路由

felipefb/do-we-really-need-an-llm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/felipefb/do-we-really-need-an-llm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 do-we-really-need-an-llm 发布了可复现的葡语企业文档抽取基准,用 Regex、spaCy NER、LLM 和混合路由四种方案从同样的合成文档中提取 10 个字段,测量准确率、误接受率、成本与延迟并附置信区间。在 60 份文档上,Opus 5.5 纯 LLM 准确率 98.3%、每千份成本 17.69 美元,Haiku 5.5 为 71.7%、成本 0.60 美元;混合路由把成本降到纯 LLM 的 25%,但误接受率从 1.7% 升到 18.3%。盲测集中 Regex 全部失败且多数为误接受,作者指出规则由测试模板作者本人编写、模板措辞歧义即可改变排名,结论是没有普适赢家,选型取决于文档类型和误接受的代价。

推荐理由

用可复现的基准比较 Regex、NER、LLM 与混合路由的抽取效果,还披露了盲测集与模板敏感度分析。

来源:GitHub · 灵魂体仓库 · github.com