研究用 LLM 智能体审计 Slovak FineWeb2 语料,发现 5.32% 机器生成内容农场
论文提出用 LLM 智能体作为语料调试器审计多语言数据管线,通过只读、有预算的 API 探索语料并将发现编译成可执行测试,再由母语者验证。在 FineWeb2 的 26.5M 文档斯洛伐克语子集上,三次运行各花费 $2.21-$2.84,共发现四个现象的七项问题,最大的是 1,408,437 篇(5.32%)通过管线过滤的机器生成内容农场;盲测支持 7 项中的 6 项(缺陷率 .53-1.00 对随机对照的 .08)。编译后的测试套件 0.7 秒即可扫全语料无需 GPU,而单次 LLM 分类需 $12k-$90k;最佳静态采样基线以不到一半成本验证了比任何智能体运行更多的选择器。
推荐理由:论文把 LLM 当语料调试器用一次而非逐条分类,并对比静态采样基线的成本与效果,方法对比值得数据质量工作者参考。