GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分64
parammadan 开源 WebFidelity:测量网页抓取过程中被静默丢弃的内容
parammadan/webfidelity
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/parammadan/webfidelity
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
parammadan 发布 WebFidelity 工具,用带答案密钥的合成页面和以耐心浏览器为参照的真实站点,测量 LLM Agent 抓取器丢失了多少内容。实测发现 Firecrawl 默认在加载约 300 ms 后快照,晚于此到达的内容被丢弃且输出无提示,视口高度 100,000 px 导致滚动失效,46 个真实站点默认平均覆盖率 85%;加等待和点击动作可将合成基准召回从 52% 提升到 89%,作者并提议在响应元数据中暴露快照时的网络请求状态。
推荐理由
作者给出可复用的网页抓取完整性测量方法与held-out纪律,量化了Firecrawl默认抓取在JS延迟场景下的内容丢失程度。
来源:GitHub · 去对齐工具与仓库 · github.com