跳到正文
GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分64

parammadan 开源 WebFidelity:测量网页抓取过程中被静默丢弃的内容

parammadan/webfidelity

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/parammadan/webfidelity

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

parammadan 发布 WebFidelity 工具,用带答案密钥的合成页面和以耐心浏览器为参照的真实站点,测量 LLM Agent 抓取器丢失了多少内容。实测发现 Firecrawl 默认在加载约 300 ms 后快照,晚于此到达的内容被丢弃且输出无提示,视口高度 100,000 px 导致滚动失效,46 个真实站点默认平均覆盖率 85%;加等待和点击动作可将合成基准召回从 52% 提升到 89%,作者并提议在响应元数据中暴露快照时的网络请求状态。

推荐理由

作者给出可复用的网页抓取完整性测量方法与held-out纪律,量化了Firecrawl默认抓取在JS延迟场景下的内容丢失程度。

来源:GitHub · 去对齐工具与仓库 · github.com