arXiv · cs.CL· Malte Ostendorff·· 18 天前AI 评分46
面向 LLM 预训练数据的 Host 感知网页爬取研究
Host-Aware Web Crawling for LLM Pretraining Data
来源与原文
arXiv · cs.CL
作者：Malte Ostendorff
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13321v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究探讨爬虫应如何在 host 之间及内部分配预算以获取更高质量 LLM 预训练数据。分析显示约一半的文档质量分类器得分差异出现在 host 之间；先采样少量页面再对高分 host 深入抓取，比均匀深度或基于 centrality 的分配每次抓取多获得数倍高质量页面。估计每次 Common Crawl 抓取中仍有数千万高质量页面未被爬取，且集中在少数 host 上。
来源：arXiv · cs.CL · arxiv.org