GitHub · 灵魂体仓库·· 22 天前精选AI 评分72
ventz/scrape-website 开源：整站爬取并转为 LLM 可用 Markdown 知识库
ventz/scrape-website
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ventz/scrape-website
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 ventz/scrape-website 可爬取整个域名并输出干净、LLM-ready 的知识库：原始 HTML、带 front matter 的 Markdown，以及 PDF 和 Office 文档转换成的 Markdown。
推荐理由
开源的整站爬取工具，逐层说明静态抓取、无头浏览器、WAF 指纹与 Cloudflare cookie 桥的升级逻辑，可直接复用于搭建 RAG 语料。
来源：GitHub · 灵魂体仓库 · github.com