doc-scraper:面向 LLM 训练与 RAG 的 Go 文档站爬虫开源
Sriram-PR 在 GitHub 开源 doc-scraper,一个用 Go 编写的可配置、并发、可断点续爬的文档站爬虫,把技术文档抓取并转为干净的 GitHub-Flavored Markdown,供大语言模型摄取。支持 YAML 配置、robots.txt、限速与重试、BadgerDB 状态持久化、JSONL 输出并按 llmstxt.org 规范生成 llms.txt 与 llms-full.txt;可自动检测 Docusaurus、MkDocs、Sphinx 等 30 多种文档框架,内容选择器设为 auto 时自动匹配,失败时回退到 Mozilla Readability。