doc-scraper：面向 LLM 训练与 RAG 的 Go 文档站爬虫开源

Sriram-PR 在 GitHub 开源 doc-scraper，一个用 Go 编写的可配置、并发、可断点续爬的文档站爬虫，把技术文档抓取并转为干净的 GitHub-Flavored Markdown，供大语言模型摄取。支持 YAML 配置、robots.txt、限速与重试、BadgerDB 状态持久化、JSONL 输出并按 llmstxt.org 规范生成 llms.txt 与 llms-full.txt；可自动检测 Docusaurus、MkDocs、Sphinx 等 30 多种文档框架，内容选择器设为 auto 时自动匹配，失败时回退到 Mozilla Readability。