GitHub · 去对齐工具与仓库·· 1 天前AI 评分53
LukaG712 开源自托管网页抓取 API Trapper
LukaG712/Trapper
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/LukaG712/Trapper
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
LukaG712 发布开源项目 Trapper,一个自托管的网页抓取与爬取 API,把网站转为干净的 LLM-ready 数据。支持单页抓取、递归爬取、批量抓取、URL 发现、搜索、浏览器会话交互、多页结构化提取与提示词驱动的研究 agent。技术栈为 Fastify、BullMQ(Redis)、Playwright、Cheerio 与 Turndown,提供 Docker Compose 一键部署、robots.txt 遵循、webhook、API key 鉴权、限流及 Prometheus 指标。仓库地址 https://github.com/LukaG712/Trapper,MIT 许可。
来源:GitHub · 去对齐工具与仓库 · github.com