跳到正文
GitHub · 灵魂体仓库·· 19 天前精选AI 评分60

AegisCrawler 发布:录制浏览器操作生成规则并转为定时采集任务

singhand-labs/AegisCrawler

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/singhand-labs/AegisCrawler

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

singhand-labs 在 GitHub 发布 AegisCrawler,一个生产级浏览器数据采集平台,核心思路是把页面录制变成可执行规则、再把规则变成定时任务。其 PageResearch Agent 扩展记录点击、输入、滚动、拖拽等操作并生成 YAML/JSON DSL 规则,ScriptCat worker 在真实浏览器标签页中执行规则;服务端为单二进制 Go 程序,内置 SQLite(WAL)、Admin UI、租约任务调度、重试与死信队列,可选通过 OpenAI/Anthropic 兼容 API 增强 DSL 规则,且每次增强需经安全扫描和人工 diff 审批后应用。项目采用 GPL-3.0-or-later 许可。

推荐理由

原文详细给出了从录制操作生成 DSL 规则再到定时任务的完整流程和架构,读者可以评估这套无代码采集方案是否适合自己的部署场景。

来源:GitHub · 灵魂体仓库 · github.com