跳到正文
GitHub · 去对齐工具与仓库·· 7 天前AI 评分49

CrawlViz:先打分再抓取的主题聚焦网络爬虫

omarbounawarapy/CrawlViz

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/omarbounawarapy/CrawlViz

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 CrawlViz 是一个主题聚焦的网络爬虫,用本地嵌入模型加选择性调用的 LLM 对每个链接先打分再抓取,并以实时图和事件时间线记录每次决策、支持回放。参考运行中它从 50,828 个链接中只探索 539 个节点(约 1%),仍生成按并发症、治疗和流行病学清晰聚类的图。系统含 57 类事件的进程内 pub/sub 事件总线、Pydantic 校验的 JSON blueprint 及两级打分级联。

来源:GitHub · 去对齐工具与仓库 · github.com