GitHub · 去对齐工具与仓库·· 7 天前AI 评分49
CrawlViz:先打分再抓取的主题聚焦网络爬虫
omarbounawarapy/CrawlViz
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/omarbounawarapy/CrawlViz
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 CrawlViz 是一个主题聚焦的网络爬虫,用本地嵌入模型加选择性调用的 LLM 对每个链接先打分再抓取,并以实时图和事件时间线记录每次决策、支持回放。参考运行中它从 50,828 个链接中只探索 539 个节点(约 1%),仍生成按并发症、治疗和流行病学清晰聚类的图。系统含 57 类事件的进程内 pub/sub 事件总线、Pydantic 校验的 JSON blueprint 及两级打分级联。
来源:GitHub · 去对齐工具与仓库 · github.com