GitHub · 灵魂体仓库·· 20 天前精选AI 评分56
MuckScraper 开源:自托管新闻聚合器,用本地 LLM 做故事聚类与媒体偏向分析
grregis/MuckScraper
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/grregis/MuckScraper
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
grregis 在 GitHub 发布 MuckScraper,一个自托管新闻聚合器,可从多个信源抓取文章、按 pgvector 把相关报道聚类成同一事件故事,并用 AllSides 数据或本地模型给媒体标注左中右偏向。系统默认用 Ollama 在本地硬件上生成摘要和深度报告,也支持 Gemini、Groq 或任何 OpenAI 兼容端点(OpenRouter、DeepSeek、本地 vLLM);一次完整管线约1200次 LLM 调用,其中约1140次机械性调用可用较小模型分流到本地。技术栈为 Python、Flask、PostgreSQL+pgvector、Meilisearch,通过 Docker Compose 部署,管理员可在后台无需改代码地编辑主题、RSS 源、提示词与调度。
推荐理由
项目把约1140次机械性LLM调用留在本地Ollama、只把约65次摘要调用交给云端,这种分层路由做法可以直接借鉴到类似自托管管线。
来源:GitHub · 灵魂体仓库 · github.com