跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分56

MuckScraper 开源:自托管新闻聚合器,用本地 LLM 做故事聚类与媒体偏向分析

grregis/MuckScraper

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/grregis/MuckScraper

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

grregis 在 GitHub 发布 MuckScraper,一个自托管新闻聚合器,可从多个信源抓取文章、按 pgvector 把相关报道聚类成同一事件故事,并用 AllSides 数据或本地模型给媒体标注左中右偏向。系统默认用 Ollama 在本地硬件上生成摘要和深度报告,也支持 Gemini、Groq 或任何 OpenAI 兼容端点(OpenRouter、DeepSeek、本地 vLLM);一次完整管线约1200次 LLM 调用,其中约1140次机械性调用可用较小模型分流到本地。技术栈为 Python、Flask、PostgreSQL+pgvector、Meilisearch,通过 Docker Compose 部署,管理员可在后台无需改代码地编辑主题、RSS 源、提示词与调度。

推荐理由

项目把约1140次机械性LLM调用留在本地Ollama、只把约65次摘要调用交给云端,这种分层路由做法可以直接借鉴到类似自托管管线。

来源:GitHub · 灵魂体仓库 · github.com