跳到正文
10月9日周五
  1. GitHub · 去对齐工具与仓库29

    BushfireReadyGPT:面向澳洲山火准备的本地优先治理式 AI 报告生成原型

    BushfireReadyGPT 是一个面向澳洲山火应急准备的开源原型,可将地点、受众、场景和规划重点生成为可审阅的准备报告草稿。默认本地运行于 Ollama,无需 OpenAI API key,另有可选的密码保护 Docker/Railway 演示使用 DeepSeek 和容器内 CPU RAG。当前版本 v0.6.0,2026-10-09 本地回归在 bef863a 上通过 3,696 项测试(90.13% src 覆盖率),冻结案例使用 5,857 input tokens 以适配 8,192-token 窗口;项目明确不用于实时火情或生命安全决策。

  2. GitHub · 去对齐工具与仓库46

    samuelya/gmail-organiser:本地 LLM 驱动的自托管 Gmail 整理工具

    gmail-organiser 是一个自托管、单用户的 Gmail 整理工具,用 Ollama 本地模型分批阅读邮件并建议标签、低价值邮件清理和 Gmail 过滤器,每次修改都需用户批准。它可选通过 MCP 让 Claude 对本地模型的建议做二次复核,只申请 gmail.modify 等权限,从不永久删除邮件,"删除"仅移入 Gmail 回收站(Google 保留 30 天)。Web UI 绑定 127.0.0.1,支持 Docker compose 快速部署,采用 MIT 许可证。

  3. GitHub · 去对齐工具与仓库29

    Football Copilot:基于 Qwen3 4B 与 Ollama 的英超足球 AI 分析与预测开源项目

    开发者开源了 Football Copilot,一个不用 LangChain/LangGraph、从零构建的英超足球 AI 分析项目。它通过 Ollama 本地运行 Qwen3 4B 模型负责意图识别与工具调用,结合 DuckDB、Streamlit 和增强 Poisson 模型,支持自然语言查询球队数据和预测比赛胜平负概率、xG 与比分。生产模型与运行数据随仓库版本化,克隆后即可直接运行。

  4. GitHub · 去对齐工具与仓库31

    RIKO:基于 Ollama qwen3:4b-instruct 的本地个性化 AI 伴侣项目

    RIKO 是一个模块化、本地优先的个性化 AI 伴侣项目,通过 Ollama 运行 qwen3:4b-instruct 模型实现本地 LLM 推理与流式对话。项目将对话管理、模型通信和提示词管理分离,助手身份与语气由可插拔的 persona 文件配置,私密配置通过 gitignored 的本地目录保留在用户机器上。路线图计划集成 Faster-Whisper 语音识别和 GPT-SoVITS 语音合成,目前语音功能尚未实现。

  5. GitHub · 灵魂体仓库65

    Glad Labs 开源本地内容生成引擎 Poindexter,从选题到发布一条流水线跑完

    Glad Labs 开源了 Poindexter,一个在本地 GPU 上运行的 AI 内容生产引擎,覆盖选题发现、网络调研、长文写作、多模型对抗式 QA 审查和静态发布,全部通过 Ollama 本地推理,零 API 费用,默认调用 gemma3:27b 写作、phi4:14b 做评审。该项目即 gladlabs.io 背后的生产系统,已发布 210+ 篇文章、累计 2000+ 次流水线运行,约一半草稿会被 17 条 QA 规则拒掉;引擎以 Apache 2.0 许可发布,要求 Docker、Python 3.13、约 50 GB 磁盘,官方建议 NVIDIA GPU,可选付费 Pro 仅提供操作控制台和每周更新的生产配置。

    推荐理由:这是一个可直接跑在本机 GPU 上的开源内容流水线,README 给出了完整模型分工、QA 驳回率数据和部署步骤,可作本地多智能体系统的参考实现。

  6. GitHub · 灵魂体仓库41

    kdraggoo/chatbot:一个自托管的 RAG 职业问答机器人开源

    一位产品经理开源了自托管的 RAG 聊天机器人 kdraggoo/chatbot,用于回答关于自己职业的问题,不依赖第三方 LLM API,数据不出服务器。系统用 Ollama 运行 bge-m3 嵌入模型和 llama3.2:3b 生产模型,配合 Qdrant 向量库与 FastAPI,设 0.4 相似度阈值避免无据回答。截至 Sep 25, 2026 已处理 95 个问题、回答 84 个,中位响应 42 秒、p95 48 秒,目标是迁移到 GPU 并将首 token 延迟压到 5 秒以内。

  7. GitHub · 灵魂体仓库23

    EarthfireAI-Local-AI:一个本地优先的轻量 Ollama 调用层

    GitHub 开源项目 EarthfireAI-Local-AI 是一个轻量、本地优先的 Ollama 调用层,提供模型状态检查、模型列表和基于 /api/chat 的非流式对话命令,仅用 Python 标准库实现,要求 Python 3.10 或更高版本,默认模型为 qwen2.5:7b、超时 120 秒。项目不包含 Ollama、模型权重、DeepTutor 或 Open WebUI,也不负责模型下载和多用户鉴权,用户需自行安装 Ollama 并准备模型。代码采用 Apache-2.0 许可证。

  8. GitHub · 去对齐工具与仓库60

    Nova:一个可离线运行的 Home Assistant 自主 AI 管家集成在 GitHub 开源

    GitHub 项目 abz2much/NOVA 发布了 Nova,一个安装为 Home Assistant 自定义集成的自主 AI 管家,提供语音、视觉和推理核心,通过 HACS 安装且无需单独容器或云账号即可启动。它支持 Groq、Anthropic、OpenAI、Gemini 或本地 Ollama 作为可插拔 LLM 后端,可控制设备、分析门铃与包裹、学习作息并提议自动化,但敏感操作(开锁、开车库门)保留手机确认步骤,且建议的自动化未经明确批准不会安装。断网时本地推理核心仍可处理常规事件;项目为单人维护、处于活跃开发中,版本间可能出现破坏性变更。

    推荐理由:这个 Home Assistant 本地管家集成的 README 讲清了安装门槛、安全门控和离线降级设计,读者可以据此判断它是否适合自己动手部署。

  9. GitHub · 去对齐工具与仓库67

    s1line1 开源 home-llm-gateway:把内网本地模型安全暴露为公网 OpenAI 兼容 API

    s1line1 在 GitHub 发布 home-llm-gateway,用 Rust 实现边缘 LLM 网关,把 NAT 后、无公网入口的本地模型(Ollama / vLLM / llama.cpp)暴露成公网 OpenAI 兼容 API。架构为 cloud-gateway 加 edge-agent,通过 QUIC + mTLS 反向拨号隧道,无需 frp / ngrok 与反向代理,支持 SSE 流式与取消传播、按 model 的感知路由、argon2id 身份校验缓存等。项目包含 368 个通过的测试、k6 压测脚本与 React 管理面板,MIT 许可;协议级去重(EXACTLY_ONCE)与 TCP 降级等项仍是提案、未实现。

    推荐理由:README 给出了完整架构与实测数据,读者可以借这套设计了解内网模型安全暴露成公网 OpenAI API 的工程做法。

  10. Hugging Face · 新模型:abliterated41

    Huihui-Qwen3.8-27B-abliterated GGUF 量化版本更新

    Huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版 GGUF 量化模型,多次更新新增 UD、UD-DW、GSQ-RCO、Ternary、Swift 等系列,其中部分版本仅消融第 22 至 52 层(0 起始索引)。模型提供 Q2_K_L 至 Q8_0_L 等量化格式,支持上下文长度 262144,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行。官方提示安全过滤已显著降低,建议仅用于研究和测试环境。

  11. GitHub · 去对齐工具与仓库44

    babelOtter:完全由本地 LLM 驱动的 macOS 系统级翻译与语言学习 Agent

    开源项目 babelOtter 是一款 macOS 系统级翻译与语言辅导 Agent,全部由 Ollama 本地运行的大语言模型驱动,文本不经外传,网络出口仅限 loopback 并有测试验证。目前 Translate 原型已合入 main,支持全局快捷键 Control-Option-T、流式弹出、Replace/Copy 及 du/Sie 受众选择;Correct(Control-Option-C)已支持流式纠错与 inline diff,Explain 和 Re-pitch 尚未构建。项目要求 macOS 14+、Xcode 16+/Swift 6 与本地 Ollama,swift test 共 466 个测试全部通过,CI 强制 BabelOtterKit 突变测试得分 ≥80%。

  12. GitHub · 灵魂体仓库66

    开源无障碍检查工具 rampa-cli 发布,axe-core 加语言模型判定 WCAG 语义残留

    Rampa 是开源命令行 WCAG 无障碍检查器,先用 axe-core 处理规则能判定的问题,再把语义残留按 WCAG 2.1 准则逐条交给语言模型判断,覆盖 alt 文本、页面标题、链接目的、标签可见性等 9 项准则。每条结论必须引用页面上真实存在的节点和文本,否则被丢弃;可经 Ollama 本地模型或主流服务商运行,支持 SARIF、CI、Playwright 和 MCP,并附 W3C ACT 测试用例上的评估数据。

    推荐理由:开源 CLI 用 axe-core 加模型判断补足规则无法判定语义的残留,并以 W3C ACT 测试用例给出每条准则的实测数据。

  13. GitHub · 去对齐工具与仓库33

    birdLLMJ:野生动物观测语音转写提取为结构化 JSON 的开源项目

    GitHub 开源项目 birdLLMJ 将野外观测语音转写文本提取为经过校验的结构化 JSON,支持 SIGHTING、NEST_EGGS_CHICK 等 6 种野生动物观测表单。项目基于 Java 17、Spring Boot 4.1.0 与 Spring AI 2.0.0(Ollama,默认模型 llama3.1:8b),LLM 仅提出字段值,所有校验、引用解析与决策由确定性代码完成,结果需显式确认后才存储。

  14. GitHub · 灵魂体仓库52

    agent-gpu 发布:把多台机器的 Ollama GPU 池化为 OpenAI 兼容推理层

    jaypetez 在 GitHub 开源了 agent-gpu,一个面向 Ollama 的分布式推理层,把远程 GPU 机器聚合成一个 OpenAI 兼容 API。中央服务器负责认证、配额、权限和容量感知调度,按空闲 VRAM 和负载分发任务,并用会话亲和保持对话落在已缓存上下文的 worker 上;支持 /v1/chat/completions 等端点、多租户 API key、Prometheus metrics,提供 Docker Compose 一键启动和 Windows/macOS/Linux x64+ARM64 二进制,项目处于早期开发阶段。

  15. GitHub · 去对齐工具与仓库34

    node-red-contrib-ollama:在 Node-RED 流程中接入 Ollama 的节点模块

    node-red-contrib-ollama 是一个封装 ollama.js 库的 Node-RED 模块,通过可配置节点让流程轻松调用 Ollama 的 AI 能力。需 Node.js 18 及以上,支持本地 Ollama(默认端口 11434)或带 API key 的 Ollama Cloud(ollama.com,端口 443)。节点涵盖 Chat、Generate、Embed、Create、Pull、Push、Ps、Abort 等,基于 MIT License 开源。

  16. GitHub · 去对齐工具与仓库41

    home_assistant:完全本地化的语音助手项目,模型运行在 Mac 上、数据不出内网

    这是一个为小公寓打造的数据完全留在本地的语音助手:说"Hey Jarvis"提问,由房间内 Mac 上运行的本地语言模型作答,需要时通过自托管的 SearXNG 搜索网络,还可播放 Spotify 和报天气,音频、转写与模型均不出内网。项目处于 Phase 2 概念验证,Benchmark 第 5 轮中 Gemma 4 26B-A4B preview 得 232/280、Qwen 3.6 35B-A3B preview 得 208,指向在 32 GB 机器上用 26B 或 35B 的 MoE 模型。

  17. GitHub · 去对齐工具与仓库60

    toroc07 开源 Windows 本地语音助手 ai-jarvis-assistant

    toroc07 在 GitHub 发布 ai-jarvis-assistant,一个全本地运行的 Windows 西班牙语语音助手,用 Ollama 跑 qwen3:8b,语音识别、合成和声纹验证都在本地完成,唯一可选外连是用户自配的 Claude API。项目重点在安全设计:所有操作经 guard.py 按 policy.yaml 白名单校验,删除进回收目录,支持 Ctrl+Alt+J 紧急停机且重启后仍保持停止;声纹用 ECAPA-TDNN 支持最多三名用户,两阶段验证。作者还给出实测笔记,如 Qwen3 4B 虽达 14.4 tok/s 但会倾倒内部独白,8B 为 10.7 tok/s,首次工具调用约 9 秒预热,常规件对话约 5 秒首词、带工具 12-16 秒,含 286 项测试。

    推荐理由:原文详细公开了权限守卫、策略白名单和紧急停机的设计与实测数据,可迁移到其他本地 Agent 的安全与工程决策。

  18. GitHub · 去对齐工具与仓库47

    TranscriptAI:将日语、印地语、英语会议转录转为结构化商业情报的开源项目

    开源项目 TranscriptAI 将日语、印地语、英语及混合语言的会议转录或音频(MP3/MP4/WAV/M4A)转化为结构化商业情报,可识别日语委婉拒绝、ねまわし、"はい陷阱"及印地语迂回表达,输出 8 种会议结果判定。项目采用本地 PII 脱敏并支持 Ollama 完全本地运行;内部基准中软拒绝检测 Binary F1 达 0.98,日语/印地语/英语二元准确率均为 100%,v5 流水线整体得分 93.8/100。

  19. GitHub · 灵魂体仓库53

    hyeonbin123 开源 rag-doc-qa:基于 FastAPI 文档的中韩双语 RAG 问答服务

    hyeonbin123 在 GitHub 开源了 rag-doc-qa,一个针对 FastAPI 官方文档(英文原文 154 篇、韩文翻译 123 篇、1,535 个分块)的 RAG API 服务,用英文或韩文提问会在对应语言文档中检索并返回带引用的答案。技术栈为 FastAPI + PostgreSQL 16 + pgvector,提供 dense / hybrid / rerank 三种检索模式,本地运行 BAAI/bge-small-en-v1.5、Granite R2 311M 嵌入模型与 4-bit GGUF 的 A.X-4.0-Light 生成模型(RTX 2080 Ti 上生成中位数约 9 秒),也可切换 Claude API。

  20. Reddit · r/LocalLLaMA54

    llm-tune:一个帮本地 LLM 找到最优运行设置的 Agent 技能

    Reddit 用户 /u/Distinct-Pie2389 发布了名为 llm-tune 的 Agent 技能,用于为自己的硬件寻找本地 LLM 的最佳运行设置。支持 Dense、MoE、hybrid MoE/Mamba 架构,覆盖 NVIDIA、AMD、Intel Arc 与 Apple Silicon(MLX),支持 llama.cpp、Ollama、vLLM 引擎,可调量化、上下文/KV cache、GPU offloading、MTP、采样、推理和 agent harness 设置,并测量 VRAM/RAM 占用、tokens/sec、context recall 和输出质量。目前仅在 RTX 4090 上实测,作者征集更多 GPU 环境的反馈和基准结果。

  21. GitHub · 灵魂体仓库58

    Dokima v1.0 发布:本地优先的 Agent 开发工作台,平台而非 Agent 掌握审批门禁

    bpmforge 开源了 Dokima,一个本地优先的 Agent 开发工作台,v1.0.0 已打 tag 但尚未发布到 npm,目前需从源码安装(需 Node 22/24 与 pnpm 11)。用户描述需求后由 Dokima 访谈、生成蓝图并拆成看板,由 95 个专家 Agent 与 81 个验证器执行,优先用最便宜的模型;核心设计是平台持有门禁,Agent 会话默认不可信,所有状态变更需铸造收据,事件日志只追加且哈希链校验。支持本地 LM Studio 或 Ollama,无需联网与账号,存储用 SQLite,附 dokima doctor 九项健康检查;许可为 FSL-1.1-ALv2,两年后转 Apache-2.0。

    推荐理由:作者详述了平台级门禁与收据机制的设计思路,对关心 Agent 工作流可信与本地部署的读者有可参考的架构方法。

  22. GitHub · 去对齐工具与仓库42

    llm-eval-harness:基于 pytest 的 LLM 应用评测工具集

    aayush-dhg 的 llm-eval-harness 是一个用 pytest 测试基于上下文的 LLM 问答应用的评测工具集,第一阶段已完成 10 个手写评测用例、参数化 pytest 和通过 Ollama 运行的 llama3.2:latest 模型,当前 10/10 用例全部通过。项目正进行更大规模 golden dataset、打分、LLM-as-judge 评测、CI、报告及 prompt/模型对比。开发中曾因测试要求精确匹配 "mutable" 一词而误判正确答案,随后改为接受语义等价表述。

  23. GitHub · 去对齐工具与仓库45

    garmi 开源 research-agent-ml-enterprise:基于 Ollama 的本地 AI/ML 研究综合智能体

    garmi 在 GitHub 开源 research-agent-ml-enterprise,一个面向 Mac 用户的轻量研究综合智能体。它通过 arXiv、Semantic Scholar、Crossref 等免费学术 API 获取论文,用本地 Ollama 模型(推荐 qwen2.5:7b-instruct 或 llama3.1:8b-instruct)做摘要、趋势提取与跨论文综合,输出 Markdown 报告、结构化 JSON 和论文索引 CSV。项目本地运行、无需云端 API,适用于 AI/ML 企业落地等主题的深度研究与内容生成。

  24. GitHub · 去对齐工具与仓库24

    Smart Document Chatbot:基于 Corrective RAG 的企业文档智能平台(imtarget05/Enterprise-Document-Intelligence-Corrective-RAG-Platform)

    Smart Document Chatbot 是一个可自托管的企业级 Corrective RAG 平台,支持上传法律与商业文档,用越南语和英语提问并返回带引用的答案,证据不足时拒答。系统采用 5 层验证流水线(混合检索→相关性评分→知识精炼→幻觉检查→答案评分),结合 Qdrant 余弦相似度与 BM25 经 RRF 融合检索,并优先通过 Ollama 本地推理、失败时回退 Cloudflare Workers AI。其 LangGraph 智能体编排含 9 个专业 Agent,副作用操作需人工审批(HITL),内置评估框架支持 Hit@K、Recall@K 与 MRR 指标。

  25. GitHub · 灵魂体仓库54

    local-ai-cad-agent:本地对话式参数化 3D CAD Agent 开源

    neuronaline 在 GitHub 开源了 local-ai-cad-agent,一个本地优先的自托管 Web 应用,通过自然语言对话生成和迭代参数化 OpenSCAD 模型。内置 Bubblewrap 沙箱隔离、流形拓扑与体积校验、8 视角自动渲染检查和 Three.js 实时查看器;支持 Ollama 本地离线运行(推荐 qwen2.5-coder:14b-16k,Q4_K_M 量化),也可接入 OpenRouter 或 OpenAI。项目为处于活跃开发中的业余项目,擅长功能机械件与结构件,不支持有机雕刻类几何;无内置认证,默认仅绑定 127.0.0.1。

  26. GitHub · 去对齐工具与仓库29

    116-Labs 开源项目 CueCal:从聊天和邮件中自动挖掘会议邀请并写入日历

    GitHub 上的 CueCal 是一个本地优先的 pre-alpha Agent,可从 Gmail、Slack、Zoho 等 MCP 源中找出埋在聊天与邮件里的会议邀请并创建日历事件。它采用分层抽取:Tier 0-1 用正则和 .ics 模板做确定性解析,Tier 2 由 Ollama 本地小模型补全,仅在失败时按每日上限调用付费 LLM,不确定的候选进入待审批队列。目前确定性抽取器已完成,sources、sinks 与后台服务仍在开发中,`cuecal run` 尚不可用。

  27. GitHub · 灵魂体仓库51

    kblam v0.1.0 发布:为 LLM 研究型 Agent 强制结构化知识库的开源工具

    hungryboygeorge 在 GitHub 发布 kblam v0.1.0,一个面向 LLM 研究与编码 Agent 的平面文件知识库,用 Claude Code hooks 和 Git hooks 阻止 Agent 写入相互覆盖或重复的事实。每条 finding 为一个 Markdown 文件存单条 claim,写入时经启发式校验、BM25 或 ollama embeddinggemma:300m 相似检索,再由 OpenRouter 上的 TypeSafe AI Jev 模型判断重述或矛盾,30 候选一次写入约 $0.001;无 Jev 时仍可运行确定性规则。

  28. GitHub · 去对齐工具与仓库49

    llm-lang-lab:探索 LLM 智能体更易用的编程语言实验仓库

    ddanila 的 llm-lang-lab 仓库是一个探索对 LLM 智能体更友好的编程语言的实验,目前尚未实现新语言。首期对比 C17 与 Go,由 pi 智能体驱动本地 Qwen3.5 9B(Q4_K_M)模型经 Ollama 运行:六次试点中 Go 通过 3/3,C 通过 2/3;v2 全套校准中 C 4/10、Go 6/10。新的 v3 研究包含 800 个新种子试验,预计运行约 17 小时,结果属探索性证据而非稳定排名。

  29. GitHub · 去对齐工具与仓库52

    uhu:透明反馈循环的极简 agentic coder 开源工具

    andreisminsk 在 GitHub 开源了极简 agentic coder 工具 uhu,通过透明的动作、观察与模型调用反馈循环展示 agent 流程,每消息自动执行最多 3 轮反馈。工具强调节约上下文,提供 35 种结构化工具、JSON 自定义 skills、永久记忆、MCP 支持、OpenAI 兼容 API 与 TPM 限流,可用 --model 切换本地或云端模型并连接远程 Ollama 实例。项目以 CC BY-NC-SA 4.0 许可发布,代码由大语言模型辅助生成。

  30. GitHub · 灵魂体仓库64

    Rayleigh 本地优先个人 AI 知识助手开源,MVP 全部 12 步完成

    GitHub 用户 zaaramedamin 开源了 Rayleigh,一个本地优先、隐私优先的个人 AI 知识助手,全部计算在本机运行,不向云端 API 发送文档或查询文本。项目基于 Python、FastAPI、Qdrant(本地)、sentence-transformers 和 Ollama(默认模型 qwen3.5:4b),已完成 MVP 路线图全部 12 步,支持文件摄取、分块溯源、语义与关键词混合搜索、带引用的回答、摘要对比抽取、语音输入(本地 Whisper)和受控 Agent 工具。内置 37 题评测集显示 24/26 可答题正确且引用有效、10/10 不可答题正确拒答,offline-check 命令阻断全部非本地网络运行全流程并报告被拦截的出站连接数。

    推荐理由:项目给出完整的本地化实现细节和内置评测结果,还有阻断网络的离线验证方法,对想自建本地 RAG 助手的人有参考价值。

  31. GitHub · 灵魂体仓库19

    LLM 在 Kubernetes 上的安全分布式部署与性能评估:法兰克福应用技术大学硕士论文项目

    法兰克福应用技术大学硕士论文项目开源,研究 LLM 推理在 Kubernetes 集群上的部署、安全与性能评估。技术栈包括 FastAPI、Ollama 运行 qwen2.5:0.5b、Prometheus、Grafana 和 k6,将对比基线部署与逐步加入 RBAC、Network Policies、mTLS 等安全机制后的性能开销,计划先在 Kind 本地集群开发,最终在托管云 Kubernetes 环境评估。项目仍在开发中,实验结果将陆续补充。

  32. GitHub · 灵魂体仓库48

    local-ai-stack:一条命令在本地搭建私有 AI 全栈

    local-ai-stack 是一个基于 Docker Compose v2 的 CLI 与容器编排工具包,一条命令即可在本地启动包含 Ollama 本地 LLM、Open WebUI、Qdrant 向量库、PostgreSQL 和 OpenAI 兼容 API 网关的完整私有 AI 环境。它支持 minimal、standard、full 三档预设(最低 8 GB 内存起步),自动检测 OS、架构与 GPU(Apple Metal / NVIDIA CUDA),推理与数据全程不出本地。内置 doctor 诊断、模型管理与备份恢复(SHA-256 校验),OpenAI SDK 或 LangChain 可零改动直接接入。

  33. GitHub · 灵魂体仓库30

    omar2381/discord-llm-bot:通过 Ollama 运行本地 LLM 的 Discord 机器人发布

    开发者发布开源 Discord 机器人 discord-llm-bot,提供游戏、实用命令、审核、欢迎消息与角色菜单,可选接入 Ollama 运行的本地小模型 qwen2.5:3b 作为 AI 助手,CPU 上回复需 5-20 秒,也可换用 qwen2.5:1.5b。留空 OLLAMA_URL 时除 /ask 外全部功能照常。AI 可建议 timeout、删消息等操作,但须发起人按 Confirm/Cancel 按钮确认且权限重新校验,每人在每服务器最多记 50 条短事实,项目尚未在真实 Discord 服务器上运行。

  34. GitHub · 灵魂体仓库38

    GrizzDog-AI:Butler 社区学院的 LLM 安全教学实验项目

    Butler 社区学院(Andover 校区)网络防御教师开发的 GrizzDog-AI 是一个独立学术研究与教学用的 LLM 安全实验沙箱,2026 年 10 月更新后全部 27 个基准攻击向量已映射到 OWASP LLM01–LLM07 与 MITRE ATLAS AML.T0051–AML.T0057,并对齐 NSA/DHS CAE-CD 课程知识单元。项目围绕 4 个校园角色(机器犬哨兵、助教、Canvas 评分器、注册主任)提供 6 类红队任务和 4 级难度递进的防护版本,新增 `batch_grade.py` Canvas 批量评分器(含 HMAC-SHA256 签名校验)与一次构建全部 18 个模型的 `build_models.py`。

  35. GitHub · 灵魂体仓库36

    devair/rag-llm-app:基于 Node.js 与 Ollama 的本地 RAG 应用

    GitHub 上的 rag-llm-app 是一个用 Node.js、TypeScript、PostgreSQL (pgvector)、Redis (BullMQ) 和 Ollama 构建的本地 RAG 应用,支持 PDF、DOCX、HTML、TXT 文档的异步摄取与向量检索问答。嵌入采用 nomic-embed-text(768 维),对话使用 llama3:latest,检索通过 cosine similarity 返回 top-4 chunks,全部模型本地运行,提供 Docker Compose 一键部署和 MIT 许可。

  36. GitHub · 去对齐工具与仓库67

    h3rb3rn/ollama-legacy-gpu:让 Ollama 支持 Maxwell 到 Blackwell 的 NVIDIA 旧卡运行

    该 Ollama 分支为 NVIDIA 旧款与现役 GPU(Maxwell 到 Blackwell)提供运行时和 Docker 构建,已验证基础为 Ollama v0.40.0(llama.cpp b11351),GitHub Actions 已产出基于 v0.40.1 的镜像 cuda12-maxwell-0.40.1。

    推荐理由:README 附上逐机型实测吞吐、调优参数与兼容性边界,便于读者评估旧显卡跑大模型的具体可行配置。

  37. GitHub · 灵魂体仓库64

    HybridRAG 开源:本地多用户文档问答,附检索与生成实测数据

    nithya-prakash 在 GitHub 开源 HybridRAG,一个本地运行的多用户文档问答系统,采用 dense + BM25 混合检索、RRF 融合、cross-encoder 重排与拒绝式防幻觉,支持 Ollama 本地模型及 Groq、OpenAI、Gemini 托管模型。作者自建 116 题 8 文档评测集,混合检索 Recall@1 0.929,防幻觉 guard 准确率 93.1%、召回 76.5%,Groq gpt-oss-120b 生成 faithfulness 1.00,而本地 qwen2.5:3b 仅 0.43,表明检索非瓶颈、本地小模型是短板。作者亦如实指出评测集小且不独立、120B 模型自评偏乐观等局限。

    推荐理由:作者用自建 116 题标注集给出检索、防幻觉与本地和托管生成模型的对照数据,可直接评估这套 RAG 方案的取舍。

  38. GitHub · 灵魂体仓库62

    TokenFrugal 开源:用本地小模型分担 Claude Code / Codex 的例行编码任务

    GitHub 用户 maxh8086 开源了 TokenFrugal,一个 MCP 服务器,把样板代码、测试、文档、审查和研究等例行任务交给 Ollama 或任何 OpenAI 兼容 API 的免费本地 LLM,云端模型只负责架构和难点决策,每次任务只返回 150-300 token 的摘要。它将 282 个 agency-agents 人格映射到 11 个角色(builder、analyzer、reviewer、security 等),每个角色限制 4-6 个工具的 allowlist,失败返回 task_id 可用 resume_task 恢复,且无静默云端回退以避免意外花费。

    推荐理由:原文给出了完整的部署步骤和角色分工设计,读者可以据此把例行编码任务交给本地小模型以节省云端 token。

  39. GitHub · 灵魂体仓库70

    defibrillator:一个按需唤醒 Ollama 服务器的单文件反向代理

    tammert 在 GitHub 发布 defibrillator,一个用 Go stdlib 写的单文件反向代理,部署在客户端与闲置关机的 Ollama GPU 机器之间:有请求时发送 Wake-on-LAN 唤醒机器并转发(SSE 流式转发保持),超过 IDLE_TIMEOUT(默认 30m)无请求则通过 ssh 执行 systemctl poweroff 关机。并发请求共享同一次唤醒,全部配置走环境变量,另提供约 2 MB 的 Docker 镜像,仓库附 test.sh 覆盖 17 项断言的测试矩阵,MIT 许可。

    推荐理由:这是一个单文件无依赖的反向代理工具,读者可以按 README 直接配置环境变量,让闲置 GPU 机器通过 Wake-on-LAN 自动开关机。