跳到正文
#本地部署
10月9日周五
  2. GitHub · 灵魂体仓库52

    Pennvass：本地运行的 Chrome 写作助手扩展开源

    Pennvass 是一个 Chrome 扩展，在本地机器上运行 LanguageTool（127.0.0.1:8010）、Ollama（127.0.0.1:11434，默认 qwen2.5:7b）和可选的 Laya，为任意输入框提供拼写、语法、更清晰的句子改写和语气识别，也可通过 127.0.0.1:8787 的后端调用 Claude 重写选中文本。它用不同颜色下划线标注错误，修正通过 execCommand('insertText') 输入以支持 Ctrl+Z，且只访问 loopback 地址、不读取密码字段，可与 Grammarly 同时运行。

  3. GitHub · 灵魂体仓库18

    agentic-graph-rag：基于 Gemini 与 Neo4j 的本地图推理研究应用使用指南

    agentic-graph-rag 是一款 Windows 研究原型应用，结合图数据库、检索与 Agent 式推理，从相互关联的知识中回答问题。它基于 ADK、MCP、Neo4j、FastAPI、Gemini 和 GraphRAG 思想构建，支持跨文档探索关联、追踪人物地点主题和追问。数据保留在本地，但若启用云模型或远程图服务则可能经由这些服务传输。

  6. GitHub · 灵魂体仓库60

    vecmem 发布：把 markdown 笔记索引成本地 AI 记忆的 MCP 工具

    Lemuelendoscopic797 在 GitHub 发布 vecmem，一个索引本地 .md 笔记并提供语义搜索的 MCP 服务器工具。它按标题分块并生成嵌入向量，存入本地 SQLite，采用 BM25 加余弦相似度的混合检索，搜索约 100ms；通过 .mcp. 可接入 Claude CLI、Cursor、VS Code Copilot、Windsurf 等 MCP 客户端。全程本地运行，无需 API key，仅首次需下载 23MB 搜索模型，仅支持 markdown 文件，英语语义搜索效果最好，其他语言主要靠关键词搜索。

    推荐理由：原文讲清了 vecmem 的混合检索架构与本地运行方式，读者可以据此评估能否把散落的 markdown 笔记接入 AI 助手当记忆用。

  7. GitHub · 灵魂体仓库75

    m-bench 开源本地 LLM 全栈基准工具，推荐 Qwen3.6-35B-A3B-NVFP4 加 vLLM 配置

    luongnv89 在 GitHub 开源 m-bench，一套针对自己机器基准测试完整 LLM 配置（serving 参数、thinking 模式、编码代理）的工具，每个任务附参考解，validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4（MoE，约 3B 激活）跑 vLLM，关 thinking，core16+hard12 达 82.1% pass@1，吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分，但在工具循环中可把轮次从 6.8 降到 5.2；同一权重经四个不同代理得分相差最多 23 分。

    推荐理由：原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大，为本地部署选型提供了可复用的基准方法和结论。

  8. GitHub · 灵魂体仓库16

    ai-localbase：Windows 本地优先 AI 知识库使用指南

    ai-localbase 是一款 Windows 本地优先 AI 知识库应用，可对本地文档建立索引并接入 Ollama 等本地模型服务进行搜索与对话问答。它支持 .md、.txt、PDF、.xlsx、.csv 文件，并提供 MCP 服务支持供其他工具接入。应用要求 Windows 10/11、8 GB 内存和 10 GB 磁盘空间，Windows 安装包可从 GitHub release 页面下载。

  9. Hugging Face · 新模型：abliterated22

    Huihui-GLM-5.3-Flash-abliterated-GGUF 模型在 Hugging Face 上提供多种推理部署方式

    muterornament/Huihui-GLM-5.3-Flash-abliterated-GGUF 现已在 Hugging Face 上提供，是一个图像-文本到文本的 abliterated GGUF 模型，支持 UD-Q4_K_XL 等量化版本。用户可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker、LM Studio 等多种工具运行，llama.cpp 和 vLLM/SGLang 均提供 OpenAI 兼容 API，支持文本与图像输入。

  10. GitHub · 灵魂体仓库23

    vishalgwu 开源 LLMOps 面试准备仓库，覆盖 12 大模块

    GitHub 用户 vishalgwu 开源了 LLMOps 面试准备仓库，涵盖 12 个模块，从基础架构、数据工程、量化与 PEFT，到 vLLM 推理引擎、RAG 评估、安全护栏和基于 LangGraph 与 MCP 的 Agent 运维。仓库还包含 CRISP-LM 系统设计框架、决策树（RAG vs 微调、LoRA vs 全量微调）以及 35 道快速问答。

  11. GitHub · 灵魂体仓库76

    hf-to-litertlm 开源仓库发布，将 Hugging Face 模型一键转换为 .litertlm 并附 69 个实测转换

    john-rocky 的开源项目 hf-to-litertlm 提供 convert.py 一条命令，把 Hugging Face 开放权重的 LLM 和 VLM 转成可在 Android、iOS、macOS、Windows、Linux 上运行的 .litertlm bundle。已发布 69 个转换，每个都带 litertlm_manifest. 实测解码速度和一键复现脚本，覆盖 Qwen3.5、LFM2.5、granite、Falcon-H1 等约 2,670 个 Hub 衍生模型；转换器对 gated、remote-code、预量化仓库以结构化 JSON 拒绝，导出后经 8 题质量门禁（6/8 通过线）把关。

  12. GitHub · 灵魂体仓库38

    rffanlab/llm_eval：本地 Ryzen AI Max+ 395 与云端 qwen3.8-flash 工作能力评测仓库

    rffanlab/llm_eval 仓库公开可复跑的本地与云端模型工作能力评测，首期对比本地 Ryzen AI Max+ 395 运行 Qwen3.8 Flash Next 与阿里云 Token Plan qwen3.8-flash。2026-10-07 完成 10 类题、32 个主试验会话＋8 个诊断；2026-10-08 在同一台机器上对比 Halogen 0.9.1/W4B、0.17.2 默认 v2 与 Swift 1.5，完成 10 个题型、48 个主会话，硬验收分别为 15/16、13/16、10/16，Swift 调度器三次 13/13、耗时中位 35.60 秒。仓库仅用 Python 3.10+ 标准库，超时与题量限制表明结论只针对被测任务与当次配置。

  13. GitHub · 去对齐工具与仓库58

    1CatAI 开源 1Cat-vLLM-Gaudi：面向 Intel Gaudi2 的大模型推理优化分支

    1CatAI 在 GitHub 发布 1Cat-vLLM-Gaudi，一个维护的 vLLM-Gaudi 硬件插件工程分支，重点优化 Gaudi2 上的 Qwen、DeepSeek、MiniMax 模型推理，覆盖 TPC/MME 算子、Graph + Compile、Native Replay、TP2 与 TP2 × PP2 多卡执行。README 给出 Qwen3.8-27B-FP8 对照记录：输入 2,048 tokens 时 Gaudi2 单请求首字 0.4036 s、Decode 57.17 tokens/s，较 A800 单卡首字缩短 47.8%、Decode 提升 17.5%；32 并发时 Decode 总吞吐 958.44 tokens/s，仍比 A800 低 3.3%。

    推荐理由：这个 vLLM-Gaudi 分支把 A800 与 Gaudi2 的逐档并发对照数据连同测量口径一起公开，读者可以核对每项优化的适用范围与局限。

  14. GitHub · 去对齐工具与仓库44

    llmtui：键盘优先的本地 LLM 终端聊天 UI

    开源工具 llmtui 提供键盘优先的终端界面，用于与本地 LLM 聊天，支持 Ollama、LM Studio、vLLM、llama.cpp 及任何 OpenAI 兼容服务器，还可通过 llama.cpp 在进程内直接运行 GGUF 模型。它强调本地优先：无遥测、API 密钥不记录，推理内容仅存内存、不写入历史；可选 /agent 模式默认关闭，执行有边界、可验证的循环，工具调用需经审批。支持 darwin、linux、windows（amd64/arm64），需 Go 1.27+ 或直接下载 GitHub Releases。

  15. GitHub · 灵魂体仓库25

    IPIP v1.5.0：面向网络运维的一体化资产管理与监控平台发布

    GitHub 项目 IPIP 发布 v1.5.0，是一个面向网络运维的一体化资产管理与监控平台，覆盖数据中心、机柜、设备、IP/VLAN、运营商线路、拓扑、监控告警与客户管理。新版本内置 AI 助手，支持告警解读、自然语言查询、基于 chromadb 与 bge 系列模型的 RAG 本地知识库和 Agentic 巡检诊断，数据不出机。技术栈为 Flask + MySQL 8.4 + React 19 + TypeScript，推荐以 systemd 托管部署，Ubuntu 24.04 LTS 为全流程实测的推荐路径。

  17. GitHub · 灵魂体仓库65

    Project Coldfall 发布：macOS 终端并排运行 Claude Code、Codex 等长驻智能体并统一显示各家配额

    anthonyproctor 发布 Project Coldfall，一个 macOS 13+ 开源终端（Swift，MIT 许可），可并排运行 Claude Code、Codex、Antigravity、Copilot、Grok CLI 或 Ollama 本地模型等多个长驻 AI 智能体。底部状态条读取各家真实剩余配额并统一显示，Claude 和 Codex 已支持实时额度，Copilot 只显示 token 和 premium requests，Antigravity 尚无数据。

    推荐理由：原文详述了以桌面为单位管理多个长驻 AI 智能体的设计与跨厂商配额计量思路，读者可以借鉴其工具取舍和隐私边界做法。

  18. GitHub · 去对齐工具与仓库45

    VD Agent：支持免费 API key 的桌面 AI 编程智能体

    Virender Dhiman 开源了桌面 AI 编程智能体 VD Agent，将 AI 助手与代码编辑器、终端和 git 客户端结合，可在遇到限流或错误时自动切换模型，并支持通过 Ollama（如 qwen2.5-coder:7b）完全离线运行。该工具提供 Normal、Smart、Agentic 三种环境模式，具备运行测试验证自身工作、Plan Mode、断点恢复等能力，支持 Windows、macOS 和 Linux。它无服务器、无账号、无遥测，聊天、设置和 API key 均保留在本地，API key 经 OS keychain 加密存储。

  19. Reddit · r/LocalLLaMA57

    Qwen3.5-2B-RCOL 动态低比特量化发布，KLD 显著优于标准 imatrix 量化

    Reddit 用户 /u/jjusko20 发布 Qwen3.5-2B-RCOL 动态低比特量化（IQ1_M、IQ2_M、IQ3_M），基于对 ISTALab RCO 算法的修改，可在严格 VRAM 预算下量化模型，且无需将 FP16 教师模型载入显存。作者称在 1 比特和 2 比特范围看到显著 KLD 改进，并在与标准 llama.cpp imatrix 量化相同 wikitext 校准、双保留集测试下给出 KLD 对比表，IQ1_M 散度大幅下降；GGUF 文件在 https://huggingface.co/trubisky/Qwen3.5-2B-RCOL，后续计划应用于家族更大模型。

  21. GitHub · 灵魂体仓库62

    layer0 发布：Rust 编写的自托管混合 RAG 与 Agent 长期记忆工具

    amajorai 在 GitHub 发布 layer0，一个用 Rust 编写、可完全自托管的混合 RAG 与 AI Agent 长期记忆工具，单二进制加每库一个 SQLite 文件即可离线运行。它用 sqlite-vec 向量检索加 BM25 与知识图谱做 RRF 融合再重排，默认本地 gemma 模型，也可换 Claude 等 OpenAI 兼容后端；提供 CLI、HTTP API 和 MCP 服务器，并附带 layer0-setup 与 layer0-memory 两个技能供 Agent 安装使用。

    推荐理由：原文完整给出了混合 RAG 与长期记忆的架构、配置和限制参数，想要自托管 Agent 记忆方案的开发者可以直接对照复现。

  22. GitHub · 去对齐工具与仓库44

    babelOtter：完全由本地 LLM 驱动的 macOS 系统级翻译与语言学习 Agent

    开源项目 babelOtter 是一款 macOS 系统级翻译与语言辅导 Agent，全部由 Ollama 本地运行的大语言模型驱动，文本不经外传，网络出口仅限 loopback 并有测试验证。目前 Translate 原型已合入 main，支持全局快捷键 Control-Option-T、流式弹出、Replace/Copy 及 du/Sie 受众选择；Correct（Control-Option-C）已支持流式纠错与 inline diff，Explain 和 Re-pitch 尚未构建。项目要求 macOS 14+、Xcode 16+/Swift 6 与本地 Ollama，swift test 共 466 个测试全部通过，CI 强制 BabelOtterKit 突变测试得分 ≥80%。

  23. GitHub · 去对齐工具与仓库55

    localllm-advisor 开源本地部署选型工具：按硬件推荐模型、按模型推荐 GPU

    localllm-advisor 发布开源仓库，提供本地 LLM 选型工具：按 GPU/CPU 推荐模型并生成 Ollama 命令，或按模型反推 GPU 配置与预算。工具收录 206 款 GPU、78 款 CPU 和 891+ 模型，含 6 档量化等级、物理公式估算 tok/s、云端替代方案、企业级 GPU 集群测算与 TCO 分析，核心功能 100% 客户端运行、无数据收集，站点已上线 localllm-advisor.com，代码以 MIT 许可开放。

  24. Hugging Face · 新模型：abliterated69

    hotdogs 发布 Ternary Bonsai 2 27B 去对齐合并版，约7.6GB 单卡可跑

    hotdogs 在 Hugging Face 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP，基于 BoldingBuilds 的去拒绝 v2 版，以 0.4 scale 合并 Swift 去对齐与 ThinkingCap 省 token 推理两个 SVD-LoRA。模型采用 PQ2_0 三元量化（约2.13 bits/weight），27.3B 参数仅约 7.6 GB，支持 262,144 token 上下文、视觉输入和 MTP 投机解码。仅能通过 PrismML 的 llama.cpp fork 加载，主线程 llama.cpp、Ollama 和 LM Studio 均不支持。

    推荐理由：原文给出abliteration的张数、MMLU损失和各LoRA保留能量，合并构建的局限与适用范围都写得很透明。

  25. GitHub · 灵魂体仓库37

    Jan：开源本地 ChatGPT 替代品

    Jan 是一个开源的 ChatGPT 替代品，可在本地下载并运行 Llama、Gemma、Qwen、GPT-oss 等模型，支持通过 OpenAI、Anthropic、Mistral、Groq、MiniMax 等接入云端模型。它提供自定义助手、OpenAI 兼容本地 API（localhost:1337）和 MCP 集成，数据可完全本地运行以保护隐私。项目采用 Apache 2.0 许可证，支持 Windows、macOS 13.6+ 和多数 Linux 发行版。

  26. GitHub · 灵魂体仓库66

    AlexClaw：基于 Elixir/OTP 的单用户个人 AI agent 开源项目

    thatsme 在 GitHub 发布 AlexClaw，一个基于 Elixir/OTP 的单用户个人 AI agent，可监控 RSS、网页、GitHub 仓库与 API，经 Telegram 或 Discord 与唯一所有者对话。核心特性包括按 light/medium/heavy/local 分层的多模型 LLM 路由（默认接入 Gemini、Claude、Ollama、LM Studio，支持纯本地部署）、带条件分支的工作流引擎、plan-execute-evaluate 推理循环、PostgreSQL+pgvector 的语义记忆与 RAG 知识库。

  27. GitHub · 灵魂体仓库28

    EVREN CLI：受 Google Antigravity 启发的开源 Windows 自主开发助手

    开源项目 EVREN CLI v0.1.0 上线，这是一款基于 EVREN LLM API、受 Google Antigravity CLI 启发的 Windows 自主软件开发助手。它提供 Antigravity 风格 TUI 与 slash 命令，支持自主智能体循环（读取、编辑、写文件并运行测试）、deepseek-v4.1-flash、glm-5.3 和 Qwen 模型的推理流式输出，以及每日 token 配额追踪。安全方面含目录边界检查、自动备份、/undo 回滚和改动前的彩色 diff 预览确认。

  28. GitHub · 灵魂体仓库66

    开源无障碍检查工具 rampa-cli 发布，axe-core 加语言模型判定 WCAG 语义残留

    Rampa 是开源命令行 WCAG 无障碍检查器，先用 axe-core 处理规则能判定的问题，再把语义残留按 WCAG 2.1 准则逐条交给语言模型判断，覆盖 alt 文本、页面标题、链接目的、标签可见性等 9 项准则。每条结论必须引用页面上真实存在的节点和文本，否则被丢弃；可经 Ollama 本地模型或主流服务商运行，支持 SARIF、CI、Playwright 和 MCP，并附 W3C ACT 测试用例上的评估数据。

    推荐理由：开源 CLI 用 axe-core 加模型判断补足规则无法判定语义的残留，并以 W3C ACT 测试用例给出每条准则的实测数据。

  29. GitHub · 去对齐工具与仓库33

    birdLLMJ：野生动物观测语音转写提取为结构化 JSON 的开源项目

    GitHub 开源项目 birdLLMJ 将野外观测语音转写文本提取为经过校验的结构化 JSON，支持 SIGHTING、NEST_EGGS_CHICK 等 6 种野生动物观测表单。项目基于 Java 17、Spring Boot 4.1.0 与 Spring AI 2.0.0（Ollama，默认模型 llama3.1:8b），LLM 仅提出字段值，所有校验、引用解析与决策由确定性代码完成，结果需显式确认后才存储。

  30. GitHub · 灵魂体仓库44

    idlefill：仅在本地 LLM 服务器空闲时运行后台 AI 任务的调度工具

    idlefill 是一个开源项目，由 Fastify 编写的仲裁服务端和 Mac 守护进程客户端组成，通过监听 LLM 网关活动流和推理引擎日志的 mtime 判断服务器空闲，仅在空闲时向注册客户端发放租约以运行 job-queue 评估等后台任务，避免与交互流量争抢资源。核心设计是"自流量陷阱"处理：只有客户端持有活跃租约时，其流量才被豁免于空闲计算。Phase 1 已完成，仲裁器已于 2026-09-25 部署到 urza，compose + traefik 加固方案已于 2026-10-08 废弃。

  31. GitHub · 去对齐工具与仓库57

    LocalLLM 开源自托管 AI 平台：基于 Gemma 4 12B 的本地多模态助手栈

    murai1998 在 GitHub 发布 LocalLLM，一个完全本地运行的开源 AI 助手平台，基于 Gemma 4 12B（GGUF，llama.cpp 推理），支持多模态聊天、文档 OCR、语音转文字、实时语音翻译和 LangGraph 工具调用智能体。项目采用单一 FastAPI 网关暴露 OpenAI 兼容 API，支持 CUDA 与 Apple Silicon GPU 加速，48 GB Apple Silicon Mac 可换用 Gemma 4 31B 或 Qwen3.8-27B 预设（M5 Pro 上约 13–15 tok/s）；唯一非本地功能是可选的 Gemini 3.5 Live Translate 对比引擎，需自备 API key。

    推荐理由：README 详细给出了网关架构、量化配置和多智能体设计，想自建本地 AI 平台的读者可以参考其单网关和提供方抽象做法。

  32. Reddit · r/LocalLLaMA60

    在 RTX 4090 上以 262K 上下文和约 130 tok/s 运行无审查版 Qwen3.8-27B（HauhauCS）

    作者将 HauhauCS 发布的无审查 Qwen3.8-27B（GGUF 格式）转换为自研 C++/CUDA 推理引擎 NInfer 的格式，在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度（MTP3，70.8% 接受率）、9K 提示词下 3,591 tok/s 预填充，Perplexity 与官方产物差距在 1.3% 以内，视觉和工具调用仍可用，采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4，仓库为 ninfer。

    推荐理由：作者给出转换前后速度、上下文和困惑度的对照数字，读者可据此评估自研推理格式在量化去对齐模型上的可用性。

  33. GitHub · 灵魂体仓库62

    Kizuna AI Lab 开源实时双向语音翻译工具 Sokuji，支持全离线本地推理

    Kizuna AI Lab 在 GitHub 发布开源实时双向语音翻译应用 Sokuji，提供桌面端与浏览器扩展两种形态，可接入 Zoom、Teams、Meet、Discord 等应用。工具支持 Local Inference 模式，基于 WASM 与 WebGPU 在设备端完成 ASR、翻译和 TTS，无需 API key、不依赖独立 GPU，完全离线；内置 44 个 ASR 模型、75 个翻译模型、137 个 TTS 模型，覆盖 99+ 识别语言、55+ 翻译语言和 53 种语音合成语言。

    推荐理由：开源实时双向语音翻译工具，本地推理与多家云服务商可切换，需要跨语言会议又在意隐私的读者可以关注。

  34. GitHub · 灵魂体仓库61

    AI Write 发布：带故事记忆的 Windows 长篇 AI 写作工具

    Lampost-123 在 GitHub 发布 AI Write，一款免费的 Windows 10/11 64 位长篇 AI 写作应用。它为每个故事维护角色、地点、规则和情节线索的记忆，在每次生成前注入当前场景所需内容，场景完成后自动更新记忆且每次改动可撤销；写作时实时检查拼写、事实矛盾和角色不应知晓的信息。支持 OpenRouter、DeepSeek 或本地 LM Studio/Ollama 模型，朗读与听写语音本地运行，故事数据保存在本地 Documents 文件夹，应用无账号无追踪，朗读语音需 NVIDIA RTX 20 系及以上 8 GB 显存。

    推荐理由：这款写作工具把故事记忆和一致性检查做进本地应用，展示了长篇创作里维持角色与情节连续性的一种可落地做法。

  35. GitHub · 灵魂体仓库52

    Gyemoim 发布：本地 OpenAI Responses API 网关，单执行文件内置 WebUI

    Gyemoim 是一个本地 OpenAI Responses API 网关，单可执行文件内置 WebUI，无需配置文件或安装器，默认监听 127.0.0.1:9092，支持通过 Sign in with ChatGPT 连接 OpenAI 账号做推理。它在 WebUI 中管理 provider 连接、模型别名路由、服务账号密钥与请求历史，可生成 Pi agent 1.0.0 的配置片段；目前仅支持 OpenAI OAuth 方式，未实现 API-key 认证和其他 provider，且完整的账号登录、推理流程尚未经真实账号验证。请求历史以 NDJSON 完整记录请求与响应，不加密、不脱敏，需注意保护数据目录。

  36. GitHub · 去对齐工具与仓库52

    llmlocal开源：基于llama.cpp的CPU优先OpenAI兼容本地LLM API服务器

    GitHub仓库AdnanSattar/llmlocal发布了一个CPU优先的OpenAI兼容本地LLM API服务器，默认通过llama.cpp子进程运行GGUF量化模型，默认模型为Qwen3-1.7B-Q4_K_M，提供/v1/chat/completions、/v1/completions、/v1/models等端点，支持SSE流式输出和混合推理模型的thinking开关（LLM_REASONING_FORMAT=deepseek使推理过程单独返回不混入答案），默认上下文窗口8192。

  37. GitHub · 灵魂体仓库52

    agent-gpu 发布：把多台机器的 Ollama GPU 池化为 OpenAI 兼容推理层

    jaypetez 在 GitHub 开源了 agent-gpu，一个面向 Ollama 的分布式推理层，把远程 GPU 机器聚合成一个 OpenAI 兼容 API。中央服务器负责认证、配额、权限和容量感知调度，按空闲 VRAM 和负载分发任务，并用会话亲和保持对话落在已缓存上下文的 worker 上；支持 /v1/chat/completions 等端点、多租户 API key、Prometheus metrics，提供 Docker Compose 一键启动和 Windows/macOS/Linux x64+ARM64 二进制，项目处于早期开发阶段。

  38. GitHub · 灵魂体仓库78

    gpupool 开源：把多机零散 VRAM 池化成 OpenAI 兼容推理端点

    gpupool 是一个基于 llama.cpp 的控制平面，能把分散在多台机器上的空闲 VRAM 池化，按层拆分模型跨 GPU 和服务器部署，并对外提供单个 OpenAI 兼容 URL。它支持多模型优先级与抢占、KV cache 量化共享、投机解码、Hugging Face 到 GGUF 的内置转换，估计器与已发布的 Q4_K_M GGUF 文件体积误差在 4% 以内；文档提醒 RPC 端口无认证，需在私网或 VPN 内使用。

    推荐理由：gpupool 把多台机器的空闲 VRAM 池化成一个 OpenAI 兼容端点，文档给出具体放置方案和显存估算精度，便于评估能否复用自家零散 GPU。

  39. GitHub · 去对齐工具与仓库51

    开源自托管信息编织工具 Signalweaver 发布

    GitHub 项目 Signalweaver 发布完整源码，定位为自托管的个人认知压缩引擎，将 RSS、网页抓取、API 和搜索结果经 LLM 加工后按计划投递到邮件、Slack、Discord、Telegram 或本地 Markdown 库。系统由采集 Coil、预处理 Carding、LLM 处理 Weave、调度 Schedule、投递 Shuttle 五个可插拔模块组成，支持 OpenAI 兼容端点、Anthropic、Ollama、vLLM、llama.cpp 等，MIT 协议开源，宣称单实例可处理 200+ RSS 源和每小时 3,000 条目。

  40. GitHub · 去对齐工具与仓库34

    node-red-contrib-ollama：在 Node-RED 流程中接入 Ollama 的节点模块

    node-red-contrib-ollama 是一个封装 ollama.js 库的 Node-RED 模块，通过可配置节点让流程轻松调用 Ollama 的 AI 能力。需 Node.js 18 及以上，支持本地 Ollama（默认端口 11434）或带 API key 的 Ollama Cloud（ollama.com，端口 443）。节点涵盖 Chat、Generate、Embed、Create、Pull、Push、Ps、Abort 等，基于 MIT License 开源。