新闻、仓库与研究，按时间排列。
pi-workbench 是一个本地优先的桌面工作台，以子进程方式运行 `pi --mode rpc`（stdin/stdout JSONL）驱动 pi 编码智能体，不 fork、不改 pi 本体。支持 Windows 双壳（Electron + Tauri，安装包约 32MB）、Linux AppImage 与 macOS dmg（arm64/x64），会话与模型配置沿用 pi 原生格式，与 pi CLI 完全互通。内置多供应商配置、模型级回退路由、Agent Skills 管理、用量统计、定时任务，并可只读导入 Codex/Claude/Aider 等工具的历史会话。
Liviere 在 GitHub 开源 inference-core，一个基于 FastAPI + Celery 的生产级 LLM 应用后端骨架。它支持 OpenAI、xAI、Gemini、Claude、Mistral、DeepInfra、Fireworks、Ollama 等提供商接入，提供同步、流式和原生批量三种请求模式，并内置 LangChain v1 Agents、LangGraph Agent Server、MCP 工具集成、Qdrant 向量存储、JWT 认证与 Sentry/Prometheus/Grafana 可观测性。目标是缩短从想法到生产级推理服务的距离，并内置成本与可靠性控制。
一位产品经理开源了自托管的 RAG 聊天机器人 kdraggoo/chatbot，用于回答关于自己职业的问题，不依赖第三方 LLM API，数据不出服务器。系统用 Ollama 运行 bge-m3 嵌入模型和 llama3.2:3b 生产模型，配合 Qdrant 向量库与 FastAPI，设 0.4 相似度阈值避免无据回答。截至 Sep 25, 2026 已处理 95 个问题、回答 84 个，中位响应 42 秒、p95 48 秒，目标是迁移到 GPU 并将首 token 延迟压到 5 秒以内。
GitHub 用户 dewil 发布开源工具 pii-mask，一个在文本发送到云端大语言模型前对姓名、电话、email、护照等个人敏感信息（PII）进行本地脱敏、并在模型返回后还原原文的网关，主打俄语场景与俄罗斯个人数据格式（ИНН、ОГРН、СНИЛС 等）。识别采用三层结构：正则加校验位、基于 Natasha 的离线 NER（按词形归一保持标签一致）、可选的 Ollama LLM 审计第二遍（默认模型 qwen3:1.7b）。服务无状态、fail-closed，映射文件 mapping. 权限 600 并写入 .gitignore。
推荐理由：作者详述了正则加NER加LLM审计的三层识别设计与152-ФЗ合规边界，方法思路可迁移到其他语言的文本脱敏场景。
GitHub 开源项目 Offline-LLM 是一个完全在本地电脑运行的私有 AI 助手，基于 FastAPI、Ollama 和 Qdrant 构建，数据不离开设备。它支持与 Ollama 拉取的任意本地模型聊天，并通过 RAG 对 PDF、Word、Excel、CSV、TXT、PowerPoint 和图片提问，含扫描件 OCR、带文件+页码来源引用的混合搜索、SQL 数据库自然语言问答和 IMAP 邮件导入。首次上传文档需联网下载一次 embedding 模型，之后全部离线运行，可选的图像生成与云模型默认关闭。
Model Nexus v2.1.0（Stable，2026年3月15日发布）是一个开源编排层，根据复杂度、隐私和成本在本地专用模型与前沿 AI 之间动态路由查询。系统具备上下文感知的模型选择、动态复杂度评分和隐私保护架构，敏感查询仅在本地处理，支持配置 llama3-8b-local、gpt-4o、claude-3-5-sonnet 等模型。它兼容 Windows、macOS、Linux 和 Docker，并通过 API 集成 OpenAI 与 Anthropic 的模型生态。
GitHub 项目 devdownin/SpectraLLM 发布，宣称在单一应用内将 PDF、DOCX 等文档经混合检索问答后微调为本地模型，100% 本地运行、无云端 API。流程包括摄入、问答（关键词+向量混合搜索、reranking、ReAct 多跳推理）、QLoRA/DPO 微调和单文件 GGUF 导出，可配合 llama.cpp、Ollama 等运行。默认模型下载约 4.8 GB，需 Docker Engine 25+ 与 16 GB 内存，GPU 可选，AGPL-3.0 协议。
推荐理由：把文档摄入、混合 RAG、QLoRA 微调和 GGUF 导出整合成一个本地 Docker 项目，对想私有化部署知识库的人有可参考的完整流程。
OpenTeam 是一个开源（GPL v3.0）的自托管 AI 智能体平台，让多个 bot 在用户自己的硬件上持续工作，可浏览网页、使用 Linux 桌面和操作文件。每个 bot 保留对话、Markdown 记忆和浏览器登录状态，支持群聊协作、子代理委派、按计划或事件运行的 routines，并可接入 Gmail、GitHub、Slack、Notion 等插件或自定义 MCP 服务器。
推荐理由：原文完整说明了自托管多智能体方案的部署要求与功能边界，读者可据此判断是否适合在自家硬件上运行。
GitHub 项目 kyr5nwtz57-blip/llm-web-gateway 将豆包、DeepSeek、智谱清言、Kimi 四家国产大模型网页版会话能力转为 OpenAI/Anthropic 兼容 API，经 new-api 聚合为单 key 单端点，供本机 Claude Code 等使用。用户侧统一模型名 free-chat，五家平权起步（权重各 100），由运维台按实测耗时自动调权（20–300 区间，约 60 秒生效）；生图豆包优先、生视频 GLM 优先，互为兜底。项目仅供个人本机使用，作者提示自动化访问网页版违反平台条款、有封号风险。
Talos Harness 是一个用 Rust 构建的轻量、高性能、模型无关的 AI 智能体运行时。它支持云端与本地 LLM 集成、可扩展的 agent skills，并提供安全的工具执行与高效的资源占用。项目已在 GitHub 开源。
GitHub 开源项目 EarthfireAI-Local-AI 是一个轻量、本地优先的 Ollama 调用层，提供模型状态检查、模型列表和基于 /api/chat 的非流式对话命令，仅用 Python 标准库实现，要求 Python 3.10 或更高版本，默认模型为 qwen2.5:7b、超时 120 秒。项目不包含 Ollama、模型权重、DeepTutor 或 Open WebUI，也不负责模型下载和多用户鉴权，用户需自行安装 Ollama 并准备模型。代码采用 Apache-2.0 许可证。
开源项目 metapi-go 将分散的 New API / One API / OneHub / Sub2API 等聚合中转站统一为一个 API Key、一个入口，支持 16 个上游适配器、OpenAI 与 Claude 双协议代理、模型自动发现与按成本/余额的路由容错。部署支持单二进制、Docker 和源码构建三种方式，启动只需 AUTH_TOKEN 与 PROXY_TOKEN 两个令牌，并可作为 TypeScript 原版的无缝 Go 替代。项目地址 https://github.com/DeliciousBuding/metapi-go ，MIT 许可。
推荐理由：原文给出了安装命令、配置项和路由容错机制的完整说明，自托管多站聚合网关的读者可以直接照着部署。
klarkxy 开源的 open-console-gateway 支持在自建机器上把多个 AI 订阅账号和自有 API 统一管理，为兼容的聊天应用和编码工具提供单一接入点和自定 Key。账户触发限流时可按拖拽设置的优先级自动切换到其他兼容账户，仪表盘提供用量、余额和请求日志查看，支持 Windows、macOS、Linux 和 Docker 部署。
推荐理由：原文讲清了账号聚合、限流自动切换和用量统计的完整用法，部署在自己机器上的方案可以直接照着搭建复用。
开源项目 ForFreedom Assistant 在 GitHub 发布，这是一款 Mac 原生的内网运维 AI 助手，左侧为真实 SSH 终端、右侧为 AI 对话，支持 Cmd/Ctrl+Shift+T 一键引用终端最新输出作为上下文。其核心是 ops / aiops 两种模式：ops 模式下模型将命令放入输入行、由用户按回车执行；aiops 模式让只读探测命令自动执行，写操作仍逐条经人工回车审核。项目零构建步骤、零运行时依赖、可完全离线，服务端仅监听 127.0.0.1，模型访问通过 ccswitch 可切换云厂商或本地 llama-server，数据不出内网。
GitHub 项目 caixuf/claude-code-providers 让 Claude Code CLI 可在多家 LLM 供应商之间一键切换，支持 Anthropic 兼容端点和 OpenAI/OpenRouter 兼容的 DeepSeek、MiniMax、StepFun 等。工具内置基于 LiteLLM 的本地协议桥（127.0.0.1:4000），桥接 Anthropic /v1/messages 到 OpenAI /chat/completions 并保留工具调用、思考 token 和流式输出；每次切换自动备份 settings. 并支持 ccp --rollback 回滚。
推荐理由：这个工具解决了 Claude Code 硬编码 Anthropic 协议、切供应商要手填配置的痛点，还附带了多模型在真实代码库上的实测数据。
MLX nobby 是一个开源的 Apple Silicon 本地 AI 助手与控制中心，基于 Apple MLX 生态，在浏览器界面中集成本地 LLM 对话、模型管理、RAG、编码工作流、图像生成、语音转写和 AI 智能体。它提供 OpenAI 兼容本地推理 API（已用 Cline 4.1.22 验证）、Finance Intelligence 本地投资组合分析、Qwen Image 2.1 与 LTX 2.5 文生图/文生视频，以及最高 20 秒源音频的 Talking Photo（beta）。v1.8.0 后的主干更新还改进了媒体队列恢复与原生调度退避机制。
Estuary 是一个自托管的 Rust 网关，用单个公共监听同时提供 OpenAI 与 Anthropic 客户端协议，覆盖 Chat Completions、Responses、Embeddings、Messages 及 token 计数等 API。它把公共模型名映射到上游模型，按并发、负载、延迟、错误和提示词前缀亲和性路由请求，vLLM 0.25+ 可获得精确 KV-block 亲和性；还提供每节点并发限制、熔断、健康检查、SQLite 配置与中英文管理界面。公共推理监听不做调用方鉴权，需放在可信网络或鉴权代理之后；SQLite 须在本地文件系统，不能放 NFS。
推荐理由：README 写清了路由依据、协议覆盖和部署限制，包括公共监听不鉴权、SQLite 不能放 NFS 等生产注意事项，可作为自建网关的参考。
GitHub 开源项目 llmops-backend 是一个 LLMOps 平台后端，基于 FastAPI + MySQL 构建，提供 Ollama/OpenAI 双模型通道，并包含会话记忆与 RAG 功能。项目包含 app、scripts 目录及 .env.example、requirements.txt 等文件，目前获得 2 stars。
GitHub 项目 abz2much/NOVA 发布了 Nova，一个安装为 Home Assistant 自定义集成的自主 AI 管家，提供语音、视觉和推理核心，通过 HACS 安装且无需单独容器或云账号即可启动。它支持 Groq、Anthropic、OpenAI、Gemini 或本地 Ollama 作为可插拔 LLM 后端，可控制设备、分析门铃与包裹、学习作息并提议自动化，但敏感操作（开锁、开车库门）保留手机确认步骤，且建议的自动化未经明确批准不会安装。断网时本地推理核心仍可处理常规事件；项目为单人维护、处于活跃开发中，版本间可能出现破坏性变更。
推荐理由：这个 Home Assistant 本地管家集成的 README 讲清了安装门槛、安全门控和离线降级设计，读者可以据此判断它是否适合自己动手部署。
Peiiii 在 GitHub 开源长期个人 AI 伙伴项目 NextClaw，目标 1.0 是理解用户、主动发起分析对话并持续自我改进，路线图分四个阶段，验收测试未完成且未定发布日期。当前版本支持任务式工作流、本地文件处理、定时任务、专用 Agent、图像生成，可接入微信、飞书、QQ、Telegram 等消息渠道，Agent 运行时可选 Native、Codex、Claude Code、OpenCode 或 Hermes，支持桌面应用、npm 与 Docker 部署，配置与凭证保留在用户自己控制的环境，采用 MIT 许可。
fwa122/aiwenda 是一个基于 RAG 的企业知识库问答系统，已迭代至 v0.9.24，全栈交付并支持 Docker 一键部署，RAG 链路覆盖解析、切片、向量化、混合检索、LLM 流式生成与引用溯源。系统集成智谱、千问（qwen3.8-max / qwen3.7-flash / deepseek-v4-pro、qwen3.7-text-embedding）与可选 Kimi K2.6，采用 6 容器编排，自动化测试 104 用例并通过 GitHub Actions CI/CD 发版。安全上完成 Redis 认证、防爆破、JWT 刷新轮换等加固，并建立 20 条 golden QA 的检索评测体系。
GitHub 上的 QKV-Core 是一款帮助在低内存设备上部署大语言模型的工具。它采用自适应混合量化技术，可处理 7B 参数等大模型，并针对 GTX 1050 等低显存设备优化，利用 Numba 实现快速推理。该工具支持 Windows、macOS 和 Linux，要求 NVIDIA GPU、至少 4 GB 内存、Python 3.8+ 和 CUDA 11.0+，可从 Releases 页面下载。
BiranSama 在 GitHub 开源了 ReNovel-AI，一个智能化的小说重写工作台，采用 GPL-3.0 协议。内置 ChromaDB 向量数据库实现全书 RAG 记忆与一致性检查，Writer/Reviewer/Chat 三模型协作改写与审校，支持 TXT 导入自动分章、批量流水线精修和断点续传，兼容 SillyTavern 的预设与 PNG/JSON 角色卡；技术栈为 NiceGUI + SQLite/ChromaDB，通过 OpenAI 兼容接口或 Gemini 调用模型。
推荐理由：README 给出了 RAG 记忆、三模型校验和 SillyTavern 角色卡解析的具体做法，做长文改写或角色卡相关工具时可参考其架构。
GitHub 开源项目 Eiva 是一个完全本地运行的 RAG 聊天机器人，带桌面 GUI，可抓取波斯语编程文章并用英文提问，全程通过 Ollama 运行，无需 API key、不上传数据。它使用多语言 bge-m3 嵌入向量做跨语言检索，按约 900 字符分块，余弦相似度阈值 0.30 以下拒答，默认聊天模型为 Llama 3.2 1B GGUF，可换成 llama3.2:3b 或 qwen2.5:7b 提升效果。
Reddit r/LocalLLaMA 用户 paq85 发布了一款免费浏览器内本地 LLM 电费计算器：输入 GPU 功耗（W）和 token 速度（tok/s）、电价后，可算出每小时、每次请求、每月及每 1M input tokens 的成本（含/不含 KV cache），并提供 RTX 4070 Ti Super、RTX 5090、RTX 5090 eco 三种 GPU 预设。工具基于固定场景（60k input / 50k cached / 2k output / 90% uptime）对比参考云 API 价格（$0.25/1M input、$1.20/1M output），全部计算在本地浏览器完成，无需注册、不上传数据。
GitHub 上的 UXI-LLM 是一个开源（MIT 协议）的模块化、符号可用的 LLM 框架。它支持本地微调、全语言互操作、可组合推理和符号推理能力，开发者可通过 Python 快速创建模型实例并组合多种推理方法。
HyperNix-pip 发布 0.72.6 系列更新，这是一个面向新旧设备的 AI 模型端到端训练工具包，最初用于将 HyperNix.1 转换为 GGUF。新版引入每日轮换的 v2.1 密钥、保护隐私的 Conceal 模式、OpenTUI 上的十面板监控工具 tvtop-pro/tvtop-max，并修复 GGUF 导出使 llama.cpp 可正常打开。0.72.7 将 Python 最低版本提升至 3.12 并支持 3.15；工具跨 Linux、macOS、Windows 平台。
local-inference-lab 在 GitHub 开源了 RTX PRO 6000 Blackwell / SM120 系统的 LLM 运行 Wiki，覆盖 GLM-5.3-Flash、DeepSeek V4/V4.1、Qwen3.8、Kimi-K2.7-Code 等模型。内容包含统一的 Docker 启动指南、vLLM 与 SGLang 精确 runbook、NVFP4/MXFP8 量化说明、KLD 质量检查、TP4/TP8 吞吐实测、PCIe 拓扑调试与历史版本复现存档。
GitHub 仓库 open-ai-ecosystem 是一个开源 AI 模型枢纽与编排平台，提供自然语言语义搜索发现模型，并支持 PyTorch、TensorFlow、JAX、ONNX 跨框架编排。平台可自动解决依赖与版本冲突，集成 OpenAI API、Anthropic Claude API、Ollama 等本地运行时，支持 Docker 与 Kubernetes 部署，并提供社区驱动的性能基准测试与训练数据溯源验证。
开发者 ChenZhongPu 发布 Doo，一个用于 LLM API 试点实验的本地 Web 工具，可在跑完整评测前尝试提示词、模型和请求设置。它支持把同一输入发给多个模型预设，对比答案、延迟和 token 用量，并可将请求导出为 curl 或 Python；工具默认监听 localhost:8787，数据存于 ~/.doo，可用预编译二进制运行或用 Go 1.26+、Node.js 18+ 从源码构建，还提供命令行历史删除选项。项目名来自作者女儿喜欢的 Baby Shark Dance 里的 Doo-doo。项目地址 https://github.com/ChenZhongPu/Doo
throndir2 在 GitHub 发布 AudioTranscriber，可录制电脑播放的声音与麦克风并实时转写，自动区分并记住说话人，全程本地运行，无需账号或上传。默认使用 NVIDIA Parakeet TDT v3，支持 25 种欧洲语言，测试中词错误率比 Whisper large-v3-turbo 低约三分之一且 CPU 占用更低；提供 Windows 与 Linux 安装包、SRT/WebVTT 导出、MCP 服务器以及面向跑团和会议的 AI 模板功能。
推荐理由：这是一个可全本地运行的录音转写与说话人标注工具，跑团、会议等场景的说明具体，读者能直接对照自己的使用需求。
s1line1 在 GitHub 发布 home-llm-gateway，用 Rust 实现边缘 LLM 网关，把 NAT 后、无公网入口的本地模型（Ollama / vLLM / llama.cpp）暴露成公网 OpenAI 兼容 API。架构为 cloud-gateway 加 edge-agent，通过 QUIC + mTLS 反向拨号隧道，无需 frp / ngrok 与反向代理，支持 SSE 流式与取消传播、按 model 的感知路由、argon2id 身份校验缓存等。项目包含 368 个通过的测试、k6 压测脚本与 React 管理面板，MIT 许可；协议级去重（EXACTLY_ONCE）与 TCP 降级等项仍是提案、未实现。
推荐理由：README 给出了完整架构与实测数据，读者可以借这套设计了解内网模型安全暴露成公网 OpenAI API 的工程做法。
loopai-hq 发布推理引擎 Pulsar 1.1.4（前身 fastkernel），用于在 Apple Silicon Mac 上本地运行 Qwen3.8-27B 和 Qwen3.6-35B-A3B，基于 Apache-2.0 的 Splash 1.3.0 构建。
推荐理由：原文给出同一台 M5 Max 上与 lithos-metal、Splash、MLX-LM、llama.cpp 的逐项 tok/s 对照和测量方法，速度结论可以直接核对。
GitHub 用户 Fqflmy 开源 supervision-qc，一个面向工程监理领域的规范知识库智能检索与自动化质量评估平台。系统采用 LangChain / LangGraph / DeepSeek（Qwen）/ FAISS / Neo4j 技术栈，实现 RAG 多阶段检索、知识图谱、五阶段评估 Agent 与 LLM-as-Judge 双模型交叉评审，支持条款级引用溯源与幻觉引用识别。提供 Docker Compose 一键部署与本机启动两种方式，无需本地 GPU，无 API Key 时可用离线假模型跑通全链路。
开发者 icefairy 在 GitHub 发布了 Go 编写的轻量 AI 网关璇玑（https://github.com/icefairy/xuanji），支持 OpenAI 与 Anthropic 双协议接入，汇聚硅基流动、商汤、DeepSeek 系中转、vLLM、OpenRouter 等上游，按计费层级、权重、折扣时段与健康延迟自动分流，失败逐层切换。单二进制约 18MB、SQLite 零外部依赖，配置数据库化 CRUD 即热重载，定位个人/小团队自用，不含计费与用户管理；并在网关层将各模型思考强度参数归一化为标准 reasoning_effort，预置了 3 个免费模型的 57 题实测推荐等级。
推荐理由：作者给出了与 one-api、LiteLLM、CC Switch 的逐项对比和实测思考等级数据，可帮助自部署用户评估网关选型。
protodissect 发布，可对未知 TCP/UDP 协议的 PCAP/PCAPNG 抓包自动推断消息定界与字段布局，输出可用的 Wireshark Lua 解析器、PROTOCOL.md、facts. 和 report.html。字段推断为确定性流程，可选通过 Ollama 等本地 LLM 提议字段命名并逐一经证据校验；默认完全离线运行，同一抓包产出字节一致的 facts.，可用于 CI 协议回归检测。适合 IoT、游戏服务器、遥测等二进制协议，TLS 流量会被检测并跳过。
推荐理由：原文给出完整工作流程与确定性输出的说明，读者可以了解从抓包自动生成 Wireshark 解析器的可复用做法。
一个在 Google Colab 中构建的端到端机器学习管线，使用 OpenAI Whisper 转写 .mp4/.wav 音频，再将文本送入经 Unsloth 动态 4-bit 量化的 Mistral-7B，实现低显存占用、具备上下文感知的逻辑推理。
GitHub 用户 Gopota58 发布 Kotobaza-RAG，一个基于 FastAPI + LangChain + Chroma 的全本地离线 RAG 引擎，LLM 可插拔（LM Studio/Ollama/OpenAI/GigaChat），支持混合检索（向量 cosine + BM25 经 RRF 融合）、Telegram 机器人、Web 聊天、桌面客户端与 Docker 部署。项目附 RAGAS 式评测：n=10 金标问题下 faithfulness 0.70、answer relevancy 0.70、context precision 0.80、context recall 0.55，作者指出瓶颈在小型本地生成模型而非检索，并提示避开 reasoning 模型（其 content 为空）。
biteiniu 在 GitHub 发布 Aletheia，一个 CPU 优先的 LLM 调度层，让上层应用通过 Intent 接口解绑推理后端，可对接本地 Ollama、llama.cpp 与 DeepSeek 云端并按任务自动路由。项目附实测数据：RTX 3070 8GB 上模型从 7B Q4 涨到 32B Q4 时延迟涨约 40 倍；Windows 下 Python 走 localhost 而非 127.0.0.1 会因 IPv6 fallback 多等约 2000ms，修正后首 token 从 2100ms 降到 25ms；并发 8 时 vLLM 吞吐 11.60 req/s 而 Ollama 停在 3.58 req/s。
Janas 是一个用 C 写、无外部依赖的 AI 工具族，其首个组件 Janas-LLM 让普通电脑（有无 GPU 均可）运行大型混合专家模型：权重留在磁盘，按 token 所需从 NVMe SSD 流式读取专家，常驻专家留在内存，80B 参数模型可在 32GB 内存的笔记本上运行。项目由 Maurizio "camauri" Cammalleri 编写，目前处于早期开发阶段，格式与 API 可能随时变动，且对内存和磁盘压力较大。已支持 Qwen3 系列 MoE 与稠密模型、Qwen3-Next、Gemma 4 等的 Q4_K_M 等多种 GGUF 量化格式转换，附终端聊天 janas-chat、MCP 客户端与服务器、OpenAI 兼容 HTTP API 和 janas-bench。