新闻、仓库与研究，按时间排列。
GitHub 开源项目 Arbiter 是一个面向共享本地推理基础设施团队的多租户 LLM 控制平面，提供 OIDC 身份认证、作用域 API key、经审批的模型目录，以及通过 Ollama 进行受治理的非流式聊天。系统用 PostgreSQL 持久化状态、Redis 做短期请求限速，每次分发消耗一个每日配额单位和模型固定整数 credit；提示词与补全内容不持久化、不留日志。v0.1 仅支持单 Docker Compose 主机上的单个 API worker，`/health/live` 返回 200，`/health/ready` 按保守契约目前返回 503。
takano32 开源 pyodide-llm 项目（2026年9月前名为 pyodide-llama-py），用 Pyodide（编译为 WebAssembly 的 Python）在浏览器中运行语言模型，模型代码用 Python 写，不向服务器发送任何数据。默认模型 tiny-lm 为 29M 参数、33 MB 下载，支持日英文，在 Chromium 中约 280 tokens/s；还可一键使用 llm-jp-3-150m（171 MB）。
terojleinonen 在 GitHub 发布 ai-knowledge-base-template，一个基于 Laravel 13 + React 19 的文档问答模板，答案仅基于用户上传内容生成并带编号引用。后端用 laravel/ai 支持 Claude、OpenAI、Gemini、Mistral、Ollama 等切换，向量以 float32 存在常规数据库，无需额外基础设施；内置 CitationRepairer 在生成后校验引用，README 实测 qwen2.5:3b 修复前 6 个答案引用全部出错，修复后 13 句引用全部指向正确段落，并附 kb:eval 评测、免费部署方案与用量限额配置。
推荐理由：README给出了完整的RAG实现与实测数据，包括引用修复前后对比和本地小模型的延迟，读者可直接评估是否复用这套方案。
Herald 是一个运行在自己 Mac 或 Linux 机器上的个人智能体，通过 Claude 或 Codex CLI 子进程工作，无需 API key 和按 token 计费，只需现有订阅。它能读取 Gmail、Google Calendar、Tasks、GitHub 活动和 iMessage，把结论写入本地 ledger，每天 06:30 发送摘要并在截止事项临近时通过 Telegram 或终端提醒。其记忆就是磁盘上一个 ~/.herald 文件夹，任何对外发送、花钱或永久操作都需要用户确认，项目采用 MIT 许可并支持 Docker 部署。
推荐理由：原文完整给出了 Herald 的部署方式、权限分级和数据存放设计，读者可以据此评估这个本地个人智能体的实际可用性。
GitHub 上的 local-llm-lab 是一款帮助用户在购买硬件前规划本地运行 AI 模型配置的测试工具，支持高性能 Mac 统一内存和使用 NVIDIA 显卡的 Linux 系统。它通过 benchmark 测出系统每秒生成 token 数，并与不同模型规模的内存需求对比——模型分为 Small（7B）、Medium（14B-30B）、Large（70B 及以上）三档。工具要求 Windows 10/11、最低 16GB 内存和 10GB 磁盘空间，从 releases 页面下载安装，下载后可离线使用，且不收集用户数据。
Flock 是一款自托管网关软件，可将多台本地电脑组成私有 AI 集群，替代外部云服务处理来自 Cursor、Aider、Claude Code 等工具的请求，数据不出本地网络。主控机需 Windows 10/11 和至少 8GB 内存，支持兼容 OpenAI 和 Anthropic 标准的工具接入。软件免费，支持多用户配额、负载均衡、审计记录导出和请求日志查看。
Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式，面向双 RTX 5060 Ti 16 GB 硬件，支持三路并发、每路 115,200 tokens 上下文，包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据，并明确说明未做额外微调或新的 abliteration，也未与 BF16 做成对评测；许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。
推荐理由：原文给出了完整的量化参数、实测吞吐和内存数据，读者可以按自己的双卡配置复现这套 EXL3 本地部署。
andreisminsk 在 GitHub 开源了极简 agentic coder 工具 uhu，通过透明的动作、观察与模型调用反馈循环展示 agent 流程，每消息自动执行最多 3 轮反馈。工具强调节约上下文，提供 35 种结构化工具、JSON 自定义 skills、永久记忆、MCP 支持、OpenAI 兼容 API 与 TPM 限流，可用 --model 切换本地或云端模型并连接远程 Ollama 实例。项目以 CC BY-NC-SA 4.0 许可发布，代码由大语言模型辅助生成。
EXEcode765 作者 Kelli Love 开源了 Local LLM Infrastructure Lab 仓库，记录本地部署、配置与排障大语言模型的实践过程。实验覆盖 Ollama 部署与 GPU 验证、模型对比与量化、性能 benchmark 三个阶段，其中第一项进行中、后两项尚在计划。项目还涉及 GPU 加速推理评估、PowerShell 与 Git 等技术栈，定位为持续更新的技术作品集。
GitHub 用户 zaaramedamin 开源了 Rayleigh，一个本地优先、隐私优先的个人 AI 知识助手，全部计算在本机运行，不向云端 API 发送文档或查询文本。项目基于 Python、FastAPI、Qdrant（本地）、sentence-transformers 和 Ollama（默认模型 qwen3.5:4b），已完成 MVP 路线图全部 12 步，支持文件摄取、分块溯源、语义与关键词混合搜索、带引用的回答、摘要对比抽取、语音输入（本地 Whisper）和受控 Agent 工具。内置 37 题评测集显示 24/26 可答题正确且引用有效、10/10 不可答题正确拒答，offline-check 命令阻断全部非本地网络运行全流程并报告被拦截的出站连接数。
推荐理由：项目给出完整的本地化实现细节和内置评测结果，还有阻断网络的离线验证方法，对想自建本地 RAG 助手的人有参考价值。
edurdias 发布 CapyCTL 0.1.2，一个在自有 GPU 上管理 vLLM、SGLang 和 TensorFold 推理引擎的部署工具，通过停放空闲模型释放显存、按请求唤醒切换，并在所有机器前提供统一的 OpenAI 兼容端点（/v1/chat/completions，支持流式与工具调用）。当前仅支持每模型单 GPU、Linux x86-64/ARM64 与 NVIDIA 卡，多 GPU 张量并行推迟到 0.1.2 之后；引擎仅监听 loopback，主机经 gRPC 双向 TLS 通信。项目以 Apache-2.0 许可，安装器为各架构单一自包含二进制并校验 SHA256SUMS。
推荐理由：原文详述了在有限显存下停放、唤醒和切换模型的机制与硬性限制，为自建 vLLM 和 SGLang 推理服务提供了可复用的部署思路。
法兰克福应用技术大学硕士论文项目开源，研究 LLM 推理在 Kubernetes 集群上的部署、安全与性能评估。技术栈包括 FastAPI、Ollama 运行 qwen2.5:0.5b、Prometheus、Grafana 和 k6，将对比基线部署与逐步加入 RBAC、Network Policies、mTLS 等安全机制后的性能开销，计划先在 Kind 本地集群开发，最终在托管云 Kubernetes 环境评估。项目仍在开发中，实验结果将陆续补充。
开源项目 medsupply（Medical Supply Intelligence，MSI）是一个可解释、本地运行的医疗供应网络决策支持系统，为 Singularity 2026 Hackathon Track 2 原型。系统基于 10 家医院、20 种物资、450 天的合成时序数据与 SQLite 存储，提供多周期需求预测（Random Forest / Gradient Boosting）、逐日库存模拟、批次过期浪费检测（以 ₹ 计价）、供需再分配优化（₹35/km）及流量感知 STAT 紧急调拨（拥堵延迟最高 2.4x），并集成 Google Maps 导航。
local-ai-stack 是一个基于 Docker Compose v2 的 CLI 与容器编排工具包，一条命令即可在本地启动包含 Ollama 本地 LLM、Open WebUI、Qdrant 向量库、PostgreSQL 和 OpenAI 兼容 API 网关的完整私有 AI 环境。它支持 minimal、standard、full 三档预设（最低 8 GB 内存起步），自动检测 OS、架构与 GPU（Apple Metal / NVIDIA CUDA），推理与数据全程不出本地。内置 doctor 诊断、模型管理与备份恢复（SHA-256 校验），OpenAI SDK 或 LangChain 可零改动直接接入。
GitHub 仓库 aviraccoon/system 提供一个 Nix flake，统一管理 macOS、NixOS 虚拟机和 Windows 11 ARM64 虚拟机的配置，并为 LLM 智能体配备基础设施。内容包括 pi 扩展（LSP、权限门、sidecar、视觉等）、基于 Kagi 的 MCP 网络搜索服务器、本地 LLM benchmark、skills 及 sops-nix 加密密钥管理。Windows VM 支持无人值守安装，可通过 APFS copy-on-write 在 0.25 秒内克隆一次性测试 VM。
NIDO 是一个运行在 Android 手机上的个人 AI 助手，fork 自 BOAR（MIT），通过 llama.cpp 在本地运行 LLM，数据加密存储且不经云端。相比上游，NIDO 增加了 SQLCipher 加密记忆、AUTO/ASK/DENY 授权系统、网络审计日志、固定模型版本与 SHA-256 校验，并实现了 Nido 间 P2P 通信协议（Ed25519/X25519、握手 v3、任务协商）。项目目前处于 Alpha 阶段，1985 项自动化测试通过，但双设备端到端验证尚未完成，委托任务执行默认关闭，预签名 APK 暂时直接分发。
navikt 发布 mlx-workspace 仓库，用 MLX 在 Apple Silicon Mac 上本地运行 LLM，通过 mlx_lm.server 提供 OpenAI 兼容接口，供 opencode、aider 和 Copilot CLI 调用，用于回答 nav-pilot alpha 的一个问题：哪个本地模型足以承接原本消耗 Copilot 付费请求的常规编码操作。默认模型为 Qwen3.6-35B-A3B OptiQ 4bit（多文件机械性编辑 35/35 验证通过），Qwen3.8-27B 两个量化版本作为 opt-in 提供；仓库还包含基准脚本、VRAM wired limit 调节和上下文压缩配置，nav-pilot 通过 manifest/models. 拉取模型清单。
推荐理由：原文给出可复现的本地 MLX 基准与选型证据，读者可以照着判断哪个本地模型能接住常规编码操作。
Sparky 让开发团队在 DGX Spark 等 GPU 节点上自助加载和调优 LLM 推理引擎，支持 vLLM 和 llama.cpp 风格的部分 GPU offload，Aphrodite 支持已列入计划。v0.1.0 基本完成 AD/LDAP 认证、RBAC 权限分层、审计日志和 Dashboard UI，v0.2.0 的裸金属后端与 sparky-agent setup 已在真实 DGX Spark 上端到端验证，包括加载推理引擎处理请求后干净卸载。两者唯一剩余项均为 Docker 后端的 GPU passthrough 验证，而 CDI passthrough 属 Podman 专属、不在 Sparky 范围内。
Draggy 是一款在本地运行开放模型权重的桌面助手，使用内嵌 llama.cpp 引擎和来自 Hugging Face 的 GGUF 权重，无账号、无遥测，支持 Windows、macOS 和 Linux。功能包括项目文件夹内读写与终端命令执行（带可撤销 diff 审查）、四种权限模式、107 个 MCP 服务器与 66 个内置技能、Stable Diffusion 和 Z-Image 本地图像生成，以及通过第二引擎 colibri 读取超出内存的大 MoE 模型，NVMe 驱动上约 0.3 到 3 tokens 每秒。项目以 Apache License 2.0 授权，安装包未经代码签名，macOS 版需手动放行且不自动更新。
Artemis 是一个运行在 Windows 上的土耳其语语音桌面助手开源项目，可通过语音命令执行打开文件、创建文件夹、网页搜索、截屏等操作。它采用混合模式，llm_provider 默认 auto 时在 OpenRouter 云端模型与本地 Ollama 间自动选择，语音识别用 faster-whisper，TTS 用免 API 密钥的 Microsoft Edge TTS 并备有本地 Piper。项目内置 39 个工具，每个工具声明 DangerLevel，破坏性操作需 dispatcher 明确确认，另含基于 Playwright 的 MCP 浏览器自动化（默认关闭）和 840 个自动化测试。
Wisent 发布开源项目 Brama（wisent-ai/brama），通过一个 OpenAI 兼容 API 统一接入自有和订阅的多提供商模型，支持 best/fast/cheap 等启发式路由，并对每个 token 归属记账。它支持 chat completions、Anthropic Messages 和 OpenAI Responses 三种格式与 SSE 流式输出，凭据最终使用时经 Skarbiec 兑现，包含 Claude Code、Codex 和 Kimi 订阅的 OAuth 刷新，凭据永不写入日志或状态。项目处于 pre-1.0 阶段，采用 Apache License 2.0。
开发者发布开源 Discord 机器人 discord-llm-bot，提供游戏、实用命令、审核、欢迎消息与角色菜单，可选接入 Ollama 运行的本地小模型 qwen2.5:3b 作为 AI 助手，CPU 上回复需 5-20 秒，也可换用 qwen2.5:1.5b。留空 OLLAMA_URL 时除 /ask 外全部功能照常。AI 可建议 timeout、删消息等操作，但须发起人按 Confirm/Cancel 按钮确认且权限重新校验，每人在每服务器最多记 50 条短事实，项目尚未在真实 Discord 服务器上运行。
作者修改 MLX 的 QMM 实现，把量化权重从 FP16 暂存改为 FP8，在 Apple Silicon M6 上启用 2 倍速 FP8 矩阵路径，Qwen3-8B 预填充提升约 40%，Qwen3.8-27B 提升约 50%；4-bit affine 权重暂存为 int8 的方案在 M5 及之后也可用。Decode 受带宽限制差异不大，建议保留默认 FP16 暂存。最坏情况困惑度增加低于 1%，代码在实验性 fork（https://github.com/precisit/mlx/tree/staged-8bit-qmm），FP8 改进需 M6 与 macOS 27 及 deployment-target-27 构建。作者披露博客来自其任职的 Precisit。
推荐理由：作者自己改 MLX 的量化矩阵路径并给出实测加速与困惑度数据，方法细节和代码都可复现。
GitHub 上的 rag-llm-app 是一个用 Node.js、TypeScript、PostgreSQL (pgvector)、Redis (BullMQ) 和 Ollama 构建的本地 RAG 应用，支持 PDF、DOCX、HTML、TXT 文档的异步摄取与向量检索问答。嵌入采用 nomic-embed-text（768 维），对话使用 llama3:latest，检索通过 cosine similarity 返回 top-4 chunks，全部模型本地运行，提供 Docker Compose 一键部署和 MIT 许可。
GitHub 上的 tgzh 项目开源了一个 Telegram 机器人，可接收 6–11 年级学生的数学作业照片或文本答案并返回批改结果，教材目录与 gdz.ru 同步。后端使用 VLLM 部署的 Qwen3-VL 模型完成作业检查，配合 PaddleOCR 的 preocr 服务提升照片识别质量，支持 PostgreSQL 或 SQLite 存储。项目以 Apache-2.0 许可发布，通过 Docker Compose 一键启动 bot、FastAPI server、数据库与 Whisper 语音服务。
mbachaud 在 GitHub 开源 Cymatix-Context，一个面向 Agent 的确定性 RAG 引擎，检索路径全程无 LLM 调用，用本地 SQLite 知识库和七阶段流水线将代码与文档压缩进上下文窗口，并以 know/miss 契约显式区分命中与未命中。在 947,531 chunk 的 EnterpriseRAG-Bench 底座上，默认配置 470 题中 66.8% 命中黄金文档；榜单成绩 Overall 33.93%（v0.6.3，26 名中列第 23），默认数据包平均 8,345 tokens。FinanceBench、CosQA 等弱项明确标注为未解决问题，cymatics 特征也自述未经对照实验验证。
开源项目 Urfael 发布，这是一个在用户自己机器上运行的个人 AI 助手，通过已登录的 Claude Code CLI 作为默认模型后端，提供本地语音（whisper.cpp 转写、espeak-ng 或 macOS say 朗读）、桌面控制台、TUI、可选 Web 仪表盘和 OpenAI 兼容 API。记忆基于 Obsidian vault 和本地 git 仓库，用 BM25 搜索与可选本地嵌入实现跨会话检索；urfael code 提供按项目上下文和工作树检查点，urfael rewind 可恢复。
推荐理由：原文详细列出了安全边界、已测与未测范围和成本结构，读者可据此评估这个本地个人 AI 助手是否适合自己部署。
Vex131 发布 ComfyUI-LLMClient，为 ComfyUI 提供可连接任意 OpenAI 兼容 API（llama.cpp、vLLM、OpenAI 等）的 LLM 节点，支持提示词生成与增强、图像打标与分析，输出可接入工作流中任意字符串接口。节点含 LLM Provider、LLM Chat、采样配置与 vRAM 卸载管理，无新增依赖，API key 明文存储在工作流 JSON 中需注意安全。
推荐理由：这套 ComfyUI 节点支持任意 OpenAI 兼容后端，流式输出、视觉图与显存卸载细节对搭建本地工作流有直接参考价值。
该 Ollama 分支为 NVIDIA 旧款与现役 GPU（Maxwell 到 Blackwell）提供运行时和 Docker 构建，已验证基础为 Ollama v0.40.0（llama.cpp b11351），GitHub Actions 已产出基于 v0.40.1 的镜像 cuda12-maxwell-0.40.1。
推荐理由：README 附上逐机型实测吞吐、调优参数与兼容性边界，便于读者评估旧显卡跑大模型的具体可行配置。
开发者 gregoire-petit1 开源了自托管单用户训练助手 Arete，同步 Garmin Connect 和 Strava 的活动与每日健康指标，并提供 CTL/ATL/TSB、HRV、力量记录等分析。教练 Agent 侧边栏支持每日简报和会话反馈，可通过 Ollama、OpenRouter 或 GitHub Models 等任何 OpenAI 兼容提供商调用，模型不可用时回退到规则引擎。项目采用 FastAPI + DuckDB + React 19 技术栈，支持 Docker Compose 部署和 Vercel Cron 每日定时同步，设计上仅限单用户使用，API 无鉴权，作者提醒不要直接将 8000 端口暴露到公网。
作者开源了 llm-api-client，一个通过 OpenAI 兼容 API 与大语言模型对话的客户端，提供控制台和流式 Web 界面，支持 OpenAI、DeepSeek、OpenRouter、Ollama 和 LM Studio。工具内置多组可复用实验：compare.py 对比有无格式与长度限制的输出，reasoning.py 用直答、分步、模型自写提示词和专家组四种方式解题并统计正确率，temperature.py 在 0、0.7、1.2 三档温度下多次采样测准确率与多样性，benchmark.py 按每秒 token 数和费用对比模型与 thinking 配置，实测三种配置成本相差 4.4 倍。
推荐理由：作者用实测数据对比上下文管理策略与温度设置的成本效果，方法可直接迁移到自己的对话应用。
开源工具 Council 支持一次提问同时调用 OpenAI、Anthropic、Google 的模型并行生成答案，并让各模型互相批判以提升回答准确性。用户需自备 API key，数据不经过外部服务器，还支持通过 Ollama 接入本地开源模型。应用本身免费，需 Windows 10/11 及至少 500 MB 磁盘空间。
btbtyler09 发布 mi100-llm-testing 仓库，记录 4×AMD Instinct MI100（gfx908）在 vLLM 上的部署方法与性能数据，并提供预构建镜像 btbtyler09/vllm-rocm-gfx908。MI100 缺少 FP8/FP4 硬件且不兼容 Composable Kernel，仓库通过 AITER 的 Triton 内核与自定义补丁跑通推理，最新 v0.28 镜像上 Qwen3.8-Flash-Next（180B MoE，GPTQ-4bit）带 MTP 投机解码单用户达 166.9 tok/s，GSM8K 489/500；仓库还给出 100–290W 功耗曲线、UA 与 TRITON_ATTN 后端对比及各模型逐档测试报告。
推荐理由：作者实测让官方不支持的 MI100 跑通 vLLM，给出镜像、参数和逐档性能功耗数据，方法可直接迁移。
GitHub 上的 EMILY 是一款语音优先的桌面 AI 智能体，用户无需鼠标键盘即可用语音浏览网页、管理文件、设置提醒并描述屏幕内容。软件在本地运行，语音数据不上传外部服务器，核心语音识别和 AI 任务可离线使用，内置超过 20 个语音触发工具。它支持 Windows 10/11，需 8 GB 内存（推荐 16 GB）和 2 GB 存储空间，可通过 GitHub Releases 页面下载 .exe 安装包。
GitHub 项目 moepager 旨在让 llama.cpp 在低内存 Linux 机器上通过 mmap 运行超出 RAM 的 Mixture-of-Eexperts LLM，无需修改推理引擎。它解析 GGUF 头定位各 (layer, expert) 单元，用 eBPF 或 mincore 观测缺页以学习路由统计，进而 pin 高价值专家、用大 readahead 补全部分缺页专家、降级冷专家。目前处于 go/no-go 前的研究原型阶段，尚未在真实模型上做基准测试，也未声称任何加速比。
Bacchetto 开源了 mtg-deck-advisor，一个从玩家自有卡牌构建合规 Magic: The Gathering Commander 卡组并带引用回答规则问题的 AI Agent，支持 CLI、HTTP API 和 MCP 三种方式。Agent（Claude Sonnet 5.5）只提案，合规校验、审批和导出由确定性代码完成；规则答案仅在当次运行检索到所引规则时才展示。评测显示检索 recall@10 从 0.63 提升到 0.72，卡组合规率 100%，每副卡组成本 $0.120，比 Haiku 4.5 更便宜且质量更高。
推荐理由：项目用实测数据支撑工程决策，检索调优前后、不同模型的成本与质量对比都可复核，是一份可借鉴的生产级 AI 工程范例。
coreai-model-zoo 是一个为 Apple 硬件优化的本地 AI 模型库，提供 Qwen 3.5、Gemma 4、Granite 等预转换模型，可离线运行。运行要求 macOS 14.0 以上、Apple Silicon（M1-M4）芯片、16GB 统一内存和 10GB 存储空间，依赖 Core ML 框架并通过自定义 Metal kernels 优先用 GPU 做模型计算。仓库同时提供模型转换、Metal kernels 定制和 Swift Runner 修改文档。
local-llm-4-2026 是一款 Windows 本地大语言模型工具，支持在本地运行 Llama、DeepSeek、Qwen、Gemma 等模型，聊天与文档处理全程离线，无需联网或注册账号。软件要求 Windows 10/11、8GB 以上内存（建议 16GB）和至少 10GB 固态硬盘空间，安装后可自动完成模型下载与管理，适合处理敏感数据。
gemma-offline-2026 是一款开源便携工具，可在 Windows 10/11 上离线运行 Llama、Qwen、DeepSeek 等大语言模型，无需安装 Python，下载单个 .exe 即可使用，所有数据处理保留在本地。最低配置为 Intel Core i5 / AMD Ryzen 5、8GB 内存、10GB SSD 空间，建议配备 6GB 显存的独立显卡；官方建议小配置用户选择 7B 及以下模型。软件完全免费，未来版本可能加入 Whisper 语音识别支持。
Aetherseed AS 发布 aetherseed-local，一个运行在 Raspberry Pi 5 + Hailo-10H（40 TOPS）上的开源框架，将 llama3.2:3b 变成记忆持久、信任治理的端侧 AI 伴侣设备，无云、无订阅、所有流量走 loopback。实测解码 2.66 tok/s，提示词硬上限 864 token，冷加载约 46 秒；框架在代码层强制执行防注入、输出净化、token 预算、provenance 溯源（factual/fiction/unverified 三级记忆过滤）和 4 层工具信任分级，配套 151 项单元测试与 cartridge 固化工件校验。