新闻、仓库与研究，按时间排列。
GitHub 新仓库 hapych-music-studio 发布公开测试版，这是一款面向 Windows 10/11 x64 的本地音乐工作室，支持音乐与俄语人声生成、曲目库、语音配置文件及实验性音色迁移，音乐引擎基于 ACE-Step，音色迁移使用 Seed-VC 和 ApexSVC。源码以 MIT 许可开放，免费下载，但外部 AI 模型需单独下载；推荐 NVIDIA GPU 6–8 GB VRAM 和 30–50 GB 磁盘空间。
EinaasKharsah 在 GitHub 开源了一个完全本地运行的客服 Agent，基于 10 张 Q&A 卡片回答客户问题，用 Ollama 里的 qwen2.5:3b 做决策与回答，bge-small-en-v1.5 做嵌入、bge-reranker-v2-m3 做重排、Qdrant 做向量库。核心设计是
推荐理由：作者用逐步评测数据解释每个设计取舍，比如让 LLM 理解、代码路由把准确率从 80% 提到 88%，方法可迁移到类似的小型客服 Agent 项目。
GitHub 上的 Notekea 是一款尚在早期开发、尚未发布的本地 AI 笔记工具，可打开 Markdown 文件夹（含 Obsidian vault），基于本地 AI 链接相关笔记并给出带精确引用的回答。它无需账号、云端或遥测，也不需要 Ollama、Docker 或 API keys，采用 llama.cpp 做本地推理、Lucene 做混合搜索，MVP 计划支持 Windows、macOS 和 Linux 桌面端，采用 Apache License 2.0 开源。
开源全栈 AI 聊天平台 SiloCore 处于 alpha 阶段，面向使用专属或自托管 AI 基础设施的团队提供私有应用层。核心聊天、私有工作区、管理工具、pg-boss 任务队列及 Ollama 与 OpenAI 兼容推理已实现，通过 SSE 流式输出回复，采用 React + Express + Prisma + PostgreSQL 的 TypeScript monorepo，基于 Docker Compose 部署，代码以 Apache-2.0 许可开源。
GitHub 开源项目 asynchronous-rag-pipeline 提供了一个基于异步架构的企业级 RAG 系统，用 BullMQ + Redis 将 PDF 文本提取和向量嵌入生成卸载到后台 Worker 队列，API 立即返回 202 Accepted 任务回执。AI 推理由本地 Ollama（phi3）完成，实现离线、隐私优先的推理，前端采用 React 支持文档上传与实时状态跟踪。
GitHub 新仓库 kurtvalcorza/kandinsky-generation-pipeline 提供面向 Kandinsky 2.2 文生图（1.25B 参数 UNet，支持 512×512 与 1024×1024）的 DIMER 流水线。权重固定在不可变的 Hugging Face revision，全部为 safetensors，并附带留出集 denoising loss、CLIP 评分评估、60 张 CC0 iNaturalist 鸟类照片样本数据，以及带 safetensors 适配器的有界 LoRA 微调（rank 8，1,646,592 参数）。上游解码器与 prior 采用 Apache-2.0 许可，CLIP 评分为 MIT。
LLM Load Balancer（llmlb）是一个集中管理系统，为跨多台机器的多个 LLM 推理运行时提供统一 API 端点，支持 Ollama、vLLM、LM Studio、llama.cpp、xLLM 等 OpenAI 兼容服务器。其功能包括基于 TPS 的自动负载均衡、离线端点自动检测、GPU 感知路由、实时监控 WebUI、7 天请求历史记录，并可通过 openai:、google:、anthropic: 前缀代理云端 API，还支持 TTS、ASR 与图像生成的 OpenAI 兼容接口。
AlexanderReaper7 发布 InferMux，一个内置 GPU warden 的 llama-swap 分支，为本地模型提供统一端点，并在其他程序需要 GPU 时自动卸载模型且不中断用户刚发出的请求。warden 通过 NVML 监控显卡，游戏或 ComfyUI 需要时取消批量任务、暂停消费者、释放空闲的 ComfyUI；每个客户端持有密钥区分批量与交互请求，交互请求期间模型不会被卸载。项目支持 NixOS 模块、Web UI、双主机互为备份、WebSocket 流转发和断点续写的批量作业，AGPL-3.0 协议开源。
推荐理由：给出了在本地让大模型、ComfyUI 和游戏共享同一块 GPU 的完整方案，含配置示例、密钥与让出机制，方法可直接复用。
dkruyt 在 GitHub 开源了 privacy-llm-gateway，一个隐私感知的 OpenAI 兼容 LLM 网关，对每个 model auto 请求在本机做两级检查后决定路由到云模型还是本地模型。规则检测器查找邮箱、IBAN、信用卡号、各类 API 密钥、JWT 和内部机密标记等，命中即强制走本地并固定会话；本地分类器对整段对话（含 PDF 附件）按可配置类别打分，仅在确信公开且各类别得分都低时放行公共上游。任何失败一律路由本地、不回退公有云，敏感会话粘滞，客户端无法选择公共模型。
推荐理由：作者给出本地检测器加分类器的双层隐私审查设计和失败即走本地的路由保证，适合关注敏感数据不出内网的团队参考。
ksmarty 发布 typesafe-openai-proxy，一个 OpenAI 兼容的路由代理，部署在 hass_local_openai_llm 与模型服务器之间，用约 10–250 ms 的一次决策调用直接返回 Home Assistant tool_call，明确或模糊的请求则原样转发。默认无决策后端时纯透传，风险动作（unlock/open/disarm）需 90 秒确认，门控阈值可调，Docker 镜像在 ghcr.io/ksmarty/typesafe-openai-proxy。
一位开发者在 r/LocalLLaMA 询问，面向小店主的发票处理流水线该选哪个本地 LLM，客户设备多为 16GB 内存、少数仅 8GB，倾向考虑 Qwen 3.5 4B 用于简单票据判断。另因 llamaparse 为云解析服务且擅长表格解析，发帖者还征询可本地部署的替代解析方案。
GoLeM 在 GitHub 发布，这是一个让 MoE 大模型专家权重保持休眠在磁盘、使用时才逐级调入内存和 VRAM 的推理服务器，保证每个被选中专家的矩阵乘法都在 GPU 上执行。目标模型为 GLM-5.3-Flash，DeepSeek-V4.1-Flash 为实验性支持；在 RX 7900 XTX（24 GiB）+ 93 GiB DDR5 + 4TB NVMe 上，UD-Q4_K_XL 量化 262144 上下文冷/热 prefill 11.1s/13.4s，生成 2.42/2.12 token/s。
推荐理由：原文给出了 MoE 专家按需从 SSD 流式调入 VRAM 的完整实现与实测数据，读者可按硬件配置评估自己的本地部署可行性。
Praecise 在 GitHub 发布 praecise-engine，一个位于应用与推理后端之间的加速层，通过推测解码、硬件感知调优和统一服务接口加速 token 生成，首个支持的后端是 llama.cpp。实测显示 n-gram 自推测在结构化文本上带来 1.5 到 3.5 倍提升（SQL 3.5x），对散文无收益；托管后端（vLLM、SGLang、TensorRT-LLM、transformers）因掌握解码循环而无法被插入推测解码。项目还包含 praecise-host 沙箱化多引擎托管、job 引擎、视频感知管线等组件，整体采用 Apache-2.0 许可。
推荐理由：原文给出实测数据说明推测解码在结构化文本上值1.5到3.5倍、在散文上无收益，并解释了托管后端为什么在结构上无法做推测解码。
SafeRoute 是一个用 Python 和 FastAPI 构建的轻量级 LLM 网关，位于客户端应用与上游模型提供商（如 Ollama、Mock）之间，统一 chat completions 接口并提供认证、限流、超时管理与错误处理。项目分阶段实现了 HMAC-SHA256 客户端 API 密钥认证、Redis 精确匹配与语义缓存、固定窗口限流、可配置 guardrails、SQLite 用量追踪与 CSV 导出，以及 Prometheus 指标和流式缓存重放，并支持 Docker Compose 部署。
一位 Reddit r/LocalLLaMA 用户询问本地组装最低预算方案，以 Q4 量化运行约 500B 参数模型并达到约 20T/s 速度。其现有配置为 2 张 3090 提供 48GB VRAM 加 48GB DDR4 内存，但主板最多支持 128GB 内存，正在考虑是否改用 EPYC 平台。
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF，2-bit 版在体积缩小 45% 的同时保留 91.5% top 1 精度，可在 150GB 内存上本地运行。1-bit 版约 89.9%，4-bit UD-Q4_K_XL 达 98.0%；作者称其为同尺寸最强开源模型之一，并提供 Hugging Face 权重链接与本地运行指南。
推荐理由：给出了各量化档位的具体精度数字和内存门槛，读者可直接对照自己的硬件条件选择合适的版本。
GitHub 开源项目 TRL_AI_Agent 发布 Windows、Linux 和 Android 版桌面 AI 智能体：由本地 Ollama qwen3:1.7b 等小型 maestro 模型判断请求难度，按免费、廉价、昂贵的顺序挑选模型，失败自动切换。支持 OpenRouter、Gemini、OpenAI、Anthropic，可通过 Claude 订阅免 API key 使用，内置 Coding/Research/File 技能、多应用 Connectors、council 双模型审查模式与「仅免费模型」消费护栏，聊天界面以阿拉伯语从右向左显示。
ggaabe 在 GitHub 开源 studio-foreman，一个运行于 Mac Studio 的 GPU 驻留监管器 gpud 原型，用于本地模型场景下确保决策用大脑模型在大型媒体任务后总能恢复驻留。监管核心已在仿真中验证，含 204 项测试（无外网调用）；基于 mlx-serve 适配器的部署实测显示，5 秒 1280x704 视频渲染 70 到 82 秒，大脑恢复仅 2 到 8 秒，支持 lease 死人开关、SAFE 模式、毒化保护与基于 Beta 后验的规划器。
开源项目 harinezumigel-llm-stack 提供一个 Python CLI，在带 NVIDIA GPU 的 Docker 容器中管理 vLLM 后端和宿主机 LiteLLM 代理，客户端通过 OpenAI 兼容 API 访问。CLI 支持 model_groups 按组启停工作负载（如 RAG 三模型与 Qwen3-Coder-Next-AWQ 编码模型），要求 Python 3.10+、NVIDIA Container Toolkit，且模型文件需预先下载到 /opt/models。
JunWan666 发布 AstrBot for Android，通过集成 PRoot Ubuntu 环境的约 720 MiB 完整 APK，在 ARM64 Android 8.0+ 设备上免 Root 本地部署和管理 AstrBot 与 NapCat。应用提供双服务启停、内置 WebUI 后台、QQ 登录、人设库（内置 12 款原创预设）、实时日志、备份恢复及独立在线更新，代码采用 MIT 协议开源。
推荐理由：把 AstrBot 与 NapCat 的部署运维塞进单个安卓 APK，人设库、备份回退和在线更新都做完，想在手机上本地跑 AI 伴侣的读者可以拿来直接用。
GitHub 上的 NgodeAI-CLI 是一款生产级智能体编码 CLI，基于约 80k 行 Rust 原生核心与 TypeScript/Bun 运行时，可自主读写文件、执行命令、编辑 AST 并运行并行子智能体。它兼容 60+ AI 提供商，包括 Anthropic（Claude 3.7 / 3.5）、OpenAI（GPT-4o、o1、o3-mini）、Gemini 2.0 / 2.5、DeepSeek（V3、R1）及 Ollama 本地模型，支持交互式 TUI、Headless/管道模式，密钥与会话日志均保存在本机 ~/.ngodeai/ 目录下。
一位 r/LocalLLaMA 用户计划搭建本地大模型环境，候选配置为 Ryzen 9900X + RTX 3090 + 64GB RAM，或降级 CPU 换取更多 RAM。主要用途是长上下文窗口下的 agentic coding，并希望运行接近 GPT-6 Luna low 或 Haiku 5.5 low 的模型，同时避免配置过慢或不可靠。
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由：针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。
多智能体协作平台与工作流引擎 Clouisle 上线 GitHub 仓库，支持编排生产级 AI agent 团队。平台提供 19 种节点类型的可视化工作流、混合检索（Qdrant 向量 + BM25）与 reranking 知识库，以及多租户、RBAC、SSO 和 TOTP 2FA 等企业级安全能力，注册 23 个 LLM provider，并在 Bubblewrap 用户与挂载命名空间中隔离沙箱执行。
GitHub 开源项目 llm-qwen 基于 Qwen2.5-1.5B-Instruct 模型，用 FastAPI 搭建后端、Angular 搭建前端，实现本地 AI 聊天机器人。模型需通过 huggingface_hub 从 HuggingFace 下载，后端经 Uvicorn 运行在 127.0.0.1:8000。项目支持流式实时回复、临时会话记忆和清除对话。
GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。
NekomyaDev 开源了 Nudge，一门面向 AI Agent 的类型化编程语言，提供原生字节码 VM 和独立编译器，可编译到 Python 和 TypeScript。语言层内置 LLM schema 一等类型、10 种编译期检查的显式效果、预算硬约束、par race 并发原语和确定性 NTF v1 trace 回放，可在 CI 中以 $0 做回归测试，还支持单二进制打包（约 2.09MB）、WASM 离线回放、MCP 集成、Computer Use 与 PII 脱敏，采用 Apache-2.0 许可证。
推荐理由：把 schema 校验、效果声明、预算上限和 $0 trace 回放做进语言层，对受够胶水代码的 Agent 开发者是一套可试的新思路。
Counsel 发布 0.1 公开预览，这是一个免费、可自托管的法律工作区，支持合同审查、法律检索、起草、工作流和客户协作。项目采用 Apache 2.0 协议开源，无按席位收费、无遥测，默认 AI_PROVIDER=evidence 不调用模型，也可配置 Ollama、OpenAI 兼容端点或 OpenAI。其证据模式使用确定性条款锚点和 BM25 风格段落排序，并导出含 SHA-256 校验的可迁移 matter 归档；项目方声明未经独立审计、不宣称与 Legora 等价。
TokenBar 是一款开源的 macOS 菜单栏应用，默认读取本地日志，聚合 Claude Code、Codex、Gemini CLI、Cursor 等 17 个编码 Agent 的 token 用量和报告或估算成本，可按项目、Agent、模型、会话下钻，数据只存本机 SQLite，无遥测。提供 tbar CLI 十七条查询命令，附带 tokenbar-report 技能，用死神、猎人、JOJO 三种动漫人格视角生成 Wrapped 式年度回顾报告，强制视角重合度低于 30%。Cursor 账号同步默认关闭需显式开启，支持自定义 JSONL 或 SQLite 数据源，采用 Apache License 2.0。
一位 Reddit r/LocalLLaMA 用户询问如何在 PolyStrata 中加载不同的微调模型。直接用 --gguf-dir 时必须声明基座模型架构，且显示的是原始模型名（CyberTiel 的 tiel 架构被显示为 TielCoder）；手动改 JSON 和 config 文件虽部分有效，但换用 ./setup.sh 之外的启动脚本会出问题，用户希望找到更干净的自动生成正确名称与配置的方法。
一位 Reddit r/LocalLLaMA 用户在 2x 3090 24GB、1x 4070 TI Super 16GB、18 核 CPU 和 130GB DDR4 内存上本地运行 Qwen3.8 FN，实测仅用 4070 TI + NVME 约 8-9 T/s，仅 NVME 约 2 T/s，三块 GPU 加内存全用约 18 T/s，发帖询问不买新硬件如何提速。
一位 r/LocalLLaMA 网友晒出总价 3360 美元的主机配置：Threadripper 3960X、三块 GPU 共 44GB VRAM（2x 16GB 4060 Ti + 1x 12GB 4070）和 256GB DDR4 四通道 3200MHz 内存，此前运行 QWEN 3.8 27B 256K Context 效果满意。他询问该配置跑 Deepseek 4.1 和 GLM 的 token 速度，并表示优先跑大模型而非速度。
Reddit r/LocalLLaMA 用户 boro64 发布 Ternary Nemotron 30B-A3B 的 GGUF 量化模型，这是一款 1.58-bit 三值 30B-A3B MoE 模型，可在 12 GB GPU 上运行 368K 上下文。实测解码速度 172 tok/s、prefill 超 7000 tok/s，同一文件兼容原版 llama.cpp（b11555+、b11796 验证）和 PrismML fork / Bonsai（b10793 验证）。作者称这是继 maple-preview 后第二个支持原版 llama.cpp 的三值 MoE 模型，并征集 CPU-only 和约 10 GB 小显存的测试数据。
TokenLive 通过 Homebrew 提供一键安装，其集 LLM 网关与管理控制台于一体的方案现可经 brew tap tokenlive/tokenlive 后 brew install 安装，并用 brew services 启动。默认管理员登录为 admin/admin，配置文件位于 etc/tokenlive/config.yml，卸载同样提供完整命令。
Rodrigo Henriquez（@SirFassler）在 GitHub 开源 lukk-node，一个仅用 Python 标准库的客户端-服务端守护进程与 CLI，面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测（温度、功耗、负载、VRAM），支持委托式流式推理（NDJSON），并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏；v1.2.0 加入可选 Bearer token 认证，另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。
推荐理由：作者开源了一个零依赖的 GPU 节点守护进程，把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI，适合本地跑模型兼打游戏的场景。
一位用户在 N1X 128GB（88GB VRAM）Windows on Arm 设备上，通过 WSL3/Ubuntu-26.04 调优 Qwen3.8-Flash-Next-W4A16-AutoRound-hybrid 模型并取得满意结果。虽然生成速度（tk/s）不算最快，但面向智能体的并发表现好于预期。
aortez/playtime v0.1.0 达成 MVP，提供 Rust daemon、CLI 和 workbench，用于有边界的本地 LLM 实验。当前模型为 gpt-oss:20b，curiosity recipe 限定 10 个会话、每会话 10 个工作轮次、64K 上下文、300,000 生成 token 和 30 分钟控制器时间。生产路径要求 Linux x86-64、systemd 用户管理器、cgroup v2、Docker Engine 与 Ollama，模型工具在容器内以 uid 1000 运行且无外部网络。
GitHub 上的 OmniFree 项目把多家免费层资源整合成个人云，用故障转移路由聚合 Groq、Gemini、Mistral、OpenRouter 等免费 LLM API，并跨 R2、B2、GCS 等免费存储分散文件，还提供数据库、Pi-hole DNS 过滤和计算资源，通过暗色模式移动 PWA 管理。项目采用六边形架构，core/ 定义端口与智能路由，每个服务商是 plugins/ 下的适配器，配置集中在 config/providers.yaml。附带的免费额度核查表（2026-10-19 核对）记录了 Oracle A1 缩至 2 OCPU/12GB、Koyeb 被 Mistral 收购后取消免费层、Cerebras 改为 30 天 $5 试用、Gemini 限额两次下调等变化，并给出对应配置调整。
推荐理由：仓库附有 2026-10 逐家核对的免费额度变化表，读者可据此了解各免费层现状与部署成本。
GitHub 上的 fdanobey/OBEY-api-gateway 是一个 OpenAI 兼容的 AI 网关，提供多供应商路由、自动故障转移、熔断器与限流冷却，支持 OpenAI、Ollama、AWS Bedrock、Groq、vLLM 等供应商，单个 Rust 二进制、无运行时依赖。特性包括两级响应缓存、prompt-cache 感知路由、Codex OAuth 登录与网页搜索桥接、guardrail 管线、Agent 循环检测、虚拟密钥管理、token 与工具定义压缩，可通过 Windows 安装包、Docker、Railway 或源码构建部署。
推荐理由：单文件 Rust 网关把故障转移、限流冷却、缓存路由和虚拟密钥做进一个仓库，文档细到超时字段，适合自建多供应商路由时参考。