新闻、仓库与研究，按时间排列。
rnikadi 开源了 genaiopengateway v0.3，用单一 OpenAI 兼容 API 统一代理 LLM、嵌入向量、语音、图像与视频生成等多种模型，并支持 MCP 服务器接入。已实现虚拟模型回退与流式、组织/团队/密钥管理、预算与限流、审计日志、Prometheus 指标与 OpenTelemetry 追踪，以及带 OAuth 2.1 和工具级 RBAC 的 MCP 网关。项目采用 Apache-2.0 协议，无付费版，提供 Docker 与 Helm 部署。
开源项目 NexQ 发布 v2.25，提供本地优先的 AI 会议助手与实时面试副驾，新增 macOS（Apple Silicon，beta）支持和可从屏幕共享中隐藏的 Stealth Mode，并加入捷克语转写。语音采集在本地进行，无机器人加入通话，支持 10 种 STT 引擎（含 Whisper.cpp、Parakeet 等本地引擎）和 9 种 LLM 供应商（含本地 Ollama、LM Studio 和 Claude Pro/Max 订阅），答案基于本地 PDF/DOCX/TXT/MD 的 RAG 实时流式生成。MIT 协议，无账号和订阅，双流转写支持说话人分离和实时翻译成 100+ 语言；v2.24 还加入了转写分段、范围选择器和答案历史。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
SikamikanikoBG 开源了 HomeLab Monitor，一个自托管单页面板，汇总家庭机房与 AI 环境的 GPU 利用率、tokens/sec、电费成本、容器、磁盘和运行时间。它通过 SSH 管理多台机器而无需装 agent，支持 NVIDIA、AMD 和 Intel GPU，内置 Benchmark Lab 在本地 ollama 模型上实测各上下文长度的 tokens/sec 与 VRAM 容量，并提供端口 9810 上的只读 MCP 服务器供 Claude 等 Agent 查询 19 个命名工具。项目采用 MIT 许可，通过 docker compose 一键部署在端口 9800。
AstrMobile 是一个 Android 应用，通过应用内 Ubuntu 24.04 arm64 rootfs 加 proot 免 ROOT 运行完整 AstrBot 与 NapCatQQ，把手机变成常驻机器人主机。内置一键安装、状态机启停、六项自检、模型热切换、插件市场和备份恢复，API Key 用 Android Keystore 加密，所有服务只监听 127.0.0.1。要求 arm64-v8a 和 Android 8.0+，安装约 3.5 GB，NapCat 基于 Electron 常驻 1–2 GB 内存，作者提醒非官方协议接入 QQ 存在风控风险，项目以 AGPL-3.0 发布。
推荐理由：用 proot 在 Android 上免 ROOT 跑完整 AstrBot 加 NapCatQQ，安全设计和已知限制都写得很具体，适合想自部署 QQ 机器人的读者。
该开源项目将 Llama-3.2-1B-Instruct 的 Q2_K GGUF 量化版本（约 554 MB）部署到 Android 手机上，通过 Kotlin + llama.cpp JNI 实现完全离线的多轮聊天，目标速度大于 5 tok/s，可运行于 4 GB RAM 及以下的设备。项目默认上下文长度 n_ctx=2048、temperature=0.7，也可通过 Gradle 参数切换到质量更高的 Q4_K_M（约 770 MB）等量化版本。
grainrigi 在 Hugging Face 镜像了 HauhauCS 的 Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced GGUF 量化版，作为备份保留 Q8_K_P 与 f16 mmproj。原版基于 google/gemma-4-26B-A4B-it，总参数 25.2B、激活约 3.8B（128 专家取 top-8 加 1 共享专家），256K 原生上下文、原生多模态；经自动化与人工拒绝基准测试为 0/465 拒绝，少量边缘提示首次会回避但重问即答。
推荐理由：原文给出 0/465 拒绝率的自动化与人工实测数据，以及各量化档位大小和推荐配置，便于按显存选档。
staccs 发布了 106.8 GB 单文件 GGUF，对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated（UNCENSORED-FP8）版本重新量化，采用 lecore 激活校准的 11-bit 向量量化处理路由专家（2048 码本条目、65,536 校准 token，1.39 bpw，cosine 0.909），注意力骨架用 q4_K，共享专家 VQ 11-bit。评测以未量化源模型为教师，WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936，top-1 一致率 80.2%/78.6%，优于未校准的 vq10sh12 版本（PPL 3.615、top-1 74.5%）。
推荐理由：作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照，可据此评估这套 11-bit VQ 量化的损耗。
ashu1800 发布 llm-desktop（LLM Gateway），基于 Tauri 2 + Rust + React 18 的本地 LLM API 网关，Windows 优先并兼容 macOS/Linux。
推荐理由：仓库完整记录了三协议互转、熔断 failover 与计费统计的实现细节和拍板决策，可作本地 LLM 网关的工程参考。
GitHub 开源项目 Medfarl 发布 v0.2.0-alpha 预览版，是基于 Ollama 的终端本地诊断助手，默认模型为 tripolskypetr/qwen3.5-uncensored-aggressive:9b，所有分析在本机完成、无云端依赖。它支持硬件、进程、日志与服务的检查，维护操作需经确认；交互式 coder 模式可读写文件并运行测试，最多 20 步，写入需显示 diff 并确认。
token.place 是一个安全的点对点生成式 AI 平台，支持通过 `python relay.py` 快速启动 relay，完整开发环境需 Python 3.11+ 和 Node.js 18+。平台提供 Docker Compose 本地部署、Kubernetes manifests、macOS/Windows 桌面安装器构建，并内置速率限制（默认 API_RATE_LIMIT 60/hour、流式聊天 30/minute、每日配额 1000/day）与可选内容审核（默认 disabled），还支持 USE_MOCK_LLM=1 用模拟模型替代下载。
作者开源 AIIA（AI Information Architecture）v0.6.0，一个本地优先的双向记忆中间层，把你的决策、模式、故事和会话历史送进 Claude Code、Cursor 等工具的上下文，并通过 MCP 把工具的观察、决策和调试经验写回你的记录。底座包含 9 类带质量评分和衰减机制的类型化记忆、三级本地 LLM 栈（本地模型优先，Anthropic / Google 兜底）、后台任务、MCP server 和 aiia CLI，还有 Brain API（localhost:8100）与 Command Center（localhost:8200）两个界面及带人工审核的 Agent Studio。
推荐理由：开源的记忆中间层，双向同步你的决策与 AI 工具的观察，给出的架构细节可直接用于搭建本地持久记忆。
一位 Reddit r/LocalLLaMA 用户求购 7-10 万美元硬件方案，用于运行 GLM5.3 和 DeepSeek Flash 1017，支持 10-20 名用户并发执行智能体任务，每人约 500k tokens 上下文，并希望配置便于后续扩展。
开源工具 Model Depot 0.6.6 发布，提供 Windows 安装包，采用 GNU GPL 3.0 协议，支持中英文界面。它扫描本机的 Checkpoints、扩散模型、LoRA、VAE 等文件，通过 SHA-256 指纹在 civitai 识别模型并下载更新，为每个模型保存推荐设置卡片，ComfyUI 等程序可通过本地 HTTP API（/api/v1/）读取模型列表。所有数据存储在本地，要求 Windows 10/11、NVIDIA RTX 20 系列及以上显卡，约 9 GB 空间。
Reddit r/LocalLLaMA 用户称，得益于 Strata、Splash 等优化推理引擎，本地 AI 模型近期表现大幅提升，推理速度可达某些博主演示的 5 倍，且设置基本开箱即用，怀疑有人付费请网红劝退用户尝试本地模型。
Kotatsu 0.8 发布，这个 SillyTavern 的分支首次推出 Android 应用，可用 .apk 在手机上完整运行。新版本带来 Natsumikan 默认主题、开启 sprites 后的视觉小说式点按翻页界面、重新设计的 Card Studio（可从一张图在自己 ComfyUI 上生成整套角色立绘），以及消息分叉后的故事线地图。API keys 和本地网络模型可直接使用，Kimi K3.1 Pro 开箱即用，Claude Code 和 ChatGPT 计划仍需电脑配对；作者表示下一步是新的记忆系统与总结器，且不打算加入跑团、骰子类功能。
推荐理由：作者是项目维护者本人，逐项列出 Android 版、视觉小说界面和角色立绘生成等实际更新，还预告了下一步记忆系统计划。
meshkore 在 GitHub 发布 Zaelar，一个自托管的语音优先个人 AI Agent，本地 LiveKit 语音链路由 FlashBrain 在一秒内应答，耗时任务交给基于 Claude Code CLI 的 Brain Worker 后台执行。记忆为单个本地 SQLite 文件（向量、FTS5、图与遗忘机制），每轮蒸馏并夜间整合；支持 Google、Telegram、WhatsApp、Spotify 等连接器，默认模型为 DeepSeek、OpenAI、Deepgram、Inworld 等，需 Python 3.11+ 和约 3 GB 磁盘，采用 Sustainable Use License 1.0，个人使用免费但不可商用。
推荐理由：README 完整公开了双脑架构、SQLite 记忆方案、默认模型表和端口布局，想自托管语音 Agent 的读者可以直接照着部署。
作者 /u/Distinct-Pie2389 提交的 Berth 工具支持引擎把权重驻留到系统内存，ComfyUI、vLLM、SGLang 等支持 park 协议的引擎可从内存恢复而非从磁盘重载，仅在测得 RAM 覆盖引擎加余量时驻留，内存不足时优先停掉已驻留引擎。在 RTX 4090 加 64 GiB 内存的参考配置上，经 llama-swap 的单次对话请求（含 lease）从请求到回复：21 GB 对话模型文件已在 page cache 时 5.6 秒，ComfyUI 驻留 RAM 后切换不到 1 秒，ComfyUI 切到 27B 对话模型 13.6 至 16.3 秒；数据与方法见 Strata 的 Benchmarks Repo。
pstreet 的 mistral.rs 部署分支在 upstream 的 CUDA/Metal/CPU 路径之外增加了 AMD ROCm（Strix Halo gfx1151）服务支持，支持 cpu、rocm、cuda 等多种构建形态组合。正文给出 v0.8.2 基准：Q8 prefill 在 GB10/B200/H100 上为 7395.7/27705.6/26220.6 TPS，高于 llama.cpp GGUF Q8_0 的 3973.7/11992.4/11702.1；BF16 decode 多数场景快于 vLLM。上游 mistral.rs 引擎本身支持 45+ 架构、ISQ/GGUF 量化、OpenAI 与 Anthropic 兼容 API、MCP 与内置 agentic 运行时。
Local Quench 发布，这是一款面向本地 LLM 的 AI 编码智能体，支持 LM Studio、llama.cpp、Ollama 和 vLLM，代码不出本机，提供 Windows、Linux 和 Android 版本。它针对本地模型常见失误（宣布步骤后停止、改测试直到通过等）设计了 harness 纠偏规则，且每条规则可单独关闭并测量；内置 QuenchBench 基准，还可通过 quenchbench.py 一条命令跑 SWE-bench Verified、Terminal-Bench 2.0、Aider Polyglot 等评测。8 GB VRAM 即可起步，应用自带模型顾问推荐适配显存的模型和量化方案。源码不开放，仓库提供发布包、issue 跟踪和基准脚本。
推荐理由：为本地模型设计了针对常见失误的 harness 纠偏机制，且每条规则都可单独关闭并用 QuenchBench 实测，方法可迁移到自己的本地部署。
psewar 在 GitHub 开源了 Skirnir，一个自托管的 LLM 路由器和 AI 网关，部署在多台 GPU 机器的 Ollama 之前，对外同时提供 Ollama API、OpenAI 兼容接口和 Anthropic Messages API（可接 Claude Code）。客户端按角色而非模型名请求，路由器根据 VRAM 占用、游戏检测、速度和错误率选择节点与上下文档位，支持 Wake-on-LAN、熔断、云兜底层级和共享 agent 记忆；auto 角色由本地决策链自动选角色，链路路由准确率 0.947。当前版本 router 0.1.6、agent 0.8.4，自 2026 年 9 月起在一个 homelab 持续运行，作者强调无稳定性保证。
VecSzn 发布 PolyStrata，一个基于 Strata 的本地推理工具，在普通 PC 的显卡、内存和处理器之间分摊计算，可运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6-35B-A3B 等十个模型。Qwen3.8-Flash-Next 在 RTX 5070 上以 IQ3_S 量化写入 53 tokens/s，DeepSeek V4 Flash 91 GB 文件在 RTX 5090 工作站写入 56 tokens/s；在 8 GB 显存笔记本上，PolyStrata 读取提示词比 llama.cpp b11540 快 2.7 到 3.5 倍。
推荐理由：仓库给出了各模型在不同量化档位下的读写速度实测，并与 llama.cpp 在同一台笔记本上做了直接对比。
GitHub 上的 ai-dockerfile-generator 项目以 MIT 许可证开源，可使用 Ollama 驱动的 LLM 在本地生成面向生产环境的 Dockerfile，并自带自动化校验与 Docker 构建测试。仓库包含 app、templates 等目录及 requirements.txt 等文件。
ojas1542 在 GitHub 开源 MyInferenceLayerFoundation，一套完全跑在单台 Mac 上的个人 AI 技术栈，用 llama.cpp 本地服务 Qwen3.5 9B（128K 上下文）和 Qwen3 Embedding 0.6B，前置一个 Go 推理层。
一位癌症中心科学计算负责人就 30-40 万美元 GPU 预算征集 AlphaFold 2 工作负载的硬件配置建议。其现有 70 节点 Dell R7525 集群每节点配 1 张 A30，已在双卡 TP=2 上测试 Qwen3.8-27B 推理；候选方案为 8x RTX Pro 6000 Blackwell，或逐节点加装 RTX Pro 5000 72GB 组成每节点 144GB VRAM，另需考虑约 6kW 新增功耗与存储 IOPS。
EsteefAi 在 Hugging Face 上架 Llama-3.2-3B-Instruct-uncensored-GGUF-mirror 镜像，提供 Q6_K 量化版本。该页面给出用 llama.cpp、Ollama、Docker、LM Studio、Jan 等工具运行该 GGUF 模型的完整命令，也可配置到 Pi、Hermes、OpenClaw 等智能体中，通过本地 OpenAI 兼容服务器调用。
Reddit 用户在名为 lvgale 的拼凑主机（i7-6700K 加 RX 580、RX 570、GTX 1660 Super、GTX 1070，部分仅 PCIe x1/x2）上，用自研 Slipstream 编排引擎以混合厂商 Vulkan 后端并发运行三个视觉模型：Qwen3.8:27b-vision 达 3.82 t/s，Qwen3.5:9b-vision 达 4.75 t/s，Qwen3.5:2b-vision 达 12.47 t/s，同时处理 OCR 与视觉解析。
Reddit r/LocalLLaMA 用户分享：在 Claude 桌面端接入本地模型时，可用 loopback 代理把模型 id 改成包含 claude 的形式，且不提及另一个已知模型名，再设置显示名称以便识别正在使用的模型。
ApatheticMioz 发布 Castor，一个 Rust 编写的 MCP 服务器，通过 npx 一条命令注册到 Claude Code、Claude Desktop、Antigravity IDE 等客户端，把 AST 改写、文件操作和测试循环交给本地模型（Ollama、vLLM、LM Studio 等 OpenAI 兼容端点）执行，省去云端 token 开销。
推荐理由：原文给出完整的架构说明、安装命令和 5 层沙箱设计，读者可以直接照着把云端编排和本地执行模型跑起来。
GitHub 项目 at_tracker 开发美国大陆航空交通实时地图，配备焦点面板和由本地 LLM 驱动的聊天窗格，目前处于 P0 里程碑（环境与数据源验证）阶段。项目采用 Flask 服务 D3 地图，当前使用模拟机队；数据仅存储民航航班，私人、公务和军机在写入前被过滤，飞机测试数据均为合成数据，未提交任何 OpenSky 录制数据。
开源项目 flisk-sh/flisk 推出 Flisk CLI Core，自动检测技术栈并根据 service.json 生成 Dockerfile、Traefik 路由和 Tiltfile，实现约 14 秒的零配置本地环境编排，支持 72 种集成层级（包括 Bun、Node、Python、Go、Rust 等运行时）。它无需本地 Kubernetes，由 Docker 和 Tilt 驱动，并提供 AI 智能体运行时支持：通过 flisk resource 一条命令搭建 agent、MCP 工具服务器和数据库，附带 checkpoint 卷、x-session-id 会话路由及 /health、/ready 健康检查。Core CLI 采用 MIT 协议且无需密钥，高级功能为可选付费。
CodesbyFebin 在 GitHub 发布 Open-WebLLM-inference-engine，提供基于 React/TypeScript WebGPU 推理控制台、FastAPI 网关与 vLLM 部署清单的开源推理基础设施，覆盖浏览器、边缘和 GPU 三类运行时。项目内置证据门控基准协议，结果记录在 SQLite（BENCHMARK_DB），24 小时过期，且只有最近三次覆盖简单、推理和代码提示的结果才允许自动服务器路由。WebLLM 适配器目前仍为规划中的独立组件，Transformers.js 浏览器推理已实现但设备验证尚未完成。
Reddit 用户分享在 RTX 3070 + Ryzen 5 5600 平台上用 Strata 引擎运行 Qwen3.8-FN IQ3_S 的配置与结果，达到 1000pp prefill 和 40tps decode，上下文设为 262144。相比默认配置（关闭 mtp），开启 STRATA_HC_Q8 与 CPU 分担 prefill 带来主要提速，GPU unlock 额外带来约 50-100tps prefill。
Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB（PCIe 3.0 x16、240W 功耗限制）上实测 Zaggita 发布的 GPU 性能解锁补丁，该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4（fp8 KV cache、MTP 开启）测试，prefill 吞吐提升 20.8% 到 28.6%（提示越长提升越大），TTFT 下降 17.2% 到 22.3%，decode 步速基本不变；MTP 实际接受率约 2，实际生成速度约 45 tok/s。
推荐理由：作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁，给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。
作者发布 Kaiacord，一个自托管的 Discord 伴侣机器人 Kaia，主打有持续内在生命感：情绪、关系、信念和情景记忆持久化到磁盘，可在重启后延续，每晚 03:00 至 05:00 复盘当天对话并更新长期记忆。技术栈为 Ollama 运行 gemma3:12b 负责对话与视觉，nomic-embed-text-cpu 在 CPU 上跑检索嵌入，BM25 与向量检索经 Reciprocal Rank Fusion 合并，并有一条后处理守卫管线清除提示词回显、伪造引用和谄媚语气；另含 Python 计算数值的持久化 RPG Aethelgard、本地 DJ 音乐、RTL-SDR 短波监听等功能。仓库采用 MIT 许可，地址 https://github.com/Ekco-S64QTN6/Kaiacord。
推荐理由：原文完整给出了情绪、信念、情景记忆的持久化设计与检索融合、生成守卫的实现细节，可作搭建有持续内在状态的自托管伴侣机器人的参考。
作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next：DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文，而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后，Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似：TF-IDF 相似度 0.572、共享 200 个四词短语，分析方法几乎一致。
Off Grid AI 发布，可在用户自己的手机和电脑上本地运行 AI，不依赖他人服务器，功能包括记忆当天活动、带来源回答、生成待确认的回复草稿。项目已获 3500+ stars 和 250,000+ 下载，回复 OffGridAI 可免费领取月度 key。
一位 Reddit r/LocalLLaMA 用户发帖询问是否有针对消费级 AMD 硬件优化的推理引擎，指出当前 specialized 引擎（如 Strata）的讨论主要集中在 Nvidia 硬件上。他目前在 7800xt 上运行 Swift 1.5 GSQ RCO，速度约 40-45 TPS，希望了解同硬件用户还能挤出多少性能。
GitHub 上的 llmdil 是一款基于 Tauri 2 + Rust 的 Windows 桌面应用，用于在单台工作站上安装、配置、监督和监控本地 LLM 服务栈，当前版本 v0.1.40（2026 年 10 月 18 日）。它提供 12 步自动执行的首启设置向导、llama-server 子进程监督、LiteLLM 网关（:4000）统一路由与 OpenRouter 云端故障转移、GPU 遥测监控及带 SHA-256 校验的模型库管理。要求 Windows 11 24H2+、NVIDIA R550+ 驱动、120 GB 空闲磁盘，采用 Apache-2.0 许可证。
Astana IT University 团队启动毕业设计项目，用本地部署开源模型从 SRS、用户故事、PRD 等需求文档自动生成可追溯、可评审的测试用例。系统将对比 Qwen3、Gemma、Mistral Small 等模型与提示词策略，支持需求提取、ISO/IEC/IEEE 29148 质量检查、人工评审后导出 CSV/XLSX/Gherkin/JSON。目前完成分析和设计，代码尚未启动，计划使用 Ollama、vLLM、Next.js、FastAPI 等技术栈。