新闻、仓库与研究，按时间排列。
NppAI 是一个面向 Notepad++ 的实验性 AI 编程助手项目，围绕自研 C++ 推理引擎与 Python/PyTorch 训练管线构建，专注本地推理而非封装外部托管 AI API。项目支持自定义 .nppai 二进制模型格式、本地 RAG、OpenMP/AVX2 CPU 优化、INT8 权重量化及 DirectX 11 计算路径（含 CPU 回退），并提供 FastAPI 后端用于收集修正数据与集中式再训练。项目仍处于实验性活跃开发阶段，模型质量与性能尚在验证中，release 提供 x64、x86 和 ARM64 安装包。
ArchGuard 是一个开源 CLI 工具，通过 Ollama 运行 llama3.2 等模型，将代码变更与架构决策记录（ADR）进行语义比对，在提交前发现违反架构规范的代码。工具基于 Go 1.26+ 构建，使用 nomic-embed-text 做嵌入检索，默认保留相似度最高的 3 条 ADR 供 LLM 判断。采用 Local First 设计，本地模式下代码不出机器，也支持 OpenAI、Gemini 及 Confluence 集成。
punisher1-1 发布 local-model-harness，一个 Python/FastAPI 模板，通过 OpenAI 兼容接口 (:8200/v1) 控制 vLLM 等本地推理服务，供 Open WebUI 或 BoltAI 调用。harness 负责策略与生成参数，推理服务负责模型加载和 GPU 执行，内置 local-assistant、local-creative、local-research 等六个默认 profile，多个 profile 可复用同一已加载模型；含基于 Qwen3.8-27B 模型卡的确切 ID 预设、上下文压缩、可选的记忆存储和只读 research 工具，记忆与身份验证默认关闭需另行配置。
Mesh LLM 在 GitHub 开源，可将多台机器的 GPU 和内存池化，通过 http://localhost:9337/v1 暴露统一的 OpenAI 兼容 API。模型优先单机本地运行，也可路由到对等节点，或用 Skippy stage splits 加载单机放不下的大模型；节点间用 QUIC 加密传输，公共 mesh 经 Nostr 发现、私有 mesh 用邀请 token。支持 Qwen、Llama、DeepSeek、GLM 等 72 个 P0/P1 模型族，实验性提供 model:"mesh" 的 Mixture-of-Agents 网关。
开源项目 Daari 发布 v1.4.0，定位为本地优先的执行路由器而非代理，将 Cursor、Claude Code 及任何 OpenAI 兼容客户端路由到本地层级，减少为重复工作支付前沿 API 费用。路由链为 L0 精确缓存、L1 语义缓存、L2 规则、CLI 工具、L3-L5 本地模型（Ollama 或 MLX）、L6 前沿 API，并按置信度升级；支持 on-device 学习（MLX LoRA 微调）、用量账本与节省估算、MCP server，采用 Apache 2.0 许可。安装：pip install daari，服务监听 http://127.0.0.1:11435，仓库 https://github.com/naveenreddyalka/daari。
一个基于 LIAR 数据集的开源事实核查系统，结合 BM25 稀疏检索与 FAISS 稠密检索定位相似声明，并用 LIAR 微调的 BERT 分类器做六分类真实性预测。系统可通过 Ollama 本地 LLM（如 gemma3:4b-it-qat）生成回复，也可回退到模板生成；索引缓存到磁盘后，启动时间从约 30-60s 降至 2-3s。项目部署在 Streamlit，分类模型 unshDee/liar_qa 可从 Hugging Face 下载。
grregis 在 GitHub 发布 MuckScraper，一个自托管新闻聚合器，可从多个信源抓取文章、按 pgvector 把相关报道聚类成同一事件故事，并用 AllSides 数据或本地模型给媒体标注左中右偏向。系统默认用 Ollama 在本地硬件上生成摘要和深度报告，也支持 Gemini、Groq 或任何 OpenAI 兼容端点（OpenRouter、DeepSeek、本地 vLLM）；一次完整管线约1200次 LLM 调用，其中约1140次机械性调用可用较小模型分流到本地。技术栈为 Python、Flask、PostgreSQL+pgvector、Meilisearch，通过 Docker Compose 部署，管理员可在后台无需改代码地编辑主题、RSS 源、提示词与调度。
推荐理由：项目把约1140次机械性LLM调用留在本地Ollama、只把约65次摘要调用交给云端，这种分层路由做法可以直接借鉴到类似自托管管线。
gi-dellav 发布了用 Rust 编写的极简编码 Agent zerostack，灵感来自 pi 和 opencode，支持 OpenRouter、OpenAI、Anthropic、Gemini、Ollama 等提供商。核心约 30k 行代码、二进制 26MB，平均内存约 16MB（对比 opencode 约 300MB），空闲 CPU 0.0%；内置权限系统、会话管理、子代理、Git worktree 集成、可选沙箱等，多项功能（memory、hooks、advisor、ACP 等）需通过 feature 开启，采用 GPL-3.0-only 许可。项目地址：https://github.com/gi-dellav/zerostack
推荐理由：原文给出了与 opencode 的内存和 CPU 占用对比数据，读者可以据此评估这个 Rust 编码 Agent 的轻量化程度是否值得切换。
llm-d 是一个构建在 vLLM、SGLang 和 Kubernetes 之上的高性能分布式推理服务栈，现为 CNCF 沙箱项目，由 Red Hat、Google Cloud、IBM Research、CoreWeave 和 NVIDIA 创立。
DreamBlooms 在 GitHub 发布 ifReflex.cpp，一个基于 llama.cpp 的原生 C++ 推理引擎，把结构化决策做成纯 prefill 读取，对每个类型化问题在单次前向中从 next-token logits 读出完整选项概率分布，不生成散文、零生成 token、CPU 即可运行。一个二进制覆盖 reflex、SemIf、RWKV-Jev 和任意 instruct GGUF，支持 Qwen3.5 0.8B/2B/4B、Qwen3.6 35B A3B、Qwen3.8 27B 等 GGUF；还支持 DiffusionGemma 和 LLaDA-MoE 两种块扩散架构的一步结构化读取（LLaDA-MoE 为 7B 模型、1.4B 激活、约 8 GB 内存）。
推荐理由：用单次前向读取 logits 的方式做结构化决策，零生成 token 且无 GPU 可跑，部署思路可复用。
GitHub 开源项目 Lacon 是一种为 AI agent 编写而设计的编译型内存安全语言，目标是以 Rust 级速度消耗比 Python 更少的 token，目前处于 Phase 0，尚无编译器和类型检查器。token 计数显示同任务下 Lacon 用 192 tokens，比 Go（553）省 65%、比 Rust（471）省 59%、比 Python（239）省 20%，以 Claude 的 tokenizer（Opus 5.5）统计。项目附 primer、树遍历解释器、30 个 benchmark 任务及多语言测试 harness，许可证为 MIT。
Tuulikk 发布 GnawTreeWriter v0.9.7，这是一款基于 AST 结构的 AI 代码编辑器，新增 semgrep 风格规则引擎，含 70 条覆盖 7 种语言的内置规则，可在不改模型的情况下通过提示词注入增强本地 LLM 编辑能力。v0.9.6 带来 explore 四级缩放导航与 rayon 并行加速（pack --compress 提速 50%），编辑由 Duplex Loop 校验，错误级规则违例会拦截提交，并支持 MCP 工具与 VS Code Agent 集成。
作者在 GitHub 发布了 Oberton（前身为 Local Dictation），一款 Windows 全本地 AI 听写工具，按热键说话后经 faster-whisper 转写、Ollama 本地模型（默认 qwen2.5:3b）清理文本并插入任意应用，默认 Keep everything offline，无账号或遥测。可选 Claude 等 Cloud 模型需自带 API key；NVIDIA GPU 下 large-v3-turbo 转写 20 秒语音约 1-2.5 秒，CPU 约 8 秒（Ryzen 7 5800HS 实测），另含 Ctrl+Shift+Space 本地朗读功能，支持 Kokoro v1.0、Piper 和 Windows 语音，MIT 协议开源。
推荐理由：这是一个默认全离线的 Windows 听写开源工具，给出了模型组合、显存占用与实测延迟，便于本地部署参考。
RinkusKhan 在 GitHub 发布 GENGHIS 协议，将本地网络中的闲置设备（GPU 笔记本、mini-PC、树莓派、eGPU 等）组成算力与内存池，通过层切分让多设备协同运行单机装不下的大模型。方案复用 llama.cpp 的 RPC 传输，由协调器按各设备实测吞吐、空闲内存与链路延迟规划分区并在设备增减时自愈。实测显示推理受延迟而非带宽约束：同一 RTX 5060 Ti 经 1 GbE 供队为 38 t/s，改接 Thunderbolt 后达 228 t/s；Pi 5 有线比 Wi-Fi 快 29%（7.6→9.7 t/s）。
推荐理由：原文给出实测数据说明层切分方案受链路延迟制约，同一 RTX 5060 Ti 在 1 GbE 与 Thunderbolt 下速度差近 6 倍。
1bit-MONSTER 发布 1bit engine，一个运行在 Lemonade 之内的推理引擎，通过 1bit serve 提供 OpenAI 兼容 API，首个版本于 2026 年 10 月 4 日周日发布，采用 Apache-2.0 许可证。引擎支持多条后端路线：AMD 的 ggml-hrx 加 Loom 内核跑在 Radeon iGPU 的 XDNA 2 NPU 上、llama.cpp 的 CPU 路线、Apple Silicon 上的 MLX（经 lemon-mlx-engine）以及 Lemonade 的 ONNX Runtime GenAI 模型；NPU 与 HRX 均通过 Strix Halo 端到端测试。
推荐理由：原文给出各后端在 Strix Halo 上的实测数据，包括 ZAYA1-8B 约 90 tok/s 解码和模型注册表 94.71% 的映射覆盖率。
Cass67 在 GitHub 发布 local_llm，一套面向 AMD（ROCm/Vulkan）与 Nvidia（CUDA）GPU 工作站的自托管 LLM 管理系统。模型在隔离 Docker 容器中运行并完整访问 GPU，Svelte Web UI 覆盖 HuggingFace GGUF 搜索安装、模型切换、配置编辑、按集群 VRAM 拟合评分、基准测试与聊天。
推荐理由：作者给出了多 GPU 张量并行的实测数据与投机解码配置对比，读者可以据此评估这套自托管方案在自己硬件上的收益。
CloudRift 在 GitHub 开源 Emmy，一套覆盖编译、基准测试与部署的 LLM 推理优化栈，通过 kernel fusion、autotuning 和高级调度优化推理，并发布博客称在 Gemma4-12B 上超越 vLLM（cuBLAS 与 FlashAttention）。编译器走 PyTorch → Graph IR → CUDA 六级 IR 流水线，可追踪任意 nn.Module 并融合为单 kernel；内置 schedule 与 placement 两个 CatBoost 先验，夜间刷新仅在 median golden rank 至少下降 5% 且无回退时合入。
Engelbert Delgado 开源 ToshLLM，一个在 Intel Mac（含 Hackintosh）的 AMD 独显上本地运行大模型的 SwiftUI 应用，内置带 AMD 补丁的 llama.cpp，聊天数据不出本机、无账号、无按 token 计费。RX 6700 XT 上 Qwen3-8B 生成速度从 0.6–2.6 t/s 提升到约 61 t/s，Qwen3.6-35B（MoE）从不可用提升到约 29 t/s。
vllm-project 发布 vLLM Metal 插件，让 vLLM 通过 MLX 作为主要计算后端在 Apple Silicon Mac 上运行大模型推理，统一 MLX 与 PyTorch 的 lowering 路径。v0.2.0 将统一 paged varlen Metal kernel 设为默认注意力后端，相比 v0.1.0 TTFT 提升 83x、吞吐提升 3.6x；2026/08 起利用 M5 NAX tensor 单元加速 MHA、GQA、MQA prefill，并支持 Qwen3.8（mlx-community/Qwen3.8-27B-8bit 可在单台 Apple Silicon 上运行 27B 混合 SDPA + GDN 线性模型）。
推荐理由：vLLM 官方插件让大模型在 Apple Silicon 上跑推理，给出了 v0.2.0 相对 v0.1.0 的 TTFT 和吞吐提升数据，可作本地部署参考。
Solutions-of-Security 在 GitHub 发布 АГАТ (Agat) v1.7.0 公开预览版，一个在本地模型上运行 AI 智能体和可视化流程的开源平台，支持审批确认与执行日志。模型通过 Ollama、LM Studio、vLLM 或 llama.cpp 在本机运行，提供可视化流程编辑器、13 个流程模板、本地 RAG、MCP 工具与 A2A 任务交换，可经 SQLite、Docker Compose 或 Kubernetes 部署；RAG/embeddings、OIDC、PostgreSQL、Temporal 等需单独配置，完整 solution packs 与 production gates 尚未开放，版本号为 prerelease 不代表通过生产资格验证。
推荐理由：这是将本地模型与多智能体流程编排结合的开源工具，README 给出部署方式、功能边界和未完成项，适合想自建智能体工作流的读者参考。
wOvAN 在 GitHub 发布 llm-api-router，一个基于 Go 的反向代理，可在多个推理后端之间路由 LLM API 请求，同时支持 OpenAI 和 Anthropic 两种 API 协议，零外部依赖。功能包括多后端路由、模型名重映射（如 opus → haiku）、主服务器不可用时自动故障转移、内嵌 Web GUI 运行时配置、SSE 流式响应无缓冲转发，以及基于环形缓冲区（最近 100 条请求）的指标统计（TTFB、解码时间、token 吞吐量）。支持 Docker Compose 部署，最终镜像约 15MB。项目地址：https://github.com/wOvAN/llm-api-router
GitHub 上的 Go LLM Interactive Proxy（LIP）是一个流式优先的 LLM 流量控制平面，位于 AI 客户端与后端之间，使运营者可在代理层调整路由、容灾与可观测性而不改动客户端集成。它提供 OpenAI Responses、Anthropic Messages、Gemini 等多协议前端，内置 141 个 provider profiles，支持有序故障转移、加权路由、TTFT 预算与熔断，并通过 pkg/lipsdk 提供扩展插件机制。
Reddit 用户 /u/oppoftemp27 发现，在四台 AMD 主机上，llama.cpp 官方 ROCm 预编译版（b11327）从未真正使用 GPU，服务启动正常、/health 显示绿色，实际一直在 CPU 上运行。原因是预编译版的 HIP 后端需要 libamdhip64.so.7 / libhipblas.so.3 / librocblas.so.5，而装有 ROCm 6.3.0 的 Ubuntu 主机只有 .so.6 / .so.2 / .so.4，后端库加载失败后 llama-server 静默改用 CPU，控制台无报错，-ngl 999 也无效。作者建议用同一提示词集在 CPU 版上对比每条耗时，比值约 1.0 说明在跑 CPU，远低于 0.5 说明 GPU 正常工作。
推荐理由：作者给出官方 ROCm 预编译版静默回退 CPU 的具体库版本原因，以及用 CPU 对照跑分检测该问题的可复用方法。
Reddit 用户 /u/lucidml_lover 展示其训练中的本地实时世界模型，可将图像转为可玩角色，支持生成中切换文本提示和 WASD 键盘操作。模型约 960M 参数，采用纯 Transformer 与 diffusion forcing 训练，在 RTX 5090 上以 30% 利用率实时运行，峰值 50-60 fps（软件限至 12fps），M5 MacBook 上达 30fps，训练用了 8x H100 SXM 约 3-4 周。作者计划年底发布供本地用户试用。
cnygaard 发布 GLQ，一套面向 LLM 权重的格与格编码后训练量化工具，支持 2–8 bits/weight，通过 vLLM 插件和 HF Transformers 集成服务，使用确定性融合 CUDA 内核，验证范围从 24 GB 3090 级 GPU 到 96 GB RTX PRO 6000 Blackwell。v0.7 起默认 trellis（QTIP 衍生 TCQ）码本，2 bpw 下 SmolLM3-3B PPL 11.94 优于格路径的 13.79（bf16 为 9.12）；单流解码达 bf16 水平（176 vs 180 tok/s），权重内存约三分之一。
hipfire 发布 v0.3.0，这是一个 Rust 原生、HIP/ROCm 直连的推理引擎，单二进制运行，覆盖 RDNA1–4、Vega/CDNA GPU 与 AMD APU 中的 XDNA NPU，支持多模态推理、embedding、rerank 与图像生成，主接口为 OpenAI Responses API。7900 XTX 上 Qwen 3.5 9B decode 132 tok/s，为 ollama Q4_K_M 的 1.71 倍；DFlash 推测解码在 27B HumanEval/53 达 218 tok/s 峰值（4.45 倍于 AR）。项目由 Kaden Schutt 主导，MIT/Apache-2.0 双许可，仓库地址 https://github.com/xynexus/hipfire。
推荐理由：原文给出 7900 XTX 上与 ollama 的逐模型 decode 对比和 DFlash 分题材数据，可据此评估这套 Rust 引擎在 AMD 消费卡上的实际收益。
RustyShell 是一款用 Rust 构建的 AI 终端编排引擎，零外部依赖，在普通硬件上实现 sub-50ms 响应、内存占用低于 19MB。它通过 OpenAI 与 Claude API 的智能路由和本地模型回退分发任务，并提供 RAG 项目索引、并行 Agent 执行、本地语音命令和无头浏览器自动化，支持 Linux、macOS、Windows、BSD 跨平台，以单一静态二进制分发。
开源工具 specrift 通过对比两版 OpenAPI spec，用确定性规则将变更分类为 breaking、safe 或 risky，在 PR 阶段捕获会破坏现有客户端的 API 变更，并用基于精确 diff 的 LLM 生成解释与迁移说明，规则判定破坏性、AI 只负责解释。项目处于活跃开发中，计划支持 Ollama 本地及托管 LLM、终端/JSON/Markdown 输出和 GitHub Action PR 评论，采用 MIT 许可证。
MeKaustubh07 在 GitHub 开源了一个从第一性原理用 Python 编写的 LLM 推理引擎，预填充用 PyTorch GEMM、解码用手写 Metal kernel，在 Apple M2 8GB 上以 INT4 通过 OpenAI 兼容 API 服务 Qwen3.5-2B，支持连续批处理、paged KV cache 和打包分块预填充。基准显示单流解码 50 tok/s、batch-8 聚合解码 116 tok/s、HTTP 8 客户端 94 tok/s（TTFT p50 0.84 秒），对比 llama.cpp Q4_1 与 MLX-LM 4-bit，并与 HF transformers 校验精度（INT4 KL 0.045）。
推荐理由：作者从零实现并给出与 HF、llama.cpp、MLX-LM 的逐项对比和精度数据，方法与权衡都可复查。
Seshat 是一个开源的 Go 语言 Agent 运行时，支持治理式多轮执行、多提供商路由、自托管与本地优先部署，提供 CLI/TUI、gRPC 和 Go SDK 三种接口。其工具集涵盖文件编辑、sandboxed bash、web 搜索、浏览器、MCP、RAG 和 skills，会话持久化在本地 SQLite 中。项目采用 Apache-2.0 许可证，生态还包括 SeshatOS 桌面应用和 SeshatCloud 多租户服务器。
Reddit 用户推测 OpenAI 的 GPT-6 系列采用循环 transformer 架构：Azure Foundry 泄露显示 GPT-6-Sol 每 token 需 3 次推理，6.1-Sol 降为 2 次。实测速度上 GPT-6-Sol 约 100 tok/s，6.1-Sol 与 6-Astra 均约 60 tok/s，且 6.0-Luna 从 5.6 的 126-137 tok/s 降至 110-115，作者据此猜测 Astra、Sol、Luna 共享同一权重，用嵌套架构大幅节省推理成本。
Intel 开源了 intel-ai-tce/vLLM-Recipes-validation，一个在真实 Xeon 6 主机上验证 vLLM Recipes 配置的 CI 工具。它从 recipes.vllm.ai 发现所有支持 Xeon 6 的模型，用官方 vllm/vllm-openai-cpu 镜像逐个启动 vllm serve，并运行 128 输入/128 输出、并发为 1 的 vllm bench serve 冒烟测试。Nightly 流程每天 08:00 UTC 运行并发布到 validated-xeon6-nightly 分支，weekly 结果发布到 validated-xeon6 分支。
jheronimus 在 GitHub 发布 llmd，一个本地优先的双系统 LLM 守护进程和 Go 客户端。System 1 用 ModernBERT ONNX 做零样本 cross-encoder NLI 分类，延迟低于 15ms；System 2 通过 llama.cpp 用 Qwen3 0.6B 做自回归结构化抽取与生成，System 1 的模糊预测会自动升级到 System 2。它暴露 /v1/chat/completions 作为 OpenAI 工具的直接替代，Go 客户端零 CGO，序列化推理锁将峰值 RAM 控制在 1.1 GB 以下，支持本地构建或 Docker 运行。
EmpirioLabs 发布开放权重决策模型 Aplomb 1，基于 Qwen3.5-4B 并采用 Qwen3-Omni-30B-A3B-Instruct 的音频编码器，将上下文窗口从 262K 扩展到 1M tokens，可在单请求中读取文本、JSON、图像、视频和音频。
推荐理由：官方公布了 Decision Index、MMLU-Pro 等基准分数和长上下文推理耗时，且完整跑分公开可查，便于自行核验。
szibis 在 GitHub 发布 MLX-Flash v0.7.0，一个面向 Apple Silicon 的本地推理工具，通过 SSD 流式读取加内存感知缓存。
推荐理由：README 给出了 M3 Max 36GB 上的实测对比，Qwen3-30B 在内存压力下从 3 tok/s 提到 82 tok/s，并如实标注了模型放得下时收益有限的情况。
BeinnoLLC 在 GitHub 发布 LLM-Telemetry，把本地 Ollama 主机和托管 API 的 LLM 遥测汇总到一个自包含 HTML 仪表盘，展示实时会话、GPU/CPU/VRAM 负载、按模型和任务的开销、失败类型和 provider→model→task 流向图。
推荐理由：原文完整给出了安装、配置和各命令的用法，读者可以直接照着把本地与托管模型的监控面板跑起来。
openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF（llama.cpp）量化版，原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体，官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样，成为首个可无损流畅端侧运行的开源 MoE 模型，在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s；Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：官方说明了 LES 预取、分层量化与投机采样如何配合，让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。
/u/Kernoriordan 在 16GB RTX 5080 上用 NInfer v1.5（Ubuntu 24.04 经 WSL2）运行 Qwen 3.8 27B，分配 110,592 上下文，编码任务实测中位解码 96.45t/s（最低 84.6、最高 131.7），中位首 token 时间 1.4 秒。
推荐理由：作者给出 32 次真实编码请求的解码速度、TTFT 和显存占用数据，可复现的启动参数对 16GB 显卡本地部署有直接参考。
Erlang/OTP 编写的 LLM 网关 janus 发布，提供 OpenAI 与 Anthropic 双协议 agent 接口（/v1/chat/completions、/v1/responses、/v1/messages），内置进程内负载均衡/故障转移、janus-auto 虚拟路由和 ETS 热路径目录。
wccch-wzz 在 GitHub 发布 dsh-repetition-guard 插件，用于抑制推理模型在流式输出中陷入的退化重复（如 ok ok ok...）。
推荐理由：原文给出触发阈值、重试机制和实测计数器，读者可以据此评估这个流式输出防重复插件是否值得接入。