新闻、仓库与研究，按时间排列。
laffy-999 发布 Open Grammar 插件，在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议，不依赖云模型和外部检查服务，仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b，在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落，约需 3 GiB GPU 显存或可回退 CPU 运行；正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。
推荐理由：README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑，读者可以照着按内存与语言需求选型复现。
ZQM Computing 在 GitHub 开源 ollama-fleet-patterns 仓库，提供用 Ollama 把本地大语言模型按多机舰队而非单机运行的运维模式。内容包括 fleet_health.sh 主机健康检查、model_sync.sh 基于模型 manifest 的同步、单文件 RAG 参考实现 rag_minimal.py（仅依赖 Python + numpy，含离线 --self-test），以及拓扑、VRAM 预算、模型管理和运维文档；面向已有单机 Ollama 并想扩展到多台主机的开发者和 homelab 用户，采用 MIT 许可。
推荐理由：仓库作者从生产自托管经验提炼多机 Ollama 舰队运维模式，健康检查、manifest 同步和单文件 RAG 都可直接复用。
面壁智能 MiniCPM-V 团队介绍了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术。该团队称 LES 首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码速度超过 20 token/s。
mradermacher 在 Hugging Face 上提供 Huihui-Kolibri-1-BF16-abliterated 的 GGUF 量化版本，示例量化为 Q4_K_S。该模型可通过 llama.cpp 在本地运行，支持启动 OpenAI 兼容服务器或终端直接推理，并可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中使用。
zexadev 在 GitHub 发布 gemini-web2api-go v4.0.0，单 Go 二进制把 gemini.google.com 网页端反代成 /v1/chat/completions，无需 Google API Key。匿名可用 gemini-3.6-flash 和 gemini-3.5-flash-lite 含联网搜索，挂 cookie 解锁 gemini-3.1-pro、扩展思考、生图/音乐/画布，付费号 cookie 可用 gemini-4-argon 和 /v1/videos 生视频。
推荐理由：README 给出被拦阈值、连接复用收益和限速对照的一手实测数据，部署前可据此评估限流与代理池策略。
neko-legends 发布 DeepSeek-V4.1-Flash-1017 的 3.5 bpw EXL3 去审查量化包，对 54 个 abliterated 矩阵以 K=6 重新编码，编辑保留率 mean 0.9992，量化误差比 2.9 bpw 包低约 40%。在 4× DGX Spark 上 MMLU-500 chat 达 81.0%、HumanEval-164 pass@1 达 93.29%，但每 rank 需 67.3 GiB 内存，prefill 吞吐比 2.9 bpw 包低 76%，官方建议四卡环境仍用 2.9 bpw 包。
neko-legends 发布 DeepSeek-V4.1-Flash-1017 的无对齐 EXL3 2.9bpw 打包，基于 dealignai 的 abliterated 版本，将 54 个稠密 BF16 矩阵重编码为 EXL3 trellis 以适配 TensorFold Zig TP4 引擎，可在 4× NVIDIA DGX Spark 上运行。评测显示去对齐代价集中在道德判断，moral_scenarios 从 95.5% 降至 40.9%，而 HumanEval chat 成绩 92.68% 反高于官方版；另提供 3.5bpw 兄弟版本，moral_scenarios 略高但解码慢约 10%。
推荐理由：原文给出 MMLU 与 HumanEval 的前后对照，显示去对齐的代价集中在道德判断而非知识或编码能力。
Agentic Signal 是一个基于 React Flow 的可视化 AI 工作流自动化平台，通过 Ollama 在本地运行大语言模型，无需云端依赖，支持 Tool Calling、结构化 JSON 输出和会话记忆。平台提供天气、搜索、Google 服务、表单填写、网页转 Markdown、股票分析等节点，并支持 Slack、Reddit、SMS 等 PRO 集成，采用 AGPL v3 开源加商业双许可。
GLM-Edge 系列端侧模型发布，包含 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat 两款对话模型和 GLM-Edge-V-2B、GLM-Edge-V-5B 两款多模态模型，1.5B/2B 面向手机、车机，4B/5B 面向 PC。在高通骁龙 8 Elite 平台上，1.5B 对话与 2B 多模态模型借助 NPU 和混合量化实现每秒 60 tokens 以上解码，配合投机采样峰值超每秒 100 tokens。模型已在 HuggingFace、ModelScope 等平台提供下载，支持 Transformers、vLLM、OpenVINO 推理。
hchen3807 在 GitHub 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于启动和管理 llama.cpp 服务器实例。功能包括多实例管理、基于 GGUF 张量表的 VRAM 占用估算（与实际加载对比）、HuggingFace 下载、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成及硬件监控。项目地址：https://github.com/hchen3807/LlamaServerLauncherAvalonia
推荐理由：这个 llama.cpp 图形启动器把 VRAM 估算拆到每个张量块，并在加载后与实际占用对比，读者可以据此判断估算是否可信。
OVO v0.0.6 发布，这是一个跑在 Apple Silicon Mac 上的本地 Claude Code 式编码智能体，MLX 原生、兼容 Ollama 与 OpenAI API、无需 API key，数据不出本机。新版加入 PPTX/HWP/HWPX 文档解析与 RAG、LoRA 微调、SLERP/Linear/TIES/DARE 模型合并，Code 模块含 Monaco 编辑器、文件浏览器、Git 面板、PTY 终端和带文件读写搜索执行工具及 MCP 集成的 Agent Chat；另有聊天、diffusers 本地文生图、BM25+语义搜索的 Wiki 持久知识库，自动识别 HuggingFace 与 LM Studio 缓存。
推荐理由：README 详列了硬件适配评分、端口分工和 16GB 内存的降级建议，可据此判断这台地端 Claude Code 替代品是否跑得动自己的 Mac。
ferrum-infer-rs 发布 Rust LLM 推理引擎，单个二进制内置 OpenAI 兼容服务器，无需 Python 运行时，目标是满足 TTFT、TPOT、ITL 尾延迟 SLO 下最大化输出吞吐。支持 macOS Metal、Windows CUDA sm89、Linux CUDA，支持 Llama、Mistral、Qwen2/Qwen3/Qwen3.5、Gemma 3 等 GGUF 与 SafeTensors 权重。RTX 5090 实测 Qwen3.8-27B GGUF Q4_K_M 32 并发下达 666.24 tok/s，为 llama.cpp 的 152.96%；compressed-tensors INT4 相比 vLLM 0.31 为 80.84%，部分测试格未过延迟 SLO。
推荐理由：作者给出了与 llama.cpp 和 vLLM 在 RTX 5090 上的吞吐对比数据，也坦承部分延迟 SLO 未达标，读者可据此自行评估。
firestarterpro 开源的 llm-explorer 是一个本地优先的多 LLM 编排驾驶舱，通过 Playwright 抓取 ChatGPT、Claude、Gemini 等网页版 AI，并用 OpenVINO 在 Intel Arc GPU 上本地合成结果。它不调用 API、无需 token，数据完全本地保留。项目基于 Python、Node.js、Electroid 与 Playwright 构建，需要 Node.js 18+，Windows 安装包要求 Python 解释器位于 C:\llm\ov_env。
GitHub 项目 Train in Silence 发布，自称首个面向 LLM 微调的 Task-Aware MCP server，根据用户描述的训练任务估算所需 VRAM/FLOPs，并跨 Vast.ai、RunPod、AWS、Lambda 等十余家云平台聚合实时报价，返回最便宜、最快或均衡的硬件推荐。支持 CLI、REST API、Claude Code 和 Claude Desktop 接入，未提供 API key 时自动回退到 GPUHunt/GPUFinder 等聚合器或样例数据；每条推荐标注数据来源如 live:official 或 sample。项目处于实验阶段，估算模型暂无内置校准。
开发者 TinyBOOOOM 在 GitHub 发布 DSH 插件 dsh-cliproxyapi-pro，可将 CLIProxyAPI（CPA）的模型一键接入 DeepSeek Harness（DSH）模型选择器，自动同步模型的上下文长度、图片输入与推理档位，并按家族路由到最合适的原生协议：Claude 走 Anthropic Messages，GPT/Codex/Grok 走 OpenAI Responses，其余走 OpenAI Chat。插件支持多个 CPA 账号独立启用停用、单模型参数覆盖，API Key 只存于 DSH 凭证服务，零 npm 依赖，已发布到 npm（如 dsh-cliproxyapi-pro@1.6.0），适用于 DSH 0.2.0-rc.1 及以上版本。
研究者提出 Tandem，一个在移动 NPU 上运行混合线性注意力 GUI 智能体的运行时，通过在相邻请求分叉处保存循环状态、将 prefill 保持在矩阵单元并支持待机降功耗来加速本地推理。在 Snapdragon 8 Elite 上，Tandem 将文本屏幕描述的每步延迟降低 30%、截图降低 16%，文本每步能耗降低 33%，模型加载状态下的待机功耗从 0.76 W 降至 0.22 W。
作者发布 Berth，一个监控显卡并按需自动换载引擎的系统服务，避免手动切换和 VRAM 残留占用。它可将各引擎作为 API 端点提供，支持在 llama-swap、strata、comfyUI、OpenWebUI 等之间切换，并可在游戏或夜间任务时独占 RTX 4090。仓库地址：https://github.com/T-Crypt/berth。
一位开发者为购买 Mac 运行本地 LLM 的用户自建了一个配置器：选定机型和配置后，可实时显示内存能装下哪些模型及各模型的预估速度。速度估算基于真实 llama-bench 数据拟合的模型并标注典型误差，Apple 官方价格每日更新。作者还在 m6 32GB 与 m5pro 48GB 之间犹豫，倾向选 m5pro。
一位用户在 r/LocalLLaMA 求助预算 $600–900 内升级 AI 服务器，目标是让 Gemma 4 31B Q5_K_M（约 23GB）在 16K 上下文下达到至少 15 t/s。现用 RTX 3060 12GB 混合卸载仅 2.3 t/s，计划加装 RTX 5060 Ti 16GB 组成 28GB VRAM 并把 3060 接到 PCIe 3.0 x1 转接卡，也在考虑双 Tesla P100 16GB 等替代方案。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。
推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。
GitHub 上的新仓库 Tuldok 是一个本地数据集工作室，可将图片、文本、音频及部分空间数据导入、标注并冻结为带版本与溯源信息的可复现发布。其 Data → Pipeline → Runs 工作流提供 CPU 图像、文本和音频区间分类及验证导出，但不支持 ASR 和通用 3D 训练。运行需 Linux 或 WSL2、Python 3.10+ 及本地 PostgreSQL 16–18（测试版本 17.11），无需 JavaScript 构建或托管数据库。
Reddit 用户 /u/randylush 警告不要升级 Strata，称在 Windows 和 Linux 机器上都遇到大量破坏性变更。其指出新增了不必要的 serving 相关要求，Web UI 明显转向桌面应用方向，建议升级前先做备份。
Hugging Face 上发布 bi0h4z4rd88/Qwen3.8-27B-Uncensored-MLX-6-bit，一个基于 Qwen3.8 的 27B 6-bit MLX 量化无审查模型，支持图像输入。页面给出 mlx-vlm 加载与生成示例，并说明可通过 mlx_lm.server 启动本地 OpenAI 兼容服务器，接入 Pi、Hermes Agent 和 OpenClaw 等工具。
trymirai 在 GitHub 开源了高性能推理引擎 uzu，主打在应用内直接部署 AI 模型，实现零延迟、数据完全私有且无推理成本。核心是 Rust 原生实现，通过 uniffi-rs、pyo3、napi-rs 提供 Swift、Python、TypeScript 绑定，支持 Metal 和 CPU 后端，利用 Apple 设备统一内存，示例覆盖流式对话、云端模型调用、共享实例复用、JSON 结构化输出和工具调用，并提供 OpenAI 兼容 HTTP 服务器与 CLI，采用 MIT 许可证。
GizClaw 发布开源项目 opencraft，一个基于 flowcraft 图引擎、运行在本机的 AI 工作智能体，可读写文件、经审批执行 shell 命令、协调子智能体并持久化会话。支持 OpenAI、Anthropic、DeepSeek、Kimi、Qwen 等多提供商推理与路由重试，内置本地 execd 沙箱、SQLite 会话存储、32k 结果上限、密钥脱敏和 JSONL 审计日志，提供 macOS/Linux/Windows 桌面应用，MIT 协议开源。
推荐理由：README 完整列出了沙箱、审批策略、审计日志等安全机制的具体实现，读者可据此评估这个本地工作智能体的架构是否可复用。
Amir Husain 发布自定义推理引擎 Kindi 0.1.0，可在 NVIDIA Quadro K420（Kepler，1 GB）上以 20-23 tokens/s 运行 2B 参数三值权重模型 Ternary-Bonsai-2-2B，而 llama.cpp 在同卡仅 2.8 tokens/s，约快 7 倍。默认输出与 llama.cpp 逐 token 一致，提供 OpenAI 兼容服务器、fast 短名单输出头（快约 15%，99.4% 与全量头一致）、每 256 token 检查点的精确 prompt 缓存，支持工具调用与 thinking；AGPL-3.0 许可，模型来自 Prism ML（Apache 2.0，基座为 Qwen3.5-2B）。
推荐理由：作者给出与 llama.cpp 逐 token 一致的验证结果和同卡对比数据，读者可以据此评估这个推理引擎在老 GPU 上的实际收益。
Deliverance 是一个 Java 推理引擎，支持文本生成、tokenization、嵌入向量计算和文本分类，可作为嵌入式 API 或 HTTP 服务运行，并支持从 HuggingFace 自动下载模型。它支持 nvidia/Nemotron-Labs-Diffusion-3B 系列，可同时进行自回归和 block-diffusion 风格生成，并提供 KVCache2、实验性 TurboQuant KV 存储等特性。相比 VLLM 的 20GB 镜像和 60GB docker 层，Deliverance 更轻量，适合嵌入式推理场景。
bd4sur 在 GitHub 开源 Transformer 结构的小型语言模型项目 Nano，主要复刻自 Karpathy 的 nanoGPT，提供 Nano-56M、Nano-168M 等模型及 LoRA 插件。其纯 C 语言推理引擎支持 FP32、Q80、Q4K 量化，可离线部署在树莓派、红米 AX5 路由器、ESP32 单片机集群和浏览器 WASM 中，也适配 Qwen2-0.5B 与 Qwen3-0.6B/1.7B/4B。项目同时支持预训练与监督微调，实测单卡 A100 训练 58M 模型 MFU 约 25%。
开发者开源了个人 AI 助手 Maja，完全在本地笔记本运行，无云端和 API key，基于 Ollama 运行 Llama 3.1，支持语音交互（faster-whisper 语音识别、Piper 神经语音）、"Hey Maja" 免唤醒词唤醒、笔记与待办管理、提醒、基于 RAG（nomic-embed-text + ChromaDB）的文档问答，以及 Qwen2.5-VL 摄像头视觉识别。唤醒词测试 36 次命中 34 次，项目仍在开发中，长期目标是做成桌面小型实体机器人。
xiaohuzai 发布 browsa，一个 MIT 开源的 Chrome/Edge 侧边栏扩展，把正在浏览的文章、视频、PDF、Office 文档附加进 AI 对话。支持通过 agent-bridge 桥接 Codex、Claude Code、pi、Gemini CLI、dsh 等本地智能体，直连 opencode、Hermes、OpenSquilla，或配置 OpenAI、Anthropic、Ollama 等 LLM 接口；视频带可点击 [mm:ss] 时间戳笔记，PDF 与 Office 文档本机解析为 Markdown，API Key 保存在本地。
GitHub 开源项目 GIBSON 发布 0.10.0 alpha 版，是一个装扮成 1997 demoscene 风格的真实终端，基于 node-pty 和 xterm.js 6，支持 PowerShell、cmd、bash、zsh 及 WSL，提供标签页、最多四分屏、广播输入等实用功能。内置的 NYX 角色可通过 Ollama、Anthropic 或任意 OpenAI 兼容 API 驱动（Ollama 已实测），并随终端活动切换 28 种线框世界；Windows 为已测试平台，macOS 和 Linux 构建由 CI 生成并冒烟测试，采用 MIT 许可证。
推荐理由：把真实终端做成 1997 demoscene 风格外壳，还内置 NETWATCH、进程可视化和可接本地模型的 NYX，兼具趣味与实用。
erishen 在 GitHub 开源 agent-httpd，一个用 C 编写的轻量 HTTP/1.1 服务器，包含 prefork 事件循环、CGI zoo、FastCGI、React SSR 管线和原生 C LLM Agent 栈（tool calls / MCP / skills / memory / ReAct / PSE）。项目主进程事件循环加 8 个慢路径 worker，基准测试中 per-conn 模式从 846 req/s 提升到 5142 req/s；chat 端点通过 fork curl -N 对接 OpenAI 兼容上游，无新依赖，二进制仅链接 libc。服务器也可作为库嵌入，注册自定义路由与 Agent 工具。
推荐理由：纯 C 实现的 HTTP 服务器把事件循环、React SSR 与原生 Agent 栈集成在一起，README 给出了完整的架构设计与部署路径。
mecha-factory 发布 Qwen3.6-35B-A3B-Uncensored（HauhauCS Aggressive）Q4_K_M GGUF 文件，将 unsloth 转换的 MTP 头嫁接到 HauhauCS 的去审查模型上，供 llama.cpp 以 --spec-type draft-mtp 进行投机解码。未做任何重训练或重量化，block_count 从 40 变为 41；Apple Metal 上接受率实测 0.79–0.86，CUDA 上约 0.6。文件按 Apache License 2.0 开源。
GitHub 新仓库 ai_audio_studio 是一个独立的本地声音工作室，第一阶段支持 IndexTTS2 文字转人声与 Seed-VC V2 长人声音色转换，提供任务状态和 WAV 下载，音乐与音效留待后续接入。项目采用项目 API、IndexTTS2、Seed-VC 三个独立 Python 环境以避免依赖冲突，Windows 建议 Python 3.10。仅限处理本人或已授权声音，不得用于冒充、欺诈或未授权克隆。
一位用户在 5090+4090（152GB 总内存）工作站和 128GB 内存的 Strix Halo 上测试 Qwen3.8-Flash-Next 的不同量化版本，发现 ISTA-DASLab 的 GSQ-RCO-GGUF（Q3_S）效果最好，unsloth 较大量化则出现大量 tool calling 问题。Strata 上没有这些问题，且其针对 QFN 调整了 LlamaCpp，但存在一类无法绕过的坏输出错误；Gufo 仅适用于 Strix Halo。作者询问 CUDA 平台还有哪些可选方案。
HaseebKhalid1507 发布 Axon，一个用 Rust 从零编写的 LLM 推理引擎，支持 Qwen2、Qwen3、Llama 3、Gemma 3 的 GGUF 模型在 CPU 和 NVIDIA GPU 上运行，另支持 Qwen3-30B-A3B 架构的 MoE 和 gpt-oss-20b（注意力在 GPU、专家在 CPU）。项目约 76k 行 Rust 和 7k 行 CUDA，不依赖 ggml、BLAS 或构建期 CUDA toolkit，GPU 内核经 NVRTC 运行时编译；每条优化路径与参考路径逐位一致，并用 gguf-py、Hugging Face tokenizer 和 Ollama 三个独立基准校验。
推荐理由：作者用 Rust 从零实现推理引擎，并给出与 llama.cpp 和 ollama 在多款 GPU 上的逐项对比数据，可据此评估其性能主张。
dklymentiev 发布开源终端 AI Agent Flint（MIT 协议），以单个 npm 包安装，无需 Python、Docker 或后台服务，支持 OpenRouter、OpenAI、Anthropic、Google、Groq、Together 和本地 Ollama。/model free auto 会筛选能调用工具的免费模型并按速度和在线率排序，配两个跨厂商 fallback；内置文件读写、shell、网页搜索、持久记忆、子 Agent 和 MCP 工具，通过 swap 到磁盘和压缩控制长会话成本，风险操作默认先询问。
推荐理由：开源终端 Agent Flint 支持免费模型并给出上下文换页与压缩的省 token 机制，想低成本跑 Agent 的读者可以参考它的做法。
Haithim Nasher 主导开发的 HSAAI v4.0.0 正式发布，这是一个私有、自主可控、可自托管的企业级 AI 平台，集成 Enterprise RAG、本地 LLM 推理、AI Agent、多智能体编排与 AI 治理，基于 Ollama + qwen2.5:7b-instruct 验证。当前受控评测中检索精确率、召回率、引用与提示词注入防护均达 100%，必要事实召回为 86.61%，后端覆盖率达 80.43%，32/32 发布验证通过，SHA-256 校验值已公布。真实外部 Kubernetes 集群验收仍在进行中，属部署环境相关的运维职责。
GitHub 项目 obaida7/aws-vllm-serving 提供了一套基于 AWS 的生产级 LLM 服务方案，在 EC2 g4dn.xlarge（NVIDIA T4 GPU）上用 vLLM 自托管推理，支持 Qwen2.5 / Llama，并可回退到 Amazon Bedrock（Llama 3.1 / Claude Haiku）。平台通过 LiteLLM 网关、Redis 限流、PostgreSQL 状态存储及 Prometheus + Grafana 监控组成 Docker Compose 技术栈，用 GitHub Actions CI/CD 和 Terraform 实现 GitOps 自动化部署。
PelerYuan 在 GitHub 开源 SlotServe，将一张 GPU 变成实验室或小团队共享的可预约推理服务。用户在网页日历上预订独占时段，通过 OpenAI 兼容端点和个人 API key 调用模型，系统自动托管 llama-server、学习各模型加载时间并在预约开始前预加载。支持 .gguf 模型下载、用量仪表盘、Telegram 通知、Prometheus 指标，单容器部署仅需 SQLite 和三个挂载目录，采用 MIT 许可证。
推荐理由：一个把实验室单张 GPU 变成可预约共享推理服务的开源自托管方案，按预约切换 llama-server 模型并预热，部署思路可直接照搬。