新闻、仓库与研究，按时间排列。
GitHub 上的 ZhuangFY 是一个开发中的个人语音助手，基于 Python / PySide6 原型：通过本地 VAD 截取语音并本地识别文字，支持“庄方宜”“小庄”“庄天师”唤醒词，调用兼容 OpenAI Chat Completions 的模型接口，并用系统语音或本机 GPT-SoVITS 分段朗读，播报时可插话打断。可选启用 Mem0 长期记忆（本地向量库加硅基流动 Embedding），QQ 消息可通过 SnowLuma 经 OneBot WebSocket 接入；目前尚无桌宠形象、声纹识别和回声消除。
OpenBMB 的技术文章介绍 MiniCPM-V 4.7 通过 Lookahead Expert Scheduling（LES）在本地运行 35B-A3B MoE，不改变路由或跳过专家。该方法预测下一层所需专家并提前从闪存预加载权重，配合优化的权重布局、混合精度量化和 DSpark 投机解码，在 iPhone 18 Pro Max 达到 20.51 tok/s，是 3.38 tok/s 基线的 6.07 倍；专家权重缩小 26.7% 且五个基准仅降 0.16 分，低内存配置峰值内存约 3 GB。实现已开源在 llama.cpp-omni。
推荐理由：原文转述了 LES 预加载专家权重、不改路由的思路，并给出 tok/s、体积和内存等实测数字，可作本地跑大 MoE 的参考。
一位 SillyTavern 用户更新了打造本地 RP 引擎的进展。其提示词在 GPT 6.1 上效果良好，但本地测试中 Gemma 4 26B-A4B_Q6 关闭推理后速度即时；Codex 校准发现其与人工判断仅 13% 一致，需先训练再评测。作者还计划压缩 7000 条训练样本或改为链式输入输出再训练。
pottokao 在 Hugging Face 发布 LiquidAI/LFM2.5-24B-A2B 的去对齐 GGUF 量化版，用 Heretic ARA 去审查后拒绝率从 89/100 降到 0/100，BF16 权重上 KL 为 0.260。所有 attn_output 张量保持 Q8_0，去对齐修改集中在 blk.38.attn_output；IQ3_M 档可在 16 GB 显存单卡运行，模型回答前会先思考，需留较大输出预算。
推荐理由：作者给出了用 Heretic ARA 去对齐前后的拒绝率对比和 KL 数值，并说明各量化档的显存取舍。
NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线：RTX Spark 面向 Windows PC 个人智能体，DGX Spark 面向 Linux 开发者并支持最多八机集群，DGX Station 提供 748GB 一致内存、面向企业团队。Windows 版将于 12 月推出。
开源项目 emilie-clipet/ai-act-rag 构建了一个可回答欧盟 AI Act（Regulation (UE) 2024/1689）相关问题的聊天机器人，回答时始终标注来源文档与页码。技术栈采用 Python、Streamlit、sentence-transformers 本地 embeddings（all-MiniLM-L6-v2）、FAISS 索引，LLM 可选 Ollama 本地运行 llama3.2 或 Groq 云端免费额度，两种方式均免费且无需银行卡。
GitHub 开源项目 huareyu/local-image-studio 是一个运行在本机的轻量级 AI 图像生成工作台，当前版本 0.8.1，界面为俄语，需 Node.js 20 及以上。它支持 Gemini-compatible、OpenAI-compatible、OpenRouter 和 NovelAI 四种 API，提供多参考图管理、提示词编辑、本地生成历史及带认证的 HTTP/HTTPS 代理，不依赖 SillyTavern。NovelAI 模式内置 140,782 条 Danbooru 标签的本地标签助手，支持 Prompt Chunks 嵌套引用，数据通过 IndexedDB 保存在本机。
Vipera 团队在 GitHub 发布本地 AI 网关 Vipera（PyPI 包名 vipera-ai，MIT 协议），读取 .gguf 模型后提供 OpenAI 兼容的 HTTP 接口，默认监听 http://127.0.0.1:8686/v1。核心特性是硬件感知 planner，根据硬件探测结果生成 gpu_layers、KV cache 类型、n_batch、mlock 和 KQV offload 配置，GPU 加载失败时逐阶段回退到 CPU 安全方案并打印变更；CLI 与 API 共享同一引擎实例，内置 system doctor 诊断、HuggingFace 模型搜索和 bench 吞吐测试。
推荐理由：作者给出 planner 逐层分配 gpu_layers 与 KV cache 类型的具体机制，并在硬件溢出场景下说明了适用边界和基准数据。
开发者 kruzif-x 发布 LM Switcher v0.9.15b（beta），一款仅支持 macOS Apple Silicon 的菜单栏应用加 CLI 加 MCP，用于发现、加载和卸载本地 GGUF 与多种 MLX 系后端模型，各模型独立端口并行运行。核心功能包括 mmproj 视觉投影文件自动配对、mtp/dflash 文件自动排除与挂载、DFlash 投机解码（默认开启）、聊天模板覆盖以修复 Gemma 4 在 opencode 等 agentic 工具下的多轮调用问题，以及独立的 MCP 服务器让 Hermes 等 agent 按需加载卸载模型（默认关闭）。
推荐理由：作者是开发者本人，给出了各引擎端口、CORS 兼容表和 Muse Glimmer 实测吞吐数据，读者可对照自己的硬件与工作流判断是否适用。
struklabs 开源发布 Harness Studio v0.1.2，一个基于 Tauri、Rust 和 Svelte 5 的桌面应用，管理 llama.cpp 等引擎让用户在本地电脑运行大模型，无需订阅、离线可用。应用提供 Model Hub 搜索 Hugging Face 并校验 SHA-256、OpenAI/Anthropic/Ollama 兼容网关、MCP 双向支持、CLI 与 headless 模式，并内置 P50/P95 请求分析和 Prometheus 指标；Windows 安装包约 21 MB，应用自身占用约 250-350 MB 内存，MIT 许可。
GitHub 上的韩语 LLM 学习指南，通过从文本分类、下一 token 预测到 Attention 与小型 Transformer 的实操代码讲解训练、保存、推理与评估流程。后期章节扩展到加载 SmolLM2-135M-Instruct 进行 SFT、rank4 LoRA 与 NF4 量化的 QLoRA，并覆盖 HTTP API 部署、吞吐与显存峰值测量及模型版本注册。
GitHub 开源项目 date-buffet-llm 是一个无需后端的相亲匹配测试应用，基于 React + Vite + TypeScript，用 localStorage 和 50 名 seed 固定的虚拟人物运行，可切换 Supabase 实现真实用户匹配。推荐卡片内置"AI 설명 보기"功能，调用本地 Ollama 的 qwen2.5:3b 用 2-3 句解释匹配理由并推荐开场消息，单条生成 12-25 秒，通过 JSON schema 强制输出、temperature 0.2 和抄袭/事实检测保证质量。项目附带公平性测试（npm run simulate），TOP 10 基准下年龄、性别、地区指标均通过，TOP 5 地区指标未达标。
BeatLink 在 GitHub 发布 SmartHarness，一个让本地小模型在长多步推理任务上更可靠的开源 harness。它把每个请求拆成任务树，每次调用只给模型一个窄目标，配合本地 SQLite 知识库和后台研究 worker，模型通过 llama-cpp-python 从本地 GGUF 文件运行，不发送任何数据到托管模型。它内置不依赖模型的检查（如引用 URL 必须出现在抓取证据中）、不可信网页内容的指令注入过滤、基于 Qwen3-Embedding-0.6B 的语义召回，以及支持断点续跑的检查点机制；召回基准显示加入语义检索后复述类问题命中率从 0% 升至 100%。项目采用 GPL-3.0 许可证，提供 TUI、GTK 界面和评测命令。
Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X，基于 Qwen3-14B，用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%（关闭思考），比起点 Qwen3-14B 高 27 分，接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800，分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU，可用 vLLM 部署，支持作为 agent 工具调用，未做临床验证、不可用于医疗决策。
推荐理由：原文给出五项 DNA 基准得分、成本对比和完整训练配方，读者可以据此评估这个 DNA 语言模型的实际水平与用法。
一位 r/LocalLLaMA 用户计划以约 850 美元总预算组装电脑，本地运行 Qwen3.8 27B 的 q5_KM 或更高量化版本。其配置方案包括 2 张 3060 12GB、750W 金牌电源和 DDR4 内存，GPU 预算约 500 美元，并在评论区询问内存选择对带宽和速度的影响。
LxBarn 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的无审查（Uncensored）量化版本，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 NVFP4 的 4.20 GB 到 BF16 的 14.23 GB 不等，其中 Q4_K_M（4.60 GB）被推荐为 GGUF 体积与质量的最佳平衡。该版本内置 qwen3vl_8b 文本编码器与 VAE 文件，可直接在 ComfyUI 中使用，且无内置安全检查器，可直接生成成人、NSFW 及敏感图像。
开源项目 Zer0gh0st 发布 0.5.8 版本，这是一个用 Rust 重写、运行在终端 TUI 中的 AI 工程智能体，MIT 许可，支持本地 llama-server 或 OpenAI 兼容云端推理，本地模式无需 API key。内置 10 个 provider 与 failover、JSONL 记忆、SQLite+FTS5 知识库、/img 视觉输入、Whisper 语音助手 Zero-chan 及 Telegram 远程控制；工具默认关闭，code_exec 无沙箱，启用前需阅读 SAFETY.md。
GitHub 开源的 casebase 是一款驻留在 Mac 刘海区的资料收纳工具，可拖入文件、用 ⌘F1 保存选中文本、⌘F2 截图或录制会议，由 LLM 自动生成标题、摘要、标签并归类。资料本地存储于 SQLite，问答带引用来源；会议经本地 oMLX 转写并生成待办，还可通过 casebase-mcp 供 Claude、Codex 等 MCP 客户端检索记录和管理待办。分析由 DeepSeek 驱动，可选 Google API key 启用 Gemini embeddings 语义搜索，需 macOS 14 及以上 Apple Silicon，采用 GPL-3.0 许可。
GitHub 开源项目 Almanac 将离线参考库与本地 AI 助手结合，面向自给自足、备灾和离网社区，断网时推理、语音和已装语料仍可运行。其语料含英文 Wikipedia、Appropedia、iFixit 修复指南及 Project Gutenberg 全部 60,207 本书，模型采用 Muse Glimmer 30B（NVFP4、131,072-token 上下文），由 vLLM 推理，目标硬件为单张 32 GB 消费级 GPU，语音用 faster-whisper 与 Pocket TTS，可选本地 SearXNG 联网搜索。
richardbrownmiami-commits 的 Mr-Red 项目推出面向 Redmi 9 的 32-bit Android（armeabi-v7a）离线 AI 实验构建，基于 llama.cpp 做 CPU 推理，GGUF 模型文件放在 APK 外，支持导入最大 2 GB 的模型，权重通过 memory-mapping 降低 RAM 占用。首个里程碑是可复现的 32-bit 构建，1.5 GB GGUF 能导入但不保证能在 Redmi 9 上加载，实际速度与稳定性需在真机测量。
云碩科技（xCloudinfo）发布插件式 AI agent harness xHarness 1.0，MIT 授权，代码约 13,800 行 Python、零执行期相依，411 个测试约 33 秒跑完。支持任何 OpenAI 相容端点（llama.cpp、vLLM、Ollama、LiteLLM 等），提供沙箱隔离、审批策略、MCP client、跨 session 记忆层、eval 子系统、子代理与多节点舰队视图，除设定的模型端点外不对外传送任何数据。
推荐理由：作者给出约 13,800 行代码、零执行期相依和 411 个测试等具体数字，读者可据此评估这个治理优先 agent harness 的实际规模。
Wevir 是一个开源、本地优先的 AI coding agent 桌面工作区，将 agent 会话、审批、代码审查、文件和可由 agent 驱动的浏览器集成在一个桌面应用中。它通过统一网关支持 OpenAI、Anthropic、DeepSeek、Ollama 等多家模型服务商，API 密钥保存在本地 Host 中，并提供 plan mode、Git worktree 隔离、每轮检查点 diff 等功能。项目采用 MIT 许可证开源，支持 Windows/macOS 安装包及从源码运行。
austin1997 在 GitHub 发布浏览器测速网站 llm-speedtest，支持 OpenAI 兼容 Chat Completions 与 Ollama 原生接口，可对语言模型、文生图与文生视频部署做 A/B 并发测速，支持 1–16 并发、流式输出、思考模式与多语言界面。所有推理请求从浏览器直连端点，可部署到 Cloudflare Workers 并将汇总结果写入 D1，指标覆盖 TTFT、实时吞吐、服务端 decode/prefill 等，本地运行需 Node.js 24。
推荐理由：作者开源了一个浏览器直连端点的推理测速工具，指标口径写得很细，部署自建模型想对比性能的读者可以拿来直接用。
GitHub 上的开源项目 yunhee-cli 旨在借助本地 LLM 为 claude cli、gemini cli 等商用 AI agent 节省 token。项目为 AssetERP 从 GWT/GXT 框架向 Springboot/React 迁移提供基础工作，提供 yunhee outline、yunhee table、yunhee run 等命令做静态代码提取、构建测试隔离执行与日志摘要，依赖 chroma db、postgresql 和 sqlite，并通过 run.sh install 安装、yunhee 命令运行。
Gian-Luca Matsuda 在 GitHub 上开源其独立数据科学作品集，含十个项目，涉及数据科学、研究、治理与建模，使用 SQL、Python、R、Excel、Power BI、Tableau 及本地 AI 工作流。其中 Moonlit Books 本地 RAG 项目在最近一次公开回归测试中通过 18/18 工作流用例与 70/70 发票字段组。代码采用 MIT 许可，项目均为演示性质，部分使用合成数据。
GitHub 开源工具 overbrainer v0.9.0 支持从命令行把大的父模型蒸馏成更小的开放权重子模型：向父模型生成问题并收集带推理的回答，用 Axolotl 在本地、SSH 机器或 Runpod 上做 LoRA 微调，再导出量化 GGUF 和 Ollama Modelfile。overbrainer compare 在评测集上对比子模型与父模型的胜率、延迟和每千次请求成本，并提供六视图终端 UI、Prometheus 指标和可安装到 Claude Code 的 agent skill。项目处于早期开发阶段，1.0 前小版本可能有破坏性变更。
推荐理由：从生成数据集到用 Axolotl 微调再到导出 GGUF 全流程一条命令走完，还用胜负率和成本对比衡量孩子与父模型的差距。
一位 Reddit r/LocalLLaMA 用户在 2x5090 + 128GB 内存的本地环境运行 Qwen3.8-27B 做智能体编程，称 vLLM 是唯一不破坏 KV cache 且能高效利用的框架，目前使用 Minachist 的 Qwen3.8-27B-INT6-Mixed-AutoRound 量化版本。他考虑改用 Flash Next，但未找到针对 2x5090 + vLLM 的平衡配置方案，向社区征求部署经验。
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
OpenExpert 是一个 MIT 协议开源的 AI 运营仪表盘，完全在本地运行，数据存于单个 SQLite 文件，无需云端、账号或数据库服务器。它提供严格数据隔离的 Experts、可调用工具的聊天、需人工审批的 AI 操作及完整审计回溯，支持 Ollama（默认）、Google Gemini、Claude 或任意 OpenAI 兼容端点，并可集成 Google Drive、本地文件夹和 Notion。
x-cmd 安装索引新增 llm 包，可在命令行访问大语言模型。该项目以 Python 为主，共 73 个文件、35,556 行代码，采用 Apache-2.0 许可证，最新版本 0.36 于 2026-09-22 发布，GitHub 上有 12,648 stars 和 81 位贡献者。
baiibayu 在 GitHub 发布开源工具 SRouter，一个本地运行的 AI 网关与智能路由器，把 Claude Code、Cursor、Windsurf、Cline 等编码工具统一接到一个 OpenAI 兼容端点（http://localhost:20268/v1），聚合约 60 家供应商和 1200+ 模型。核心机制包括订阅、付费与免密钥免费三层自动回退（上游 429/5xx 时冷却并切换下一模型）、可节省 20–40% token 的提示词压缩管线、每日两次经 Ed25519 签名同步的模型目录、AES-256-GCM 本地加密密钥库，以及原生支持 Anthropic Messages、Gemini、Ollama 和 Codex /v1/responses 协议。
推荐理由：原文给出了三层回退、token 压缩比例和本地加密等具体机制，可据此评估这个本地网关是否值得接入自己的编码工具链。
GitHub 上的开源项目 Vigilante 是一款本地优先的 AI 研究助手，桌面原生运行，数据不离开用户设备。它支持 Ollama、LM Studio 等多提供商 LLM，具备对话线程、命令面板和流式响应功能，技术栈为 Tauri 2（Rust）+ Next.js + TypeScript + Turborepo monorepo。
KOIYAL 在 GitHub 发布 local-transcriber，支持 Windows 和 macOS 本地转录音视频文件并生成带时间戳文本与本地 LLM 摘要，全程不联网。转录用 faster-whisper，摘要优先用 Apple Intelligence，其他环境回退到 llama-cpp-python 加载 GGUF 模型；支持 TXT、SRT、VTT、JSON 导出，采用 GNU AGPL-3.0 许可证。
开源仓库 KhanhRomVN/Zen 推出 VSCode 扩展 Zen，将编辑器变成可读写文件、运行终端命令和执行 Git 操作的 AI 编程 Agent，免费且无需订阅。它支持两层连接：通过 API key 接入 OpenAI、DeepSeek、Anthropic Claude、Google Gemini、Qwen、Ollama 等，或用 Chromium 自动化登录 ChatGPT、Gemini、Claude.ai、Qwen、GitHub Copilot 等免费网页版，无需 API key。扩展提供 3 级权限系统、修改前自动 checkpoint 并支持一键回滚、多账号管理与用量跟踪，并集成 LSP 诊断自动修复错误。
naoki-Kamishiro开源narrative-interact，一个完全本地运行的互动小说系统，LM Studio加载本地LLM担任GM，玩家输入类型与标题即可自动生成剧情并自由行动，支持骰子判定、存档和4档剧情约束度选择。推荐Gemma4 12B、上下文32,768 token以上，README详细列出了已抑制、残留和模型依赖三类模型缺陷及对应提示词对策。项目采用MIT许可。
推荐理由：开源了完整的GM提示词体系，还按轻缓解到模型依赖三档详细列出LLM跑TRPG的失效模式，方法可直接复用。
cloudwalksolutions 在 GitHub 发布 llm-server，提供本地 LLM 推理服务器的安装与远程管理，支持 AMD（Vulkan）与 NVIDIA（CUDA）GPU 的 llama.cpp 安装脚本，并可选通过 Cloudflare Tunnel 暴露公网。架构为每个模型一个 llama-server 实例、各自绑定 loopback 端口，由 nginx njs 路由按请求的 model 字段分发；make deploy 通过 systemd 模板部署，可对比 diff、只重启变更实例并在失败时自动回滚。
推荐理由：这是一个完整的 llama.cpp 多模型推理服务器管理方案，部署、验证、基准与 KV 量化实测工具齐全，方法可直接复用。
GitHub 上的 local-legal-ai 项目为律所提供完全自托管的文档问答助手：上传 PDF、DOCX、TXT 合同与文件后，本地 LLM（llama.cpp、Ollama 或 vLLM）逐字流式输出带编号引用的答案，全部数据与模型留在本地，不调用第三方 AI API。项目内置基于 ChromaDB 的语义检索、越题拒答与无引用标记、关键条款提取、哈希链防篡改审计日志、JWT 登录与角色管理，并支持 IP 白名单、data/inbox/ 监控文件夹索引以及 n8n 与 Slack 集成；无模型时可退化为无需 GPU 的抽取式回答模式。
Vanisherzd/BlackOps 仓库公开了一个在 DGX Spark（GB10）上完全本地运行的 IT 运维 Agent，目标部署于 Jetson AGX Thor，断网也能自主诊断修复。2026-10-20 起推理引擎从 TensorRT-LLM 改为 vLLM，跑 Nemotron-3.5-Bolt-74B-A9B；NemoClaw 路径 5 张舞台卡各跑 3 次 15/15 自主修复，repo 内 host 循环 9 案 26/27。仓库包含 NeMo Guardrails 安全 rail、审核代理、错误注入案例 28 个、离线知识库（1,644 历史案例）与详细踩坑清单，legacy 路线为 TRT-LLM + Nemotron-3-Nano 与 vLLM 0.29 + Qwen3.6-35B。
推荐理由：仓库给出完整的本地部署架构、错误注入 drill 数据和踩坑清单，读者可以照着在 DGX Spark 或 Jetson 上复现离线自修复运维智能体。
一位非程序员用前沿模型搭建基础设施，让 3 个本地智能体（2 台 Strix Halo 跑 GPT-OSS 120B Q4、1 台 RTX 5090 跑 Gemma 31B Q4）持续处理 NAS 上数十万册书籍、报告、照片与艺术图像，提取引文、趣闻和作品关联，并全天候待命回答关于藏书库的问题。整套系统成本未超 20 美元订阅的前沿 token 额度，且无广告与算法推荐。
GitHub 仓库 iconben/z-image-studio 发布，为 Tongyi-MAI/Z-Image-Turbo 文生图模型提供 CLI、Web UI 和 MCP Server 三种本地运行接口，支持 Windows/Mac/Linux。工具针对 NVIDIA CUDA、Linux AMD ROCm、Intel XPU 和 Apple Silicon MPS 做了优化，无兼容 GPU 时回退 CPU；支持最多 4 个 LoRA、seed 复现、full/q8/q4 精度选择，MCP 端支持 stdio、SSE 和 Streamable HTTP 三种传输，可接入 Claude Desktop 等客户端，安装方式含 Windows 安装包、Docker、pip/uv。