新闻、仓库与研究，按时间排列。
Vanisherzd/BlackOps 仓库公开了一个在 DGX Spark（GB10）上完全本地运行的 IT 运维 Agent，目标部署于 Jetson AGX Thor，断网也能自主诊断修复。2026-10-20 起推理引擎从 TensorRT-LLM 改为 vLLM，跑 Nemotron-3.5-Bolt-74B-A9B；NemoClaw 路径 5 张舞台卡各跑 3 次 15/15 自主修复，repo 内 host 循环 9 案 26/27。仓库包含 NeMo Guardrails 安全 rail、审核代理、错误注入案例 28 个、离线知识库（1,644 历史案例）与详细踩坑清单，legacy 路线为 TRT-LLM + Nemotron-3-Nano 与 vLLM 0.29 + Qwen3.6-35B。
推荐理由：仓库给出完整的本地部署架构、错误注入 drill 数据和踩坑清单，读者可以照着在 DGX Spark 或 Jetson 上复现离线自修复运维智能体。
一位非程序员用前沿模型搭建基础设施，让 3 个本地智能体（2 台 Strix Halo 跑 GPT-OSS 120B Q4、1 台 RTX 5090 跑 Gemma 31B Q4）持续处理 NAS 上数十万册书籍、报告、照片与艺术图像，提取引文、趣闻和作品关联，并全天候待命回答关于藏书库的问题。整套系统成本未超 20 美元订阅的前沿 token 额度，且无广告与算法推荐。
GitHub 仓库 iconben/z-image-studio 发布，为 Tongyi-MAI/Z-Image-Turbo 文生图模型提供 CLI、Web UI 和 MCP Server 三种本地运行接口，支持 Windows/Mac/Linux。工具针对 NVIDIA CUDA、Linux AMD ROCm、Intel XPU 和 Apple Silicon MPS 做了优化，无兼容 GPU 时回退 CPU；支持最多 4 个 LoRA、seed 复现、full/q8/q4 精度选择，MCP 端支持 stdio、SSE 和 Streamable HTTP 三种传输，可接入 Claude Desktop 等客户端，安装方式含 Windows 安装包、Docker、pip/uv。
jobski 在 GitHub 发布 Hangar，一个在单 GPU 的 Windows PC 或 Mac 上启动、停止、切换、更新和监控本地 LLM 引擎的管理器，可通过网页、MCP 服务器、REST API 和 hangar 命令行操作。内置 llama.cpp（llama-server）和 Strata 引擎，支持 MLX，引擎以插件形式添加；启动前按估算并在运行后按实测峰值检查空闲 VRAM 和 RAM，支持 exclusive、coexist、refuse 三种资源策略。
一位用户在 r/LocalLLaMA 求助：过去 9 个月主要使用 Gemini Flash Pro、Claude、DeepSeek、Groq 与 Cerebras 等云端模型，现想在 M1 Max 64GB 上离线运行 32B、70B、120B 模型处理敏感原型工作。7B Llama MLX 可达 45 token/sec，但 32B 模型在 LM Studio 中报错，用途涵盖医学/法律研究、轻量编码、CAD/PCB 与图像生成等。
一位新用户在 Mac 笔记本上安装 SillyTavern 并连接 Ollama，后端运行正常，可正常与默认角色对话，但浏览器界面打字输入卡顿。系统资源占用低、已关闭模糊效果并检查扩展，使用 Firefox 本地访问 127.0.0.1，尚不清楚卡顿原因。
Fast-swap 发布 v0.3.0（Berth），新功能将引擎驻留在系统内存而非卸载，切回已驻留引擎可跳过从磁盘重新加载。作者招募测试者：需 64/96/128 GB 内存配 24 GB 显卡测试 vLLM 或 ComfyUI 引擎驻留耗时，或多 GPU 用户提供真实拓扑以支持下版多 GPU 租约功能，另征集 Windows NVIDIA 用户运行 contrib/windows/check.ps1 校验 VRAM，以及 Linux AMD 用户。
开发者发布开源项目 OvertChat，定位为自托管版 ChatGPT，提供打磨好的本地模型聊天界面。内置本地 TTS/STT 与 voice2voice 语音、捆绑 SearXNG 的网页搜索，支持 Codex、Claude Code、OpenCode、Pi、Hermes 等编码智能体；一条命令安装，覆盖 web、macOS/Windows/Linux、Android/iOS，并提供无法解密流量的免费中继 OvertChat Cloud。作者称已开发近 6 个月，项目获 123 stars，代码为 vibe coded，链接 https://github.com/yoloyash/overtchat 与 overtchat.com。
推荐理由：作者把自托管聊天前端定位成直接对标 Open WebUI 的成品而非工作区，并给出了安装命令和平台覆盖清单。
一位 Reddit r/LocalLLaMA 用户在 8GB 显存的本地设备上运行 Unsloth 3bit Qwen 3.8 Flash Next，原速仅 9t/s；改用 CachyOS 与 STRATA（自带 NVIDIA 驱动）后峰值达 48t/s，平均约 30t/s。上下文长度最高跑到 42k，距 OOM 仅差约 130MB VRAM，64k 因显存不足无法实现，作者称其体验接近本地版 Claude。
作者 /u/andy2na 宣布 Windows 万能搜索工具 VectorDash 改用 Rust 重写，新增可搜索剪贴板管理、基于 EmbeddingGemma 2 的本地反向图搜、网页搜索和 AI 聊天（含电脑与浏览器控制，Beta）。各功能均可选，未索引且未加载模型时内存占用低于 100MB，索引保留在本机，代码在 https://github.com/ampersandru/VectorDash。
推荐理由：作者本人发布工具更新，说明了各功能的可选开关和空闲内存占用，本地部署用户可以按需评估是否适用。
作者发布 open_rknpu2_lm_infer，一个不依赖 Rockchip 专有用户态推理库的 RK3588 NPU 本地大模型推理引擎，上层用 Rust、NPU 算子用 C++ 编写。支持 Qwen3.5-4B 图像输入与可选 MTP 投机解码，提供终端聊天和 OpenAI 兼容 API（含流式、工具调用、前缀缓存），并验证了 Qwen3-4B、Granite-4.2-3B、MiniCPM5-2B 等检查点。与 RKLLM 1.3.1 对比，512-token 提示 prefill 147.83 tok/s 对 58.35 tok/s，解码 10.61 tok/s 对 5.54 tok/s，约 2 倍速度。
推荐理由：作者自建 RK3588 NPU 推理引擎并给出与 RKLLM 1.3.1 的逐项速度对比，数据可直接用于评估本地部署收益。
Kiln 发布免费的桌面应用与 MIT 协议开源 Python 库，覆盖 evals、提示词优化、RAG、微调、合成数据和 AI 智能体等完整 AI 开发流程。微调支持 60+ 模型（Qwen、Llama、GPT、Gemini 等），测试模型库覆盖 190+ 模型；应用可本地运行，支持自带 API key 或通过 Ollama 完全离线使用。
Lolite OS 是一个可部署在 GitHub Pages 或 Vercel 的浏览器桌面系统，提供应用、游戏、文件与深紫蓝界面。本次更新为 Lolite Chat 加入基于 WebRTC 与 Supabase 的可见语音通话标签、语音房间、桌面通知和已读回执；Life RP 新增 12 条故事任务、28 天 18 级赛季、6 个玩家商店与 18 种商品，以及 Lolite Plus（4,500 虚拟币）和 Lolite Pro（12,500 虚拟币）等纯游戏内升级。GitHub Pages 版仅为静态预览，Vercel 版的 service worker 在浏览器测试中失败，仓库已提供 Dockerfile 和 render.yaml 用于自托管代理后端。
Meta 的开源权重模型 Muse Spark Open 在 Fireworks 上线，提供 Day-0 serverless 调用。该模型为 816B 参数 MoE 架构，每 token 激活 42B 参数，上下文窗口 1M token，主打长上下文编码与 Agent 工作。
推荐理由：给出了参数规模、激活参数和上下文窗口等关键配置，读者可据此判断该模型是否适合长上下文和 Agent 场景。
Perturbador 在 Hugging Face 发布基于 Llama 3.2 3B 的无审查微调模型 llama-3.2-3b-uncensored-chat，已转换为 GGUF 格式并用 Unsloth 训练，速度提升 2x。模型提供 Llama-3.2-3B.Q4_K_M.gguf 文件，附 Ollama Modelfile 便于部署，可通过 llama-cli 运行，BOS token 行为已为 GGUF 兼容性调整。
dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE，提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行，支持 OpenAI 兼容服务器与终端推理，并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。
一位用户在本地 SillyTavern 服务器搭配 Ollama 运行时遇到问题：模型输出中不断混入多余字符串，导致机器人自行说话并代入用户角色。用户发现原本的 Text completion 模式被自动切换成了 chat completion，但不想改动现有设置，只想解决这一字符串问题。
Spark-X2.6-4B 发布，架构与 Spark-X2.5-4B 完全相同，能力提升来自改进的后训练，在编程、智能体、长上下文、多语言和推理等方面显著增强。该模型在同等规模开源模型中达到 SOTA，可匹敌约 9B 参数的模型，并提供 none、low、high 三档可配置思考预算以平衡推理质量、延迟与推理成本，面向端侧部署。
一位 r/LocalLLaMA 用户拥有 5070 ti 和 5060 ti 16GB 两块显卡及 48GB DDR5 内存，主要用于编程和 Web 开发，纠结是保留双 16GB GPU 组合、几乎不用云端，还是卖掉 5060 ti 只留 5070 ti 跑基础任务并配合云端。其顾虑是双 16GB 并非理想方案，而前沿模型能力持续增长。
BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本，默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S，4 分片共 91.70 GB，MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539（高 37.4%），优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理，不新增安全训练或内容审核。
作者发布自研纯 C 推理引擎 Pantheon（基于 Foundry 库），CUDA 后端面向 Kepler 架构，在 Tesla K80 上实测 Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3_K_M）解码约 21 tok/s，prompt 读取 110-120 tok/s。权重驻留显存使 8 GB 主机即可运行，内置 prefix caching，opencode 二轮 14k token 系统提示从 170 秒降到 9 秒；短板是 prefill，30k token 代码库每次请求需数分钟。提供安装脚本与 OpenAI 兼容 API，代码在 git.teamide.dev，模型权重已上传 Hugging Face。
推荐理由：作者给出实测吞吐、prompt 长度衰减和 prefill 短板等具体数据，可据此评估老卡跑 MoE 的真实可用性。
用户在单张 RTX PRO 6000 上用 SGLang 部署 Nemotron 3.5 Super，实现 3M token 池，可支持 4 个并发请求、每个约 750k tokens。相比 Qwen3.8-Flash-Next（约 450k token 池），它不占用系统内存、推理速度略快（150-250 tps vs 130-230 tps），并原生支持 1M 上下文。
Reddit r/LocalLLaMA 用户求助 Pi.dev harness 的两个问题：一是运行时上下文占用百分比显示不准，会从 78% 随机降到 56%，影响超过一定 token 数触发的 compaction，只能提前手动压缩；二是在另一台电脑用本地服务器托管模型时，compaction 有时拒绝运行，即使上下文占用很少。帖子在征集修复方法。
一位 Reddit 用户拥有 3060 Ti 和 64GB DDR4 内存，受 8B 模型 VRAM 限制，询问能否通过 offloading 到 RAM 来运行 12B 或更大模型，用于故事生成和角色扮演，目前使用 kobold cpp 并考虑尝试 SillyTavern。
一位 Reddit r/LocalLLaMA 用户在 RTX 3080（10GB）+ RTX 3060（12GB）双卡上用 llama-server 运行 Qwen3.8-27B-pi Q4_K_M 量化模型，配合 MTP 草稿推理实现 30-40 tok/s 生成速度，平均 MTP 接受率约 0.75，上下文 75776。该配置用于 Kotlin/Android 的 agentic coding，作者称 dflash2 草稿反而比 MTP 更慢，并征求进一步优化建议。
立陶宛医学 AI 技术会议上，研究者展示了多个本地模型医疗应用：用于医学问答的实验性决策模型、加速遗传学家工作的 MCP server、将医学数据集批量翻译成立陶宛语等。涉及 Qwen3.5-4B、Qwen3.6-35B-A3B、Qwen3.5-122B-A10B、medgemma-27B 等模型，经典 ML 与神经网络占比更高。因患者数据隐私要求严格，本地模型成为医疗场景的关键选择。
Kyutai 于 10 月 20 日发布三款更小的 Pocket TTS 模型，参数量分别为 1.9M、6.9M 和 18.2M，均为英语模型，支持声音克隆并设计为在 CPU 上运行，可在其 demo 中切换尺寸。作者认为实用之处在于让语音生成留在 CPU、把 GPU 留给本地 LLM，倾向从 6.9M 版本入手；参数量统计包含音频解码器，处理参考声音的编码器是独立的，参考音只需编码一次。代码与安装说明由 /u/BerryBlush_Rogers691 提交。
推荐理由：作者给出了把语音生成留在 CPU、把 GPU 让给 LLM 的本地部署思路，并指出参数量统计包含音频解码器这一细节。
Perplexity CEO Aravind Srinivas 宣布 Perplexity Computer 可在 Mac 上完全本地运行，无需云端推理，也不需要 WiFi。模型和智能体均在本机运行，可操作 Mac 原生应用和本地文件，敏感数据不必发送到云端。该功能现已在 Perplexity Mac 应用中可用。
Project A.E.S.I.R. 是一个用 Mojo 编写的实验性本地 AI 推理引擎，目标是让普通 AI 应用直接在自有硬件上运行模型。其速度路线图计划在指定工作负载上比当前 Ollama 快 2 倍（冲刺目标 3 倍），目前缓存 32-token 工作接近持平，长输入和 128-token 输出仍落后。在 Llama 3.2 3B/RTX 2060 子集上，原生 CUDA 路径比上一版本再快 1.60–1.66x，已可运行 Gemma、Llama 3/Stheno 和 Qwen 系列测试模型。
HALO Console v0.8.1 Public Preview 发布，这是一个基于 Next.js 和 TypeScript 的本地优先 AI 工作台，通过浏览器界面与本地 Ollama 模型对话。v0.8 预览提供本地流式聊天、Quick/Daily/Heavy 三级模型路由（如 qwen3:4b 到 qwen3:30b-a3b）、浏览器本地保存会话、本地文档上传与检索（支持 .txt/.md/.log/.pdf）以及手动策划的 Learning Layer 笔记。默认绑定 127.0.0.1，无需云端 API。
开源工具 Translate Like Me 是一款 macOS 菜单栏应用，通过全局快捷键将选中文本原位翻译，并自动检测语言方向，支持最多三组语言对和按语言对自定义写作风格。它可将口述笔记改写成成稿消息，内置本地 Whisper 语音听写，翻译引擎通过 Claude、ChatGPT、Grok 或 Gemini 的官方 CLI 调用，无需账号或 API key。应用要求 macOS 15（Sequoia）及以上、Apple silicon 芯片，可通过 Homebrew 安装。
viktordanov 在 GitHub 开源 uah，一个用 Go 编写的功能完整的终端编码 Agent 框架。它通过 Codex 登录复用 ChatGPT 订阅或 API key 运行，支持 macOS 和 Linux（arm64 与 x86_64），无 Windows 版本。功能包括基于 Markdown 模块的上下文准备、磁盘会话存储与 SQLite 索引、并行子智能体、/goal 目标驱动执行、Seatbelt/bubblewrap 沙箱与审批规则、MCP 支持、Claude Code 兼容的 hooks，以及 uah exec 与 uah review 等无头模式；作者称在 agent 基准中 v1.8.0 比无上下文消息的 v1.7.5 减少 13% 墙钟时间和 39% 失败命令。
推荐理由：作者开源了自研终端编码 Agent 框架，README 详列沙箱、会话、子智能体等实现细节，可作同类工具的参考实现。
GitHub 开源项目 JobFitCheck 用 Playwright 抓取 LinkedIn 职位（每次最多 50 条），再通过本地 Ollama（llama3.1:8b）按候选人简历打 0–100 匹配分并在 Next.js 仪表盘中排序管理。工具还会自动生成英文求职信，评分含技术栈匹配 40%、级别 25%、地点 20%、领域相关 15%。全部数据本地运行，技术栈为 NestJS + PostgreSQL 16 + Redis 7 + BullMQ，遵循 MIT 许可。
MindWork AI Studio v26.9.1 发布，新增本地 RAG beta 功能和语义搜索，模型可自动从用户自有文档中检索答案。新版本还加入 Web Search、Read Web Page、Search Confluence 等模型可自主调用的工具，支持 GPT-6 Astra、Sol、Luna。该应用是免费的 macOS、Windows、Linux 桌面端，用户自带 API key 使用各家 LLM。
fireishott 发布自托管助手守护进程 Kallisti v1.4.0，单个长驻进程提供流式对话、工作区读写、命令执行、URL 抓取和绘图工具，并通过 MCP 客户端接入外部服务器，状态存于本地文件与 SQLite，无云端控制面、账号或遥测。安全模型在代码中强制执行：密钥仅存为 env 引用、口令存加盐校验值、read-only 与 workspace-write 沙箱在工具层拒绝越界写入、ask 策略下写入和 MCP 调用进入人工审批队列；原文同时如实指出 fetch 防护未做域名解析时的私网地址检查这一已知缺口。MIT 协议开源，架构分四个 crate，测试覆盖协议接缝、回合循环、沙箱、审批与 MCP 帧。
推荐理由：原文把安全模型落到代码层面并如实写出未实现的 fetch 防护缺口，适合想自托管助手守护进程的读者参考其边界设计。
ZisIsNotZis 在 GitHub 发布的 tiny-llm-eval-factors 是一个可复现的研究工作台，用于测量本地大语言模型的量化、模型规模、解码协议与 benchmark 行为等因素。`./reproduce.sh` 全流程在本机干净 clone、12 核 CPU、无 GPU 环境实测约 41.1/49.9/60.2 秒，可从 experiments.sqlite 逐字节重建 report.html，CJK 字体缺失或版本不符时构建直接失败。仓库分发 337 个逐题评测产物（3.45 MB）供 fresh clone 验证，但 .gguf 模型权重字节已丢失，评测运行本身也需 GPU 与模型文件。
GitHub 项目 psyb0t/docker-pibox 将 pi-coding-agent 封装进 aicodebox 容器，一个镜像提供交互式 shell、一次性提示词、OpenAI 兼容的 HTTP API（:8080）、Telegram bot、YAML 定义的 cron 定时任务和 MCP server 多种接入方式。pibox 包装器会把工作目录挂载进容器并转发 PIBOX_* 配置，提供 minimal 和 full 两种镜像变体，可通过 ANTHROPIC_MODEL 等环境变量指定 glm-4.6 等模型。
开源项目 claudebox（psyb0t/docker-claudebox）提供在 Docker 中运行 Claude Code 的封装器，支持交互终端、单次提示、HTTP API、MCP、Telegram 和 cron 定时六种模式。安装器提供最小镜像和含 Go、Python、Node、C/C++ 等开发工具链的 full 镜像两种变体，默认挂载当前目录、持久化 Claude 状态并恢复上次会话。该项目并非安全沙箱：默认使用 host networking、挂载 host Docker socket、给予免密 sudo 并绕过 Claude 权限提示，仅适用于受信任的工作负载，采用 WTFPL 许可证。
/u/SamSausages 因 Intel B65 几乎没有公开跑分，自建 4x B65 平台，用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描，覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍（0 上下文 84.5 对 42.7 tokens/sec），200K 上下文下降到 45.8；Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。
推荐理由：作者自建 4x Intel B65 平台，实测多款模型在 16K 到 200K 上下文下的吞吐数据，并给出 MTP 开关与不同精度的对照。
Gradium 发布首个开源项目 Phonon，包含 31M 和 40M 两个可在设备端运行的小型 TTS 模型。推理栈完全开源，支持 10 多种后端（CPU、GPU、NPU），其中大部分用 Rust 编写。团队表示欢迎社区反馈，并计划推出更多开源版本。