新闻、仓库与研究，按时间排列。
BOB Gemini Free 是 ABCsteps.com 推出的 Go 编写多协议 AI 网关引擎，一个本地网关同时暴露 OpenAI、Anthropic 和 Google Gemini 三种协议适配路由，默认 web 路由无需 BOB 计费账号，可选路由使用用户自己的 Gemini Developer API key。当前 macOS universal v0.2.0-preview.10 为受控 beta，经 owner 控制的 Keychain 签名分发；工具调用为模拟实现（prompt/Markdown 提取），token 计数为估算值，不支持原生 Google function calling。
TheSlopMachine 在 GitHub 发布 llm-router，一个 OpenAI 兼容的单二进制模型路由网关，Go 后端加 Svelte 面板、SQLite 存储，运行时无 JavaScript 依赖。它统一多供应商与多账号端点、避开限速并通过自动代理绕过区域封锁，同时支持 OpenAI 和 Anthropic 兼容格式，可经 Lua 插件目录接入免费供应商。安装可从 releases 下载或源码 make install，经 .env 或环境变量配置后默认在 8080 端口启动面板与 /v1 监听。仓库地址：https://github.com/TheSlopMachine/llm-router
推荐理由：仓库页面直接给出安装、配置和接入步骤，读者可按说明把多模型路由网关跑起来并复用 Lua 插件接免费供应商。
PiotrBednarski-EngineerOfHumanGoods 发布的 ai-platforma-demo 演示了一个多部门共用的 AI 助手平台：统一入口按部门配置文档、工具与模型策略，支持 mock / Claude / OpenAI / Ollama 作为后端，发送前自动脱敏并记录日志。线上版本运行真实 Claude，月预算 3 美元；项目由 Claude Code 构建并有专门 agent 检查安全、代码质量、UX 等，每个修复附带测试，含 AES-256-GCM 加密与 RODO 合规文档。
Kollektiv 是一款面向提示词工程师、视觉艺术家和 AI 研究者的本地优先应用，集提示词模板、多引擎润色与媒体管理于一体。其 AI 功能由 Google Gemini 和 Ollama 驱动，可为 Flux、Midjourney、SDXL、Veo、Sora、Suno 等图像、视频、音频模型生成专用公式，并通过 File System Access API、IndexedDB 和本地 JSON sidecar 实现 100% 数据本地化。项目基于 React 19、TypeScript 与 Vite 构建，需 Gemini API Key 才能启用 Neural 功能。
Reddit 用户 /u/Ok-Director4174 发布了免费开源桌面应用 Kokon，基于 stable-diffusion.cpp（ggml）运行 Qwen-Image 2.1 Turbo Q4_K 与 Qwen3-VL 8B 文本编码器（约 12 GB GGUF），无需 Python 和 PyTorch，首启自动检测 GPU 并下载匹配权重。应用提供 Change / Remove / Replace / Add 的笔刷式照片编辑、撤销与前后对比，内置 MCP 服务器（generate_image、edit_image、inpaint_image 等）和本地 HTTP API。
推荐理由：作者实测给出了各档显卡的单张编辑耗时和显存门槛，本地部署 Qwen-Image 2.1 图像编辑可据此评估硬件是否够用。
有用户在 iPhone 16 Pro Max 上通过 OpenBMB 安装指南中的 iOS 应用运行 MiniCPM-V 4.7 35B-A3B 时，应用在加载模型阶段崩溃，有时进入界面后点按也会再次崩溃。README 建议 12GB 内存，低内存设备会回退到更小的 expert cache，该用户尚不确定是手机内存限制、模型包问题还是应用 bug。
Ogard-Labs 在 GitHub 发布 Octant，一款本地优先的 macOS 工作区技术预览，整合 Chat、Work 和 Code 三种模式，支持 Ollama、本地编码 CLI 及任何 OpenAI 或 Anthropic 兼容 HTTP 端点。系统由单一本地服务器管理项目、线程、记忆与审批，采用 SQLite 追加式事件日志，支持线程中途切换 provider。当前仅支持 Apple Silicon（M1 及以上），暂无预编译二进制，需用 Bun 1.3.x 从源码构建。
Reddit r/LocalLLaMA 用户实测 JetBrains Mellum 2.1 12B A2.5B MoE，认为其表现很好。该模型在 m4 16 上全 130k 上下文可达 60 tps，Q8 量化在 16 GB GPU 上可跑，9070xt 上实测 140TPS；作者判断 8GB、12GB 显卡有望跑到 30-40 tps，且其代码能力可用，但建议搭配更大模型做任务规划。
/u/Present_Resource4022 在 GitHub 发布 Gyro-M 实验性部署方案，在 4070 Super 12GB 显存加 32GB 内存上跑满 Qwen 3.8 flash 的 256K 上下文，prefill 约 950–1800 tok/s，输出 30–38 tok/s。方案包含 Strata 补丁、调优配置、模型下载器、安装器和启动器，默认关闭 MTP 和视觉功能以提升速度；作者另附一段提示词，可交给 Codex 或 Claude Code 等编码 Agent 按用户自身硬件调优，速度受 CPU、SSD、内存和 GPU 带宽影响较大。
推荐理由：作者实测 Qwen 3.8 flash 在 12GB 显存加 32GB 内存跑满 256K 上下文，并给出调优补丁和供编码 Agent 适配自家硬件的提示词。
OpenBMB 的 MiniCPM-V 4.7 演示显示，35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行，可读现实标识、理解复杂文档并做视觉推理。关键在 LES（Lookahead Expert Scheduling），通过预测并预加载专家缓解 MoE 推理瓶颈；团队还发布了面向低资源设备的 1B 版本，以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub：https://github.com/OpenBMB/MiniCPM-V
推荐理由：帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路，适合关注多模态模型本地部署的读者。
Ant Ling 发布的 Ling-3.1-flash 权重已上线 HF，模型卡标注 560B 总参数、每 token 激活 25B，官方部署示例为 8× H200 或 4× GB300。一位用户计划在 4 台 DGX Spark 上运行该模型做编码与迭代 UI 开发，征询量化方案与拆分四台设备的 serving stack 建议，并关注单用户 prefill/decode 速度在实际工具调用和长上下文场景下的可用性。
Reddit r/LocalLLaMA 用户发帖提问：为何有人愿意花费数万欧元搭建本地系统运行模型，而不选择按需租用 GPU。发帖者认为隐私虽是一部分原因，但不足以解释多数人的动机，并质疑在硬件快速迭代、本代产品迅速过时的情况下，本地部署是否仍是划算的选择。
一位 r/CharacterAI 用户发帖称 c.ai 将于 12 月关停，提醒用户备份聊天机器人和 lorebook，尽量保存数据。他表示即使平台消失也能继续这个爱好，用户可能需要学习使用 API 以及在手机或 PC 上的本地 LLM 前端；结合他多次经历其他网站关停的经验，转向本地部署是长期最稳妥的选择。
Viranchi4 在 GitHub 发布 nl-sql-assistant，通过 Ollama 运行本地 Qwen2.5-Coder 3B/7B 模型，将自然语言问题转换为可执行的 MySQL 只读查询，无需付费 API。系统动态检查数据库 schema、用 SQLGlot 验证 SQL 并支持有界纠错重试。在 5 题留出集基准上，3B 模型执行成功率和结果准确率均为 80%，7B 模型均为 100%。
作者发布 jitllm，一个定位为 LLM 推理操作系统的单二进制引擎，运行时为 CPU 和 GPU 生成 JIT 内核，支持层在设备间迁移、超内存模型从磁盘分页，兼容 65 种 GGUF 架构和 30 种 Hugging Face 类。性能上最高达 llama.cpp prefill 的 4.62x、vLLM 0.18.1 首 token 速度的 5.8x，提供 OpenAI 与 Anthropic 兼容 API、桌面与终端应用，支持 macOS、Windows、Linux 和 Docker 部署。
同一新闻，精选展示《jitllm 推理引擎发布：为硬件 JIT 生成内核并支持超内存分页》
Reddit r/LocalLLaMA 用户在 8GB 显存（RTX 3070）+ 32GB DDR4 上分享了 QFN Q_2 分层配置：36 tps 生成、prefill 340、上下文 176128。关键调整是牺牲 MTP 并缓存 2000 个 experts 以修复 prefill，超过 192k 上下文时需减少缓存 experts。
/u/The_VibePreneur 发布 BitRun，一个无需编译即可运行 1-bit 三值 LLM 的独立运行器，在 Apple M4 Pro CPU 上跑出 98-127 tokens/s，Intel i5-12600K 上 40-45 tokens/s，全程 0% GPU 占用。作者为此修复了 Microsoft bitnet.cpp 的多处底层 C++ 内核 bug（batch stride 覆写、ARM NEON 块大小硬编码导致 @ @ @ 死循环、SiLU 与 squared ReLU 激活不匹配、多轮对话 BLAS 越界崩溃），并提交 PR #642 和 #644。
推荐理由：作者修复了 bitnet.cpp 的多处底层内核 bug 并封装成零编译的一键运行器，实测数据可直接对照自己的 CPU 场景判断是否可用。
/u/K4anan 团队为开源本地 LLM 应用 Private Mind 上线联网搜索功能，iOS 和 Android 上的 Qwen 3 1.7B 无网络时把 Apple 九月发布会答错，开启后能答对并引用 5 个页面。实现不用搜索 API 和后端：隐藏 WebView 访问 DuckDuckGo（Brave 和 Mojeek 备用）解析结果，把顶部网页切成约 500 字符块，由端上嵌入模型 LFM2.5（约 415MB）加关键词匹配选出最多 6 块（单页最多 3 块），两个站点一致的说法权重高于单一来源，模型基于这些块作答并附全部来源链接。搜索按会话开关、默认关闭，手机像浏览器一样发请求，对话留在本机，LLM 和嵌入都跑在 react-native-executorch 上。
推荐理由：核心难点不在模型而在选段，用嵌入加多站点一致性从网页里挑几百字喂给 1.7B 模型，做法可直接借鉴。
geezyforeezy 发布 rohit267/Qwen3.8-9B-heretic-uncensored 的 4-bit MLX + MTP（MTPLX）本地版本，面向 Apple Silicon。在 M5 24GB MacBook 上实测解码速度从 21.25 提升到 40.05 tok/s（+88%），投机解码为精确校验故无损；trunk 为有损 4-bit（group size 64，约 5.0 GB），附带原生 MTP sidecar 与 rank-64 C4 LoRA 适配器（加载时合并），depth 2 下草稿接受率约 0.71。
在 Samsung Galaxy S21 上本地运行 Gemma 4 E2B（Q3_K_M）作推理模型、Qwen3.5-0.8B（Q4_K_M）作执行模型，无微调完成 Amazon 上 200 美元内组装 Instax Mini 12 套装任务。两次运行分别以 2 件商品 190.98 美元和 4 件商品 143.86 美元结束于 READY_FOR_HUMAN_REVIEW，未实际下单。原始会话约 51 分钟，日志、脚本与 SHA-256 哈希已公开于 GitHub 的 e2llm/edge-browser-agent。
一位 Reddit r/LocalLLaMA 用户现有 4×8GB DDR4 3200MHz CL16 内存，在 7900XT（20GB 显存）上以 IQ4 量化运行 Qwen 27B。他以 300€ 购入 2×32GB 二手内存，计划混插达到 80GB RAM，以便用 Q8 量化运行 MoE 模型，并向社区求证该方案是否可行。
GitHub 上架了 KhalilAbboud 开发的 homemadejarvis，一个受 Jarvis 启发的桌面 AI 助手，使用本地 LLM 运行。仓库包含 osiris_chat、src、docs 等目录及 allowed_apps.json 等配置文件，目前处于早期阶段，尚无 star、fork 与发布版本。
GitHub 上的私有移动优先 Web 应用 CVTailor，可分析单个职位发布、基于已验证主档案评估匹配度（HIGH/MEDIUM/LOW/UNRELIABLE），并通过 Truth Lock 事实校验生成 ATS 友好的 PDF 与可编辑 DOCX 简历。平台支持本地 Ollama（qwen3.5:9b）推理，可回退至 Google Gemini（gemini-3.1-flash-lite），并实现 Argon2id 认证、CSRF 防护与 SSRF 防护等安全机制。
dreamingwell 发布 apple-llm-performance 仓库及配套网页，用于查询哪些开放权重模型能在哪款 Apple 芯片上运行、该用哪个引擎和量化档位。页面按 CPU 型号、内存大小和机器数量给出模型能否加载、保真度损失和可容纳的并发上下文数，覆盖 llama.cpp、Ollama、LM Studio、MLX、vLLM 等引擎及 mflux、MLX-Audio 等生成媒体工具。数据由 Claude 基于公开模型卡、引擎源码和 issue 追踪器整理，属二手汇编而非实测，每个数字附来源链接；仓库纯标准库构建，CI 校验每个记录，欢迎带引用的 PR 和真实硬件实测贡献。
推荐理由：这个仓库把模型权重、量化位宽、KV 成本和引擎适配的推导方法全部公开，读者可以照着核对每个数字的来源。
Abiray 发布的 MiniCPM-V-4.7-1B-abliterated-heretic-GGUF 量化模型（Q4_K_M）现可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具加载运行，支持启动 OpenAI 兼容本地服务器或在终端直接推理。文档还给出在 Pi、Hermes Agent、OpenClaw 等 Agent 工具中接入该模型的配置方法。
一位 Reddit 用户用二手硬件组装了双 RTX 3090（24GB）本地 LLM 主机，搭配 Ryzen 9 5950X 与 128GB DDR4 内存，运行 Ubuntu 24.04 和 llama.cpp。第二块 GPU 经 riser 接在 PCIe 3.0 x4，测试 Qwen3.6 35B A3B 的不同 GGUF 量化时发现：能装进单卡的模型加第二卡收益有限，长上下文下 prefill 明显变慢，尚未做受控 benchmark，正在排查 KV cache、内存带宽与 GPU 通信的影响。
作者发布 Llamaforge v0.16，这是一个驱动上游 llama.cpp 的浏览器控制面板，不改动 llama.cpp 本体。加载模型前按本机实测大小显示模型在各 GPU 上的落位，不合适会提示，支持多模型同时运行且主模型占用最快 GPU、worker 模型避开该卡。v0.16 新增 embers 本地 agent，夜间读取指定来源生成 wiki 和晨间简报，每条论断必须逐字引用来源并由代码对照快照校验，不匹配即丢弃；agent 无浏览器和工具，除非开启推送否则数据不出本机。
推荐理由：作者实测了 llama.cpp 面板的多 GPU 显存预估与本地 agent 引用校验机制，读者可了解其部署与防幻觉做法。
sakuranaga 在 GitHub 发布 local-ai-search（LAS），一个完全本地运行、零云端依赖的自托管文件平台，支持拖拽上传、权限控制、版本历史与协作编辑。搜索采用 pg_bigm 全文检索与 pgvector 向量检索并行、经 RRF 融合的混合方案，并用 ReAct 风格 Agent 调用 search/grep/read_document 等工具自主检索与总结文档；PDF 与图片经 Surya OCR v2 自动 OCR，LLM 与 Embedding 通过 llama.cpp 在本地 GPU 运行。
推荐理由：原文完整公开了这套自托管文件平台的架构、技术栈与部署命令，读者可以直接照着复现一套局域网内的本地 AI 搜索文件服务。
MiniBot.rs 是一个 100% 用 Rust 实现的开源（MIT OR Apache-2.0）AI Agent 执行框架，默认接入 MiniMax 供应商（示例配置为 minimax-coding-plan/MiniMax-M2.5）。它以 Trait 驱动实现高度模块化，支持 ARM、x86、RISC-V，目标为运行时内存小于 5MB、冷启动小于 10ms（尚未实测）；内置 Shell 白名单、文件根目录限制等安全默认，提供 agent、gateway、config 等 CLI 命令。
作者发布 xyntetik-runner，可直接在量化 GGUF 权重上冻结基座并训练小型 LoRA 适配器，无需 PyTorch、transformers 或 FP16 母本，训练与推理使用同一份权重。支持训练后合并到 Q8_0 等独立文件，并附 Qwen3-4B Q4_K_M 在工具调用任务上训练前后的 held-out 实测分数；作者提醒 4-bit 训练的适配器合并进权重后可能消失，runner 默认拒绝此类合并。仓库地址：https://github.com/Joakimpalm-Zen/xyntetik-runner
GitHub 仓库 AbrahamPaulJ/nightmare-mobile 发布，一个安卓节点图应用，在 Qualcomm Hexagon NPU 上离线运行文生图、图生图、inpaint、放大、图像编辑与文生视频，无需服务器或账号。
推荐理由：README 详细列出了各芯片档位支持的模型、显存与授权条件，安卓用户可以直接判断自己的手机能跑哪些本地生成流程。
Zundanen 是一款在 Windows 本地运行的芬兰语语音应用，无需联网和订阅即可完成文本转语音（TTS）与 RVC v2 语音转换。支持批量生成、音高/语速/重音等口音编辑，用 5-15 分钟音频样本即可训练自定义声音模型，训练约需 15-30 分钟。软件完全免费，音频数据不出本机，需 Windows 10/11 64 位、8 GB 内存和 2 GB VRAM 的 GPU。
GitHub 上一个演示项目，展示如何用 .NET 构建 MCP 服务器与客户端，与服务器端工具交互，并利用 Ollama 动态生成响应。项目采用 stdio MCP 方式，涉及 C#、Model Context Protocol 和 Mistral 等技术。
一位用户拿到 Mac Mini M6 32GB 后实测了 incoai 的 Splash 与 trymirari 的 Uzu 两种配置，两者速度表现相近。作者最终选择 Splash，因其开箱即支持无审查模型。
一位来自 3D 渲染行业的用户在 2x5090 + 64GB RAM 系统上尝试本地 LLM 生成，三周后仍困于可用性与速度。他用约 210k 上下文运行 Qwen Next GSQ RCO IQ3XXS + MTP，LM Studio 截断稳定但速度多在 30-40t/s，换自定义 llama 与 Unsloth 也仅达 40-100t/s，认为比弱硬件的他人结果偏低，向 r/LocalLLaMA 请教合适的推理引擎与开发环境配置。
作者 /u/web3samy 发布了受操作系统与 JIT 编译器启发的推理引擎 jitllm，可在生成回复过程中把模型层在不同硬件间移动并重新排布。Llama-3.2-3B 在 2×T4 上层迁移耗时 8.1-8.4ms、2×V100 上约 20-21ms，RTX 3050 Ti 笔记本上 CUDA 到 Vulkan 迁移 91ms，均无 token 重算。KV cache 随层分页迁移，prompt 无需重新处理，输出与未迁移运行一致。代码见 https://github.com/jitllm/jitllm
推荐理由：作者给出了各硬件组合下层迁移的耗时与零重算数据，可用于评估这种运行中模型调度思路的落地成本。
GitHub 上的 aiup 是一款仅限 macOS 的 TUI 工具，用于扫描、更新、安装、移除和浏览经过审核的 AI 与开发者工具，清单数据保留在本机。它支持 Homebrew、npm、uv 并行更新，提供供应链检查（npm provenance、npm 11.19 安装脚本管控、Homebrew attestations），并在每次更新后清理下载缓存。可通过 curl 脚本安装，公共 launcher 可离线运行。
evanwtf 发布 local-llm 仓库，通过 Python 脚本和 RESULTS.md 记录本地运行编码 Agent 的最佳模型+引擎+客户端组合，按代码质量、解题能力和速度评判。核心发现是答案是组合而非单一模型，同一权重在一个客户端下最慢、在另一个下最快，因此每条结果都同时标注模型（如 Qwen3.8-Flash-Next UD-Q3_K_XL）、引擎（llama.cpp、Ollama、ds4）和客户端（OpenCode、Claude Code、Codex）三个维度。
推荐理由：原文给出本地编码 Agent 的三维评测方法，同一权重在不同客户端下速度排名会互换，测量时必须同时报告模型、引擎和客户端。
Hanselor 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 套件，打包 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四种 GSQ-RCO 量化权重，并新增一个 480 KB 的拒绝方向文件，由 Strata 在运行时投影去除拒绝行为，权重本身保持原样。单张 RTX 3090 实测显示该向量开启后 10 条提示拒绝从 9-10 降到 0，IQ3_S 的 KL 到 BF16 为 0.0738，IQ2_XS 在 131K 提示下解码约 80 tokens/s；agent 编码任务 5/5 通过。作者提醒移除拒绝会移除安全行为，输出由使用者自行负责。
推荐理由：作者给出了拒绝率、KL 与解码速度的实测数据，可以据此判断运行时去拒绝方向对量化模型的实际改动有多大。
AtomicChat 基于 Liquid AI 的 LFM2.5-24B-A2B 发布去除拒绝行为的去对齐版本，英文拒绝率从 96.3% 降至 1.2%，俄语从 62% 降至 0%。方法为沿单一方向编辑 blocks 14-39 的 52 个矩阵，MMLU 基本不变（64.40%→65.55%），提供 6 个 GGUF 量化版和一个 24 MB LoRA 适配器，可对现有量化权重用 --lora-scaled 加载。
推荐理由：原文给出完整的拒绝率前后对比、MMLU 变化和编辑方法细节，读者可以据此判断这个去对齐版本去掉多少、损伤多少。