新闻、仓库与研究，按时间排列。
OpenBMB 的技术文章介绍 MiniCPM-V 4.7 通过 Lookahead Expert Scheduling（LES）在本地运行 35B-A3B MoE，不改变路由或跳过专家。该方法预测下一层所需专家并提前从闪存预加载权重，配合优化的权重布局、混合精度量化和 DSpark 投机解码，在 iPhone 18 Pro Max 达到 20.51 tok/s，是 3.38 tok/s 基线的 6.07 倍；专家权重缩小 26.7% 且五个基准仅降 0.16 分，低内存配置峰值内存约 3 GB。实现已开源在 llama.cpp-omni。
推荐理由：原文转述了 LES 预加载专家权重、不改路由的思路，并给出 tok/s、体积和内存等实测数字，可作本地跑大 MoE 的参考。
作者发布 Alkove 早期预览，5 个小型模型（共 7.5 MB）在设备端运行于 STT 之前，支持任意文本自定义唤醒词、声纹过滤和仅针对本人语音的 VAD，代码与权重以 Apache-2.0 开放。引擎用 Rust 编写并编译到 WebAssembly、Python 和 Android，手机单线程上 Focus 处理每秒音频需 38.6 ms；AMI 会议测试中他人语音进入转写从约每分钟 17 词降到 0.5 词。当前局限包括仅适合近场麦克风、同时说话分离不完整、音频为 16 kHz。
推荐理由：作者给出了各模型体积、单线程延迟和 AMI 会议实测数据，可据此评估这套语音前端在本地助手里的实际可用性。
GitHub 开源项目 huareyu/local-image-studio 是一个运行在本机的轻量级 AI 图像生成工作台，当前版本 0.8.1，界面为俄语，需 Node.js 20 及以上。它支持 Gemini-compatible、OpenAI-compatible、OpenRouter 和 NovelAI 四种 API，提供多参考图管理、提示词编辑、本地生成历史及带认证的 HTTP/HTTPS 代理，不依赖 SillyTavern。NovelAI 模式内置 140,782 条 Danbooru 标签的本地标签助手，支持 Prompt Chunks 嵌套引用，数据通过 IndexedDB 保存在本机。
Vipera 团队在 GitHub 发布本地 AI 网关 Vipera（PyPI 包名 vipera-ai，MIT 协议），读取 .gguf 模型后提供 OpenAI 兼容的 HTTP 接口，默认监听 http://127.0.0.1:8686/v1。核心特性是硬件感知 planner，根据硬件探测结果生成 gpu_layers、KV cache 类型、n_batch、mlock 和 KQV offload 配置，GPU 加载失败时逐阶段回退到 CPU 安全方案并打印变更；CLI 与 API 共享同一引擎实例，内置 system doctor 诊断、HuggingFace 模型搜索和 bench 吞吐测试。
推荐理由：作者给出 planner 逐层分配 gpu_layers 与 KV cache 类型的具体机制，并在硬件溢出场景下说明了适用边界和基准数据。
Mugil IDE v0.1.20 发布官方独立安装包，Windows、Linux 和 macOS 均可直接下载运行，不再需要 npm 或 Node，npm 发布自该版本起停用。该开源工具是纯浏览器端的双栏 Web IDE，内置 17 个自主工作区工具，通过 Caveman 提示压缩、RTK 日志去重、缓存与 AST 骨架读取等管线宣称可降低 40% 至 70% token 开销，支持 Ollama、LM Studio 本地模型与 OpenRouter、Anthropic、OpenAI 等云端接入。
推荐理由：开源浏览器端编码 Agent，正文列出 token 压缩管线、缓存分层与成本计算的具体实现，方法可迁移到自己的 Agent 工程。
happyyboxx 发布 free-llm-atlas 仓库，用 GitHub Actions 每日 06:00 UTC 自动探测 48 家免费 LLM API 供应商，结构化输出到 providers.json。其中 19 家无需信用卡，仓库还自动生成 Hermes、LiteLLM、Portkey、Open WebUI 的网关 YAML 配置，并给出 Groq 6K TPM、Google AI Studio 2M 上下文等隐藏限制对比表，最后提供一条覆盖约 95% 生产负载的零成本 fallback 链。
推荐理由：原文给出每日自动探测、19 家免信用卡供应商清单和 TPM 并发等隐藏限制表，还比较了各网关配置的适用场景。
GitHub 上的 gannet 是一个 C# 深度研究工具，输入问题后由 planner、searcher、synthesiser、writer 四个智能体组成一个 workflow，完成规划、联网搜索、来源可信度评分并生成每条论断都带引用的报告。它提供 Blazor web UI，模型可选云端 API 或通过 Ollama 本地运行，支持自托管。项目于 10 月 21 日启动，目前仅搭建了 solution、CI 和仓库文件，尚无可运行内容；它是 Tarun Sai Goddu 的 Python 项目 deep-research-agent（基于 LangGraph 和 LangChain）的 C# 重写版，采用 MIT 许可证。
开发者 kruzif-x 发布 LM Switcher v0.9.15b（beta），一款仅支持 macOS Apple Silicon 的菜单栏应用加 CLI 加 MCP，用于发现、加载和卸载本地 GGUF 与多种 MLX 系后端模型，各模型独立端口并行运行。核心功能包括 mmproj 视觉投影文件自动配对、mtp/dflash 文件自动排除与挂载、DFlash 投机解码（默认开启）、聊天模板覆盖以修复 Gemma 4 在 opencode 等 agentic 工具下的多轮调用问题，以及独立的 MCP 服务器让 Hermes 等 agent 按需加载卸载模型（默认关闭）。
推荐理由：作者是开发者本人，给出了各引擎端口、CORS 兼容表和 Muse Glimmer 实测吞吐数据，读者可对照自己的硬件与工作流判断是否适用。
struklabs 开源发布 Harness Studio v0.1.2，一个基于 Tauri、Rust 和 Svelte 5 的桌面应用，管理 llama.cpp 等引擎让用户在本地电脑运行大模型，无需订阅、离线可用。应用提供 Model Hub 搜索 Hugging Face 并校验 SHA-256、OpenAI/Anthropic/Ollama 兼容网关、MCP 双向支持、CLI 与 headless 模式，并内置 P50/P95 请求分析和 Prometheus 指标；Windows 安装包约 21 MB，应用自身占用约 250-350 MB 内存，MIT 许可。
GitHub 上的开源项目 CareerAgentPro，基于 qwen/qwen-2.5-coder-32b-instruct 模型（通过 OpenRouter API）提供 AI 求职功能：简历解析与增强、职位 URL 提取、求职信生成、ATS 优化评分与职位匹配分析，支持导出 PDF/DOCX/LaTeX，并通过 SSE 实现实时流式输出。项目采用 Next.js 16.1.1 前端与 Python 3.12+ 后端，需自备 OpenRouter API Key。
GitHub 开源项目 daedalus-crm 推出本地优先的桌面端 CRM（Mac Apple 芯片 / Windows x64），100% 开源、AGPL-3.0 协议，个人版免费，团队版按席位收费并先免费用 14 天。首页是 ReAct 循环 agent 对话面，改数据只给建议卡、确认后才写入；支持一键接入 DeepSeek 或自填 OpenAI 兼容接口，也可让 Claude Code / Codex 经 MCP 连入，首次登录送 30 次 AI 提问。数据存本机断网可用，团队版改动加密同步，技术栈为 Next.js 16、React 19 与 SQLite。
Perihelion 是一个近地天体自主监控智能体，每日从 NASA NeoWs API 拉取七天天体数据存入 SQLite，用确定性打分模型按距离、尺寸、速度和危险性排序，再将前二十名交给 Gemini 生成简短分析笔记。系统通过 GitHub Actions 每天 06:00 UTC 自动运行并提交更新数据库，无需服务器、零成本，结果以 Streamlit 界面呈现。
veildawn 在 GitHub 开源了 Go 库 ai-protocol，可在 OpenAI Chat Completions、Anthropic Messages、OpenAI Responses、Gemini generateContent 及图像生成 wire 格式之间互转请求、响应与 SSE 流。库仅依赖标准库、无 I/O 与网络，所有映射为纯函数，无法保留的协议事实通过 BodyLosses 和类型化错误显式报告；映射语义基于 LiteLLM v1.100.1 的 MIT 协议映射校验，当前处于 v0.8.x 的 Pre-1.0 阶段。
推荐理由：把 OpenAI、Anthropic、Gemini 等多种 LLM 接口格式的互转抽成无依赖纯函数库，转换丢失的参数会显式报告，适合自建网关的人参考。
GitHub 上的非官方插件 dsh-freetoken v0.3.2 把 chat.deepseek.com 网页版桥接为 DeepSeek Harness 的 deepseek-web provider，已打通登录、文本、工具与图片链路。插件默认关闭（enabled: false），要求 DSH Desktop 0.2.1-rc.2+、Node ^22.18.0 || >=24.11.0 与支持 CDP 的 Edge/Chrome，实测平台为 Windows x64。其驱动 DeepSeek 网页私有接口，可能违反服务条款并导致限速或封号，作者声明与 DeepSeek 无关联，建议仅用非关键账号、风险自担。
zero-agent-core 是一个不绑定外部平台的 Python Agent 运行时内核，当前版本 0.2.1 Alpha，要求 Python 3.13，通过 pip install zero-agent-core 即可安装。它实现了 ReAct Agent Loop、工具调用、MCP、Skill、上下文压缩、持久化恢复、工作流、HITL 和 ACP 协议，支持 OpenAI、Anthropic、Gemini、Ollama 及自定义模型 Provider，并提供多 Agent 编排、向量存储等可选扩展包。项目定位为较轻的可嵌入内核，按 Apache License 2.0 开源，生态和连接器少于 LangChain 等成熟框架，适合需要自定义 Agent Loop、状态恢复和审批流的团队。
arXiv 论文 Specter 提出一种 MoE 推理系统，用量化让轻量 draft 模型在设备上运行，对未来专家使用做多步投机预判，提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x（最高 1.88x）的 TPOT 加速，让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos，论文见 https://arxiv.org/abs/2511.14102。
huihui-ai 发布基于 Qwen/Qwen3.8-27B 的去审查（abliterated）GGUF 版本，通过 abliteration 技术移除模型拒绝回答行为，仅消融部分层（如第 22 至 52 层，0 起始索引），MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式，可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行，支持 -c 262144 上下文；模型安全过滤大幅降低，建议用于研究测试而非生产环境。
开源项目 Zer0gh0st 发布 0.5.8 版本，这是一个用 Rust 重写、运行在终端 TUI 中的 AI 工程智能体，MIT 许可，支持本地 llama-server 或 OpenAI 兼容云端推理，本地模式无需 API key。内置 10 个 provider 与 failover、JSONL 记忆、SQLite+FTS5 知识库、/img 视觉输入、Whisper 语音助手 Zero-chan 及 Telegram 远程控制；工具默认关闭，code_exec 无沙箱，启用前需阅读 SAFETY.md。
Levia-Labs 在 GitHub 发布 Crepidoma，一个以"支柱（pillar）"链接、避免复制漂移的单一来源方案，统一管理 LLM 指令、agents、hooks、gates、configs、Taskfiles 和 ADR。它以 Claude Code 插件形式提供，可通过 `claude plugin install crepidoma@levia-labs` 安装，内置 auditor、security-reviewer 等 15 个 agents、多个 skills 与任务命名空间，代码与文档采用 MIT 许可。
GitHub 仓库 DataFinFreak/ai-engineering-buildcamp-codespaces 收录 AI Bootcamp「从 RAG 到 Agents」课程作业及作者自研项目。项目包括基于四份印度央行（RBI）金融稳定报告（732 页）构建的 RAG 管线，分析了关键词检索失败、结构化输出及小型评测集导致其错误回答年份的原因。仓库还按模块整理课程 notebook 及学习资源清单。
云碩科技（xCloudinfo）发布插件式 AI agent harness xHarness 1.0，MIT 授权，代码约 13,800 行 Python、零执行期相依，411 个测试约 33 秒跑完。支持任何 OpenAI 相容端点（llama.cpp、vLLM、Ollama、LiteLLM 等），提供沙箱隔离、审批策略、MCP client、跨 session 记忆层、eval 子系统、子代理与多节点舰队视图，除设定的模型端点外不对外传送任何数据。
推荐理由：作者给出约 13,800 行代码、零执行期相依和 411 个测试等具体数字，读者可据此评估这个治理优先 agent harness 的实际规模。
GitHub 上的 OpenGPT 是一个用 LangGraph 和 RAG 构建的 AI 聊天机器人，采用 FastAPI 后端与 React 前端，模型通过 CanopyWave API 调用 OpenAI GPT。它支持多线程对话、PDF 上传问答（FAISS 向量检索）、MySQL 持久化存储与会话级临时聊天，并集成 Brave 搜索、OpenWeather 天气、Alpha Vantage 股价查询和计算器工具。
GitHub 开源项目 AI Finance Copilot 让马来西亚中小企业用自然语言查询财务数据，并获取带引用的 LHDN 电子发票规则解答。它结合 text-to-SQL 智能体、基于 pgvector 的 RAG 管道（348 个官方指南文本块、Gemini 1,536 维嵌入）和 PDF 发票结构化提取（10 张合成发票 100% 字段准确率），使用 Groq 上的 gpt-oss-120b 模型，并通过 PostgreSQL RLS 和只读角色实现数据隔离。项目基于 FastAPI、LangChain、Supabase 和 Streamlit 构建，已提供 Live Demo。
ThousandML 发布开源微调平台 Training Factory，用 QLoRA 对 4-bit 量化模型做微调以降低 GPU 成本。其采用的 CQ（Coded Quantization）是无校准量化，效果与主流量化相当，已提供 Qwen3.8-27B-CQ-4bit、Llama-3.1-8B-Instruct-CQ-4bit、Llama-3.3-70B-Instruct-CQ-4bit 等底座，并支持用 vLLM 加载 LoRA adapter 部署。
DeepSeek 在 PyTorch Conf 期间开源 DeepInfer，即支撑 V4.1 Flash 的生产推理栈。该框架基于 vLLM 定制，支持 NVIDIA SM100 与华为昇腾 950，并配套发布 deepseek-recipe。
推荐理由：DeepSeek 放出生产级推理栈本身罕见，单集群吞吐与推理毛利数字可作推理成本侧的参照。
/u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel，代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上，加载 35 MB 的 LoRA（如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora）原本使 PP 从约 1500 降到 300 t/s，通用 kernel 提升到 1000 t/s，fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡，且无需重新下载整个模型。
推荐理由：作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据，并开放了可复用的 kernel 代码。
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
OpenExpert 是一个 MIT 协议开源的 AI 运营仪表盘，完全在本地运行，数据存于单个 SQLite 文件，无需云端、账号或数据库服务器。它提供严格数据隔离的 Experts、可调用工具的聊天、需人工审批的 AI 操作及完整审计回溯，支持 Ollama（默认）、Google Gemini、Claude 或任意 OpenAI 兼容端点，并可集成 Google Drive、本地文件夹和 Notion。
x-cmd 安装索引新增 llm 包，可在命令行访问大语言模型。该项目以 Python 为主，共 73 个文件、35,556 行代码，采用 Apache-2.0 许可证，最新版本 0.36 于 2026-09-22 发布，GitHub 上有 12,648 stars 和 81 位贡献者。
pham-canh 发布 opencode-harness-kit，一套面向 OpenCode 的 harness 套件，通过 profile 把模型相关配置编译进 opencode.jsonc，源码中不含任何模型名，切换模型只需改数据。默认 fleet-safe profile 用 10 个 lane 分配 10 个免费模型处理不同任务，附 2026-10-21 实测的各 lane 中位延迟表；隐私分 zero-retention、retained、may-train 三级，retention.yml 人工维护。套件含 guard、prune、router、telemetry 四个插件模块，verify 命令校验安装完整性，doctor 检测免费模型下架导致的漂移。
同一新闻，精选展示《opencode-harness-kit 发布：为 OpenCode 构建模型无关的十车道编码 harness》
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
baiibayu 在 GitHub 发布开源工具 SRouter，一个本地运行的 AI 网关与智能路由器，把 Claude Code、Cursor、Windsurf、Cline 等编码工具统一接到一个 OpenAI 兼容端点（http://localhost:20268/v1），聚合约 60 家供应商和 1200+ 模型。核心机制包括订阅、付费与免密钥免费三层自动回退（上游 429/5xx 时冷却并切换下一模型）、可节省 20–40% token 的提示词压缩管线、每日两次经 Ed25519 签名同步的模型目录、AES-256-GCM 本地加密密钥库，以及原生支持 Anthropic Messages、Gemini、Ollama 和 Codex /v1/responses 协议。
推荐理由：原文给出了三层回退、token 压缩比例和本地加密等具体机制，可据此评估这个本地网关是否值得接入自己的编码工具链。
开源项目曼波棋社（Mambo Chess Club）把五子棋、围棋、中国象棋、国际象棋装进同一个浏览器界面，内置五档难度的本地战术引擎，无需注册、无需联网即可对弈。可选接入 DeepSeek、通义千问、Kimi、Ollama 等 OpenAI 兼容 API，模型着法须经本地规则引擎校验才落盘；源代码采用 MIT 许可证，素材不在覆盖范围内。
KOIYAL 在 GitHub 发布 local-transcriber，支持 Windows 和 macOS 本地转录音视频文件并生成带时间戳文本与本地 LLM 摘要，全程不联网。转录用 faster-whisper，摘要优先用 Apple Intelligence，其他环境回退到 llama-cpp-python 加载 GGUF 模型；支持 TXT、SRT、VTT、JSON 导出，采用 GNU AGPL-3.0 许可证。
Vanisherzd/BlackOps 仓库公开了一个在 DGX Spark（GB10）上完全本地运行的 IT 运维 Agent，目标部署于 Jetson AGX Thor，断网也能自主诊断修复。2026-10-20 起推理引擎从 TensorRT-LLM 改为 vLLM，跑 Nemotron-3.5-Bolt-74B-A9B；NemoClaw 路径 5 张舞台卡各跑 3 次 15/15 自主修复，repo 内 host 循环 9 案 26/27。仓库包含 NeMo Guardrails 安全 rail、审核代理、错误注入案例 28 个、离线知识库（1,644 历史案例）与详细踩坑清单，legacy 路线为 TRT-LLM + Nemotron-3-Nano 与 vLLM 0.29 + Qwen3.6-35B。
推荐理由：仓库给出完整的本地部署架构、错误注入 drill 数据和踩坑清单，读者可以照着在 DGX Spark 或 Jetson 上复现离线自修复运维智能体。
一位非程序员用前沿模型搭建基础设施，让 3 个本地智能体（2 台 Strix Halo 跑 GPT-OSS 120B Q4、1 台 RTX 5090 跑 Gemma 31B Q4）持续处理 NAS 上数十万册书籍、报告、照片与艺术图像，提取引文、趣闻和作品关联，并全天候待命回答关于藏书库的问题。整套系统成本未超 20 美元订阅的前沿 token 额度，且无广告与算法推荐。
研究者提出 Adaptive Multi-Token Prediction（AMTP），将多 token 预测的视野选择建模为在线控制问题，通过验证反馈动态选择最优推测长度，无需重训练且不改动验证器。在基于 Llama-3.1-8B-Instruct 与 Medusa heads、Meta MTP 模型、Qwen3-4B-Inst-2507-MTP 的五组组合上，经 AIME 2025 和 GSM8K 评测，AMTP 解码最高加速 4.1x，在 10 个设置中的 8 个持平或超越固定窗口，吞吐最高提升 10%。
研究者发布 Africa-Papers，这是迄今最大的多领域泛非学术预训练语料库，包含 844,807 篇全文论文、共 10.15 billion tokens，分 879 个 Parquet 分片，涵盖 DOAJ 非洲期刊、CGIAR CGSpace 农业库、arXiv 非洲作者预印本及 OpenAlex 开放获取论文四大学科来源。语料以保留章节结构、公式和表格的干净 Markdown 格式发布，配有精确 BPE token 计数和 8 域分类体系，已在 Hugging Face Hub 的 AfriSpeech 组织下开源，用于支持非洲基础模型的持续预训练与领域评测。
arXiv 论文提出通过40个日常问题（如“说出一种声音”“说出一位诗人”）的单字答案为语言模型建模指纹，在94个模型的面板上识别出确切模型的准确率为92.5%，随机仅为1.1%；系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点，其中92个与其声称的模型一致，一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4（自报身份且计费按 Gemma 4 的 token 数）；计费记录还显示第一方模型被附加了额外上下文，如 Grok 4.7 对一行问题计费1,247个输入 token，而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分，代码与数据已公开。
推荐理由：这篇论文展示了用40个单词答案就能指纹识别API背后的模型，还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文，方法成本极低可复现。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，仓库位于 github.com/vllm-project/humming。该项目定位为通用高性能量化推理内核库，以开源方式提供。