新闻、仓库与研究，按时间排列。
Helminiak 发布的 LLM-Setup 仓库旨在把本地大语言模型部署从零散命令整理为可复现、可回滚的工程化配置。内容涵盖 llama.cpp、LM Studio、vLLM 等运行时的启动配置、OpenAI 兼容本地 API、GPU/CPU offload、KV-cache 与上下文窗口实验、基准测试脚本及 speech-to-text 与 RAG 文档。基准测试须记录模型与量化版本、GPU 层数、tokens/second 等信息以区分性能变化与配置漂移。
luc-pimentel 开源 infra-docs-rag，对 Kubernetes、Prometheus 和 Argo CD 公开文档构建问答服务，答案引用文档、页码与章节，文档未覆盖时直接回答不覆盖而非猜测。流水线包含文档摄取与去重、四种切块策略在 128/256/512 token 下的对比、bge 系列嵌入与余弦索引、BM25 混合检索与 reciprocal rank/加权融合、bge-base 与 minilm 交叉编码器重排，以及基于 claude-opus-5-5 的生成，支持官方 SDK citations 或通过 Claude Code 的 claude -p 并逐句校验引用。
推荐理由：原文完整公开了文档问答 RAG 流水线从切分、检索、重排到评测门禁的实现细节与报告，方法可直接迁移到自建语料。
GitHub 仓库 Lzh-Function/LLM-app 提供在 WSL2 + Dev Container 环境下运行本地 LLM 的一套工作环境，集成聊天、图片提问、网页检索、语音对话、语音作品制作与本地 Codex。环境基于 RTX 5070（VRAM 12GB）、64GB RAM 实测构建，支持 Qwen3.5-9B、Gemma 4、Bonsai 2、Qwen3.8 Flash Next 共 4 个模型，其中 Flash Next 上下文默认 128K，Codex 分别为 Qwen3.5-9B 提供 131,072 token、Bonsai 2 提供 98,304 token。
GitHub 上的 instant-english 项目是一个专注日常会话的即时英作文 Web 应用，用户看日语句子后在限时内用英语作答，由本地 LLM（Ollama）反馈语法、自然度与更自然的表达。项目强调零成本与全程本地运行，前端采用 React + Vite + TypeScript，后端为 Node.js + Express，目前完成 Phase 4/13，API 与页面雏形已能启动，应用尚未可用。
Xocket Labs 发布 Bupsy，一款让 Claude Code 或 Codex 以你自己账号在本机或租用云机上运行的 Mac 智能体应用，现处早期测试阶段，需 macOS 14+。机器人可互相协作、执行定时任务和长期目标，支持 MCP 连接与四级信任设置。应用为原生 Swift 开发，无自建后端，凭据不经过应用，源码采用 PolyForm Shield License 1.0.0。
Reddit r/LocalLLaMA 用户在编码、数据分析与本地 RAG 等任务上对比了 Qwen3.8-27B 与前沿模型，测试集从 500+ 题精简而来，只保留能区分模型的题目。结果显示 or-qwen-qwen3.8-27b 以 bf16 原始精度运行，or-qwen-qwen3.8-flash-next 未披露量化且最常被截断（单次测试最大 16,384 token，提高到 32k 后仍有过思被截断），iq3 GSQ-RCO 表现不差，mradermacher 的微调版持续出色。作者结论：本地模型的输出仍需 Claude 或 GPT 复核。
MiniCPM-V 4.7 系列发布 1B 版本，官方称在 Instruct 模式下基础能力较 MiniCPM-V 4.6 提升，整体得分和推理效率均优于 Qwen3.5 0.8B。该模型基于 LLaVA-UHD v4 的 intra-ViT 早期压缩技术，支持 4x/16x 混合视觉 token 压缩，支持 iOS、Android、HarmonyOS，提供 Rockchip、后摩、Intel、AMD、Arm 等芯片 day-0 支持，兼容 SGLang、vLLM、llama.cpp、Ollama，提供 GGUF、BNB、AWQ、GPTQ 量化及 FP8 支持，并发布 Self-Replay Fine-Tuning 微调方法。
openbmb 在 Hugging Face 上线 MiniCPM-V 4.7 35B-A3B，帖子称其在 iPad Pro M4（16GB）上跑 17+ tok/s、iPhone 17 Pro Max 上 13+ tok/s、内存占用约 3GB。新引入的 LES（Lookahead Expert Scheduling）通过预测并预加载 MoE 专家减少推理停顿，宣称在输出一致的前提下最高提速 5 倍。其他要点包括 34 项多模态基准、OCRBench 90.4 分配合 16 倍视觉压缩、新的 1B 轻量 VLM、Self-Replay Fine-Tuning 低成本定制，以及支持 Apple、Intel、AMD、Arm、Rockchip 平台。
面壁智能发布 MiniCPM-V 4.7 系列最新模型，其中 35B-A3B 是该系列首个 MoE 模型，官方称其为首个可在端侧无损流畅运行的开源 MoE 模型，在 iPhone 17 Pro Max 上解码速度达 13+ tokens/s。模型基于 LLaVA-UHD v4 的 intra-ViT 早期压缩技术减少视觉 token 计算，支持混合 4x/16x 视觉 token 压缩，覆盖 iOS、Android 与 HarmonyOS，并对 Rockchip、后摩、Intel、AMD、Arm 芯片平台提供 day-0 支持；官方称 Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：原文列出了 LES 调度、视觉 token 压缩和各平台量化支持，可了解这款端侧多模态 MoE 的部署路径。
一位 Reddit r/LocalLLaMA 用户想低成本运行 Qwen3 27B，因 24GB/32GB 显卡太贵，考虑购买 2 张约 100 美元的 V100 SXM2 16GB，并询问该价格是否仍有效。其预算 300 欧元（含运费和增值税），还需 3D 打印散热和 SXM2 转 PCIe 转接卡，担心从德国退换货成本高。
JakeATX 发布面向 RTX 3090 / 3090 Ti（SM86）的 llama.cpp 分支 llamAmpere v0.5.4，运行带 MTP draft head 的 Qwen3.8-27B。v0.5 新增压缩 KV 缓存 SJ-KVaRN（4/4、3/3t、3/2t 配置），4/4 下比 v0.4 的 tq5_0/turbo4 缓存 KL 低 41%、缓存显存多 2%，262,144 token 上下文在 24 GB 单卡 4/4 配置下峰值 21,924 MiB；100K 深度任务基准上 tq5_0/turbo4 较 v0.4 提速 +8.41% ± 5.76%，SJ-KVaRN 4/4 为 +6.77% ± 2.68%。
推荐理由：原文给出了SJ-KVaRN压缩KV缓存的KL对比、显存占用和多种配置的实测tokens/s数据，读者可据此评估在单张RTX 3090上跑27B模型长上下文的可行性。
一个模块化开源 RAG 项目，用 FAISS、all-MiniLM-L6-v2 嵌入与 Ollama 本地运行的 llama3.1 模型实现对 PDF 文档的语义检索问答，并提供 Streamlit 界面。在 297 页、1189 个 chunk 的索引上，平均检索延迟 64.2 ms，端到端延迟 5.91 s，基于 24 个手工标注问题测得 Recall@5 为 70.8%，作为后续引入 reranking 的基线。
一个在 TCS Technology Day 黑客松（M.S. Sheshgiri 工程技术学院，Belagavi）获奖的多智能体零售客服聊天机器人，采用 4-agent 流水线：预处理、PII 掩码（fail-closed，AES/Fernet 加密存储）、双层情感分析（Cardiff RoBERTa 三分类 + Hartmann DistilRoBERTa 七分类，Tier 2 仅在置信度低于 0.70 时触发 LLM 复核）和情感自适应回复。系统用 Ollama 的 llama3.2:3b 100% 本地运行，检索基于 SQLite FTS5（低于 2ms），无需云端 API 密钥。
一位用户在 r/LocalLLaMA 询问是否有人在经过远程证明的机密 GPU 上实际部署过私有 AI 推理，希望在远程 NVIDIA GPU 上按需运行 Kandinsky 6.0 Pro 等开源权重视频模型，并验证机密计算模式、工作负载证明和端到端加密。其对比了三个选项：Chutes 的 RTX PRO 6000 96GB（$1.80/小时，支持 TEE 证据端点与 E2EE）、VoltageGPU 的 Confidential VM（$3.80/小时，Intel TDX 与 NVIDIA 证明）、以及 Google Cloud 的 H100 Spot 加 dstack 或 Confidential Space。
Cyber AI TUI 是一个基于 Python 和 Rich 构建的全屏终端界面与进程管理工具，用于本地和分布式 LLM 推理编排。它通过 llama.cpp 的 ggml-rpc-server 在 RTX 3050 主机节点与 RTX 5050 远程节点间协调算力，支持双节点遥测、预设一键切换、KV cache 量化（q4_0、q8_0、f16）、最高 128k 上下文窗口及一键远程同步等功能。
GitHub 开源项目 Nexus-LLM 是一个生产级终端 LLM 框架，自带后端，无需云端 API，支持 GPT-2、GPT-Neo、LLaMA、Phi、Qwen 等 39+ 模型，提供类 Claude 的流式终端聊天界面。它统一了从加载、推理、LoRA/QLoRA 微调、RAG、Agent 到部署的全流程，内置 FAISS 向量检索、5 种 Agent 类型、FastAPI 的 REST 与 WebSocket API，以及 4-bit/8-bit 量化和 DDP/FSDP 分布式训练。
Rxyxs 发布 slm-industrial-gateway 仓库，提供 OpenAI 兼容聊天网关与工厂网关，前者本地 GGUF 推理加多 Agent 流水线，后者将 MQTT / OPC UA / Modbus 遥测在 3 秒内转为 HOLD、ADJUST_SETPOINT 或 RAISE_ALARM 动作，支持断路器、fail-safe 和防篡改审计。实测显示 1.5B 基础模型 94/100 提示词因幻觉工具参数名被拦，qwen2.5:1.5b 100% 小时给出前提与数据矛盾的理由；用判别联合 schema 后 qwen2.5 各尺寸合同合规率 100%。附 Qwen2.5-3B Q4_K_M 在 CPU 上的 TTFT 8504ms、3.2 tok/s 等基准数据。
proofofvitalik 于 2026-10-12 发布 Sovereign v2，将 ARA 27B uncensored 模型以 affine 4-bit（group size 64）打包为标准 qwen3_5 MLX 架构，无需 trust_remote_code，文本权重未合并、重训或重量化，并从同一 ARA 源恢复 BF16 视觉与原生 MTP。该版本使用独立仓库和 v2.0.0 标签，不替换旧版；声明架构上下文为 262,144，已在 mlx-vlm 0.7.6、mlx-lm 0.32.0、M4 Max/48GB 环境验证，LM Studio 与 Splash 1.3.1 均可加载。
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本，这是一个 120B 总参数、12B 激活参数的视觉语言模型，采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器，支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成，模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果，并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置，许可证为 OpenMDW-1.1，可商用。
推荐理由：模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置，读者可以据此评估量化损失与所需显存门槛。
一位 LocalLLaMA 用户在 llama.cpp 上运行 Ornith-1.5-9B（GGUF）时发现，启用 draft-mtp 的投机解码后只有约 15 tok/s TG 和 200 tok/s PP，而不开 MTP 时速度翻倍。尽管草稿接受率达 0.95、平均长度 2.27，开启 MTP 后显存带宽和 GPU 利用率却降了一半，原因尚待解答。
Tether 在 GitHub 发布 QVAC，一套本地优先 AI 开发工具，支持在 Linux、macOS、Windows、Android 和 iOS 上运行 LLM、语音、视觉和图像/视频生成等负载。提供 JavaScript/TypeScript 与 Python SDK，内置 HTTP 服务器以 OpenAI 兼容 API 供 OpenCode、OpenClaw 等工具调用，快速示例使用 LLAMA_3_2_1B_INST_Q4_0 模型；能力表覆盖 RAG、LoRA 微调、Whisper 转写、TTS、OCR、VLA 等，并支持 P2P 模型分发和 NAT 穿透中继。
推荐理由：Tether 官方仓库文档，覆盖 JS/TS 与 Python SDK 和 OpenAI 兼容本地服务的完整接入方式，适合评估本地优先 AI 应用方案。
GitHub 新仓库 GrowthSignal 是一个面向产品管理与增长问题的全栈 AI 助手原型，采用 React 前端加 FastAPI 后端，通过 Ollama 本地运行 Qwen 2.5 3B 模型生成回答。项目目前为 MVP，转录摄取、检索与来源引用、PostgreSQL 会话持久化、Claude Agent SDK 集成及自动化测试等尚未实现。
开源分析器 Graphsignal 推出 `graphsignal-top`，可在终端实时监控推理 GPU：显示各 GPU 利用率、显存、功耗、节流，运行/等待请求数、tok/s 和 TTFT/TPOT p50/p95，并将最近 5 s 的 CUDA kernel 按耗时排名、给出可读名称与分类，支持 vLLM、SGLang 等。示例中 Qwen3-32B 以 tp 2 跑在 2x RTX PRO 6000 上，NCCL all-reduce 占四分之一 GPU 时间，一半墙上时间在主机同步等待。支持远程监控与 `--once` 单帧输出。
作者发布推理引擎 Gewell v0.2，新增 Gemma 4 26A4 支持，prefill 比 vLLM 全面快 10-74%，上下文越长优势越大；还提到上下文仅需 0.625x 显存。同版将全精度 EmbeddingGemma 2 的文本+图像总占用（含 8k 上下文）压到 1.13 GiB 显存和 0.93 GB 主机内存，图像嵌入与 sentence-transformers 参考实现的 cosine 达 0.99970（均值），优于 llama.cpp 和 vLLM。31B 模型也获小幅改进：极短上下文大批量 mtp-on 场景 tg 提升 20-24%，多数 kernel 达理论峰值 80-85%。
推荐理由：作者给出了与 llama.cpp、vLLM 的逐项 cosine 对比和 prefill 吞吐数字，可以据此评估这个推理引擎的实际表现。
daVinci-LLM 是一个可在 Windows 上运行的开源大语言模型研究项目，打包了预训练模型文件、训练数据、研究笔记与结果、配置文件，展示小模型经精细训练也能取得较好效果。项目要求 Windows 10/11、至少 8 GB 内存和 20 GB 磁盘空间（推荐 16 GB 内存和 NVIDIA/AMD GPU），采用 Apache 2.0 许可证。
1ay1 在 GitHub 发布 agentty，一个用 C++26 编写的开源终端编码 Agent（MIT 许可），定位为 Claude Code 替代品，单个静态二进制 16.7 MB、冷启动约 3 ms，无 Node/Python 运行时依赖。内置混合 BM25 + 稠密嵌入 + GraphRAG 的本地检索引擎，按需取相关代码片段，相比整仓注入可削减 80% 以上上下文；支持 Claude Pro/Max 登录及 OpenAI、Groq、OpenRouter、DeepSeek、xAI、Gemini、Ollama 等多种提供商，可用 ^P 实时切换，Shell 命令默认在 OS 级沙箱中运行，支持 SSH 空气隔离模式、Zed ACP 集成与 Linux/macOS/Windows/Termux 安装。
推荐理由：README给出具体体积、冷启动和RAG架构细节，还能对照Claude Code等工具看出取舍思路。
local-llm-eval 是一款无需编程即可在 Windows 电脑上运行的本地评测工具，用于测试 Qwen2.5（GGUF 格式）模型回答印尼语问题的准确率及从文档中抽取结构化信息的能力。工具采用 Wilson 置信区间和 McNemar 检验等统计方法保证结果可信，示例报告显示问答准确率 78.5%、文档抽取成功率 92.0%，支持自定义测试题数量与模型版本，并兼容 Google Colab 在线运行。
liushikuan63 在 GitHub 发布 Rust/Tauri 本地 LLM 网关 llm-gateway 0.2.1，将 DeepSeek、GLM、Kimi、通义、OpenRouter、Gemini 及本地 Ollama/vLLM 等端点聚合为一个网址加一个 Key。核心功能包括流式首字节前自动降级、上下文落 SQLite 支持重启与降级后续接、按模型分档与 UTC 峰谷价计费、多模态能力硬约束路由，以及接入内置 Mihomo 内核的 VPN 代理。项目自有代码采用 MIT 许可证，Windows 安装包与完整文档见 https://github.com/liushikuan63/llm-gateway。
作者 navthings 发布 airgpt 仓库，一条命令在 Apple Silicon Mac 上完成下载TinyStories/Cosmopedia数据、训练 byte-level BPE tokenizer、预训练 llama 风格小模型并教它聊天，只用 MLX，无需 CUDA 或云端。作者在 MacBook Air（M5, 16GB）上用 hour preset 训练 8M 参数模型 1 小时、55M tokens，val loss 从 2 分钟的 4.09 降到 46 分钟的 2.27，全程热状态保持 nominal，速度约 20k tokens/s，训练后能写出句子并回答提问但会编造事实。
推荐理由：作者公开了在无风扇 MacBook Air 上从零训练小模型的全流程与实测数据，val loss 下降和对话样例都可对照复现。
GoBlingChair 是一款 Windows 离线游戏汉化工具，用本地 Ollama 模型把游戏文件夹变成可玩的简中版，不联网、不上传、免 API key，支持 RPG Maker、KiriKiri、Ren'Py、Unity、Double Fine 系和通用明文共六类引擎，最新更新至 v2.6.9。v2.6.7 修复 Addressables catalog 解析器只读出一半记录导致的 CRC 校验失配，《Irmão do Jorel》212 条记录全部解析、CRC Mismatch 从 1 条降到 0 条；v2.6.9 修掉 Addressables 分组子目录漏扫和 I2 Localization 语言表静默漏翻，实测该游戏 6,274 条正文、97,924 个语言槽。
推荐理由：原文给出从解包、翻译到回填和CRC修复的完整管线细节与真实游戏实测数据，可了解本地模型汉化工具的落地做法。
独立研究者因预算限制把原计划用 64 张 H100 的 21B MoE（总参数 20.99B、激活 3.36B）预训练改在单张 GH200（$2.29/小时）上完成，并整理成论文。Benchmark MFU 从 21.1% 提至 50.7%（13 个测量点），真实数据训练 MFU 为 48.9–49.1%（10.9B tokens），附代码、基准记录与训练日志（https://github.com/DW-dev-UE/LLM-from-scratch/tree/main/apex3），论文见 https://zenodo.org/records/23316135。
开发者 /u/Scutoidzz 发布了面向 Windows 的 Spotlight 式搜索工具 LSearch，内置 embeddinggemma 2（270M）embedding 模型，以及由两个 Qwen 3.5 4B 模型（分别微调用于编码和 agentic 工作）合并成的 MoE，仅用于修复代码。应用无图像支持，由 Opus 5.5 编写，模型、源码和 exe 均已公开，16GB 及以上内存可自动下载模型。
开源项目 Vanguard_os 用 Rust（eframe/egui 0.28）实现了一个赛博朋克风伪 OS 桌面环境，内置由本地 Ollama 模型驱动的 AI 终端，支持斜杠命令、SSE 流式输出，并能生成、编译（rustc -O）和运行代码。项目完全离线运行，无需 API key 或云端；要求 GPU 具备 ≥8GB VRAM，实测模型超出显存后生成速度从约 136 tokens/s 降至约 6 tokens/s，关闭 reasoning 可在长提示词下提速约 27×。
darrenoakey 在 GitHub 发布 Arbiter，一个个人 GPU 工作站任务管理器，开箱支持去背景、图像描述与问答、目标检测、语音转写、多种 TTS、说话人头像和图生视频等任务。用户提交任务后由服务自动加载模型并返回结果，支持批量轮询（每次最多 1000 个任务 ID）、最短任务优先调度、参考文件复用和队列断电保留；静态图像生成默认关闭，图像生成需走 Mac mini Codex 图像服务，唯一例外是基于参考图的 FLUX.2-klein 编辑器。许可证为 CC BY-NC 4.0，非商业使用免费。
推荐理由：仓库自带完整的任务类型清单、Python 调用示例和调度细节，读者可以直接照着部署这套本地 GPU 多模态工作流。
一位 Reddit 用户在 r/LocalLLaMA 询问：想用本地小模型解析并索引个人日记中的人名与关键词，以便日后检索提问，希望模型不易幻觉，并问是否有类似"Google Notebook"用途的专用模型。该帖寻求模型推荐，未涉及具体版本或评测数据。
开源工具 relay 可在本机将面向 OpenAI 或 Anthropic 格式的请求转发到 Gemini、Ollama 等所选模型服务商。它以单个 .exe 文件运行于 Windows 10/11（需 4 GB 内存、100 MB 磁盘空间），采用零遥测设计，不记录提示词和凭据，默认本地地址为 8080 端口，可通过 config.yaml 自定义路由规则，连接 Ollama 时可完全离线使用。
awesome-ai-history-cli-2026 是一款在本地管理用户与 AI 模型对话记录的 Windows 工具，要求 Windows 10/11 和至少 4GB 内存，通过 .exe 安装后在命令行界面运行。它自动记录提示词与模型回复并支持搜索，可自定义本地存储位置、设置 token 花费预算上限，超限后停止发送请求；还提供 policy filtering 功能，在写入磁盘前剔除敏感信息。
GitHub 上的开源项目 ai-assistant-platform 提供了一个管理 AI 任务的完整环境，可连接 OpenAI、Anthropic 和 Google 的服务处理本地文件与工作流。平台支持接入 GPT、Claude 等模型进行问答、文档摘要、语音指令、图像识别和任务自动化，需 Windows 10 及以上 64 位系统、最低 8 GB 内存和 2 GB 磁盘空间；软件免费下载，也可开启 Local Mode 用本地硬件运行基础功能。
GitHub 上的 llama_ros 仓库提供一组 ROS 2 软件包，将 llama.cpp 集成进 ROS 2，可运行基于 GGUF 的 LLM、VLM、音频语言、嵌入与重排序模型。它支持 OpenAI 兼容的 chat completions 接口（含 tool calling、推理与流式输出）、speculative decoding、GBNF 语法及实时修改 LoRA，覆盖 Humble 至 Lyrical 等 ROS 2 发行版，并提供 chatbot_ros、explainable_ros 等相关项目与 LangChain 集成演示。
Echo-Note 在 GitHub 发布 dsh-llm-bailian-native 插件，为阿里云百炼 / DashScope 提供原生协议模型提供商适配器，推理只走原生 HTTP 接口，不使用 /compatible-mode/v1。插件支持 SSE 流式、function calling、thinking 推理与自动按模型类别选择生成路径。真机实测 qwen3.8-flash 约 1.2k token 前缀命中 83% 缓存后单次请求便宜 66.4%；账单接口于 2026-10-12 用真实 AccessKey 跑通。