新闻、仓库与研究，按时间排列。
开源本地 AI 平台 Vortelio 发布，用单个 Go 二进制在本机运行 LLM、Stable Diffusion/FLUX.1 图像生成、Whisper large-v3 语音转写、Kokoro TTS、WAN 2.1 视频生成、TripoSR 3D 生成，并通过 CrewAI 编排多智能体工作流，无需云端、API 密钥或订阅。平台提供 OpenAI 和 Ollama 兼容 API，可无缝替换现有 SDK 代码，还内置类似 Claude Code 的终端编程智能体 vortelio code。
开源项目 Observer 的开发者发布视频称，即便 AI 泡沫破裂，本地模型的发展也不受影响，属于"泡沫免疫"。视频在 Reddit r/LocalLLaMA 发布，该频道将更新更多本地 AI 相关内容。
chedim 在 GitHub 发布 babyseat v0.7.0，一个本地运行的 AI 座席，内置 membrane 记忆系统，可在 Ollama 之前以实时代理方式从每条消息中学习，仅依赖嵌入模型，无需 LLM 摘要或打标签，内含名为 Blurp 的小型自我。记忆以实体场形式呈现，通过 surprise 机制做非负最小二乘拟合增量学习，无需手工整理 schema 或知识图谱；支持独立运行、Docker 和 Home Assistant 集成三种方式，多座席各持本地场、按需发布实体而不互相覆盖。
doc-haus 是一个基于 OpenCode 构建的本地法律文档工作区，可将文档上传至 matters、进行有来源依据的问答，并生成供律师审阅的草稿与红线修改。启动脚本检查 Bun 1.4.0+ 及 Deno 2、Python 3.10+、markitdown、Poppler、Tesseract、LibreOffice Writer 等工具，支持本地自托管与 docker compose 部署，新装无需凭据即可启动。
virtUOS 与奥斯纳布吕克大学发布开源工具 Keyosk（MIT 协议），为本地 AI 提供自助密钥管理：用户通过 OIDC 登录后可生成、续期和删除 LiteLLM API 密钥。管理员可定义含模型权限、预算和 TPM/RPM 限流的使用配置并分配给用户，支持到期前仪表盘与邮件提醒、用量报表及配置变更后台同步。技术栈为 Go、bun ORM 与 SQLite 单文件存储。
GitHub 上的独立社区研究项目 Maxxxel/v100-volta-ai-optimization-lab，在单张 NVIDIA Tesla V100-SXM2（16 GB HBM2）上研究推理性能、agent 可靠性与能效。项目基于 CUDA 12.8 与 llama.cpp/GGUF，累计覆盖 130 个模型挑战者、32 种附加技术、108 个合格因子范围，证据快照为 Matrix revision 237。项目与 NVIDIA、Ollama 等无隶属关系，研究仍在进行，未得出通用最优模型结论。
GitHub 开源项目 journald-summary（logfilter.py）将多台 Linux 服务器的 systemd journal 日志去重压缩为每台主机的简短报告，全程不调用 LLM：相似消息归并为带计数、时间范围和示例的模式，目标是便于发现单元失败、崩溃、磁盘与内存等软硬件问题。它要求 Python 3.10+、journalctl 和 root 权限，远程主机通过 systemd-journal-remote 汇聚日志；第二阶段 analyze.py 可将报告交给本地 Ollama 模型分析。
Metrum AI Router 是一个面向 Agent 工作负载的模型路由器，按用户定义的模型组合约选择满足质量要求的最便宜目标，证据通过 max_eval_age_days 过期，Learned Routing Policy 在不确定性高时弃权。案例中 Codex on big-coder 在一次确定性任务里消耗了 48,470 Harbor input tokens。示例配置为 Fireworks deepseek-v4p1-flash-1017 与 OpenAI gpt-6-luna 按 70/30 加权，支持 Linux binary、Docker Compose 和 Kubernetes 部署。
开源 Python 框架 chatflow-agent 可让开发者在几秒内构建用于 WhatsApp、Telegram 和 Webhooks 的自主多智能体系统。核心仅依赖 google-genai、pydantic、httpx 三个运行时依赖，包体积约 72 KB，支持 Google Gemini、Ollama 本地运行的 Gemma、xAI Grok、OpenAI（GPT-4o）和 Anthropic Claude 一键切换，并内置会话并发锁、Webhook 防 500 保护及基于客户意图的智能体间自主转接。通过 pip install chatflow-agent 即可安装。
Mica v0.5 是一个 4B 决策模型，可跑在单张消费级 GPU 上，在 RTX 6000 Ada 上 256 tokens 决策耗时 19.8 ms，比其他 4B 评测模型快至多 3.8x，比 API 决策模型快 25 到 340x。它在 JevBench Hard 得 84/111，为已知 4B 模型最佳，JDI 得 58.8，超过所有受测 9B 和 35B 模型。提供 INT8、BF16、Q8_0、IQ4_XS 等格式，8 GB 显存即可运行，采用 Apache-2.0 开源。
ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF，供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash（MIT），由 dealignai 制作去对齐版本，移除了安全拒绝；专家文件约 207 GB 分 13 个分片，密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8，相对 BF16 的平均 KL 散度为 0.026-0.036，并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。
一位用户在不到 2000 欧元的二手 PC（RTX 3090 24GB、128GB DDR4、i9-9900X）上运行了 748B 参数的 DeepSeek-V4.1-Flash-1017，采用 1-bit 量化（Unsloth UD-IQ1_S GGUF，磁盘占用 233GB），通过 llama.cpp 实测速度 7.2 tok/s。110GB Engram 表留在 NVMe 上按需读取，上下文长度 16384；作者认为实用性有限，Qwen 模型在该配置下表现更好。
作者发布 Izwi 0.1.0，这是数月公测后的首个稳定版，Apache-2.0 免费开源，提供桌面应用、Web UI、CLI 和本地服务器。支持本地 ASR→LLM→TTS 实时语音对话、短样本语音克隆、按文本描述设计音色、有声书等长音频 Studio、带说话人分离与强制对齐的转写，并提供 OpenAI 兼容的 /v1 API。已支持 Qwen3-TTS、Kokoro-82M、Fish Audio S2 Pro、VibeVoice、Parakeet TDT v3、Whisper large-v3-turbo、Qwen3-ASR、Qwen3.5/3.6/3.8 等模型，推理用 Rust 在 Candle 上原生运行并自研 Metal 与 CUDA 后端，无需管理 Python 环境。
Reddit r/LocalLLaMA 用户验证了一个免费的 RTX 3090 提速技巧：在单张 3090 上用 Qwen 3.8 27B 测试，提示词处理吞吐量提升 22–30%，生成速度提升 1–5%，测试全程无 GPU 报错。该卡功耗限制在 230 瓦，实际收益可能更高。
BIGJUTT/Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 是在 HauhauCS 的 uncensored Qwen3.8-27B 权重（866 个 tensor 与上游逐字节一致）上，套用 DavidAU Turbo-Brilliance "AI Construct" 聊天模板的 GGUF 模型，支持 Joker、Dr. House、20-agent Einstein panel、Socratic tutor 等按请求选择的模式。模板内置于每个 GGUF 中，llama.cpp、LM Studio、Ollama 无需额外参数即可加载，文档给出 llama.cpp、vLLM、Ollama、Docker 等多种运行方式，示例量化为 IQ4_XS。
cs7158080 在 GitHub 开源了一个为语言病理诊所构建的 RAG 病历问答系统，临床医生可用希伯来语自然语言提问，答案严格来自患者本人的 .docx 文件，由 Claude Haiku 4.5 基于检索上下文生成。系统在索引前对数据进行去标识化，结构化元数据存入本地 SQLite，治疗计划内容索引进 Pinecone 做语义检索，真实姓名通过本地映射表仅在最终回答时还原，确保患者数据不以可识别形式离开本地机器。
开源项目 NOVA 是一个本地运行的语音优先 AI 助手 demo，可回答问题、联网检索并附来源链接，以及生成 React/Vite 或 FastAPI 起步应用。前端用 React、TypeScript 和 Vite 构建，后端为 FastAPI，AI 路由支持 Groq 或 Amazon Bedrock，检索用 Tavily 或 DuckDuckGo，并经 MCP server（Python MCP SDK 1.30.0，Streamable HTTP）暴露工具。依赖安装需人工批准，数据存于本地 SQLite；项目面向 Alexa+ hackathon 赛道，需满足 MCP spec 2025-11-25 等要求。
Hugging Face 发布 TorchNeuron 系列教程第一部分，讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流，并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现（朴素 PyTorch 算子、torch.rms_norm()、torch.compile）为例对比，脚本可在 torch-neuronx examples 目录获取。
作者 AryThakar 发布 Zen-harness，一个通过 llama.cpp 运行 Qwen 3.6 35B-A3B 的本地个人 Agent 框架，可在自有 GPU（约 24 GB 显存）或 Kaggle 免费 T4 x2 上运行。主 Agent 调度网页研究、文档检索和数据分析三个助手，关键事实和数字由代码校验而非模型自证，含 664 项测试、Windows 免安装包，采用 PolyForm Noncommercial 1.0.0 许可，非商业免费。
推荐理由：作者公开了完整架构文档、664 项测试和分阶段实测记录，可据此了解一个本地 Agent 系统如何用代码校验约束模型输出。
Tyler Greaux 发布的 Tyler-LLM 是一系列 1.7B–32B 的本地小型模型，经前沿模型知识蒸馏而来，提供 GGUF 与 NVFP4 格式并内置 agent，无需云端、无遥测，采用 Apache-2.0 许可开源。
yago-mendoza 发布 apu-llm 仓库，让 GPU 共享系统内存的 APU 笔记本一条命令完成本地大模型安装、问答与基准测试，并通过内置 MCP 服务器让 Claude Code 把批量文本工作交给本地模型。在 Ryzen AI 7 PRO 450、64GB LPDDR5X 参考机上，Qwen3.6 35B-A3B（MoE，3B 激活）经 Ollama 跑在 iGPU 上写入 11.7 tok/s、读长输入 93 tok/s，加载占 20.6GB；Qwen3.8 27B 稠密模型更聪明但写入仅 2.6 tok/s。
推荐理由：作者在一台 64GB 无独显的 ThinkPad 上实测了 APU 跑 35B 模型的真实速度与智能水平，并给出按内存选型的对照表。
RA-King 在 GitHub 发布 IntelliJ IDEA 插件 llm-copilot-intellij 0.0.01，为任意 LLM 提供 ghost text 行内补全、编辑器内聊天面板和代码操作，支持包括本地 Ollama 在内的 13 个提供商，MIT 许可。补全具备结构感知与意图推断，后台构建全项目符号表和双向 import 图以提供真实声明签名，并含去重守卫、next edit 建议和错误分析功能；要求 IntelliJ IDEA 2026.1+，默认按 Ollama 本地部署配置。
推荐理由：README 详细写清了补全触发门槛、项目索引和去重逻辑，读者能据此评估这款可接任意 LLM 的 IntelliJ 插件是否值得试。
tetsuo-ai 开源了终端 AI 编码智能体 AgenC Core（agenc CLI，版本 0.19.11，MIT 协议），支持 OpenAI、Anthropic、Grok、Gemini、DeepSeek、OpenRouter 及 Ollama、LM Studio 本地模型。采用 daemon 进程模型，提供交互式 TUI、headless 一次性模式、后台 Agent、Telegram/Discord/Slack 通道网关和手机远程控制；配套 @tetsuo-ai/agenc-sdk 0.3.0。作者称用 DeepSeek V4.1 Flash 在 Terminal-Bench 2.1 得分 76.2%、成本 $34，而 Harbor Hub 榜单条目至少花费 $134。
社区在单张 RTX 5080 16 GB（Linux/Fedora 44）上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文，中位解码速度 150 tok/s，16K-32K 预填充约 4,400 tok/s，4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%，每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败，统一用 g++-15 编译可解决。
Hugging Face 发布 TorchNeuron 系列教程第一部分，讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流，并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现（朴素 PyTorch 算子、torch.rms_norm()、torch.compile）为例对比，脚本可在 torch-neuronx examples 目录获取。
一位 r/LocalLLaMA 用户在 strata 中部署 Qwen 3.8 Flash Next（IQ4 xs 量化）后表示被其表现折服，称体验接近其去年专业场景使用的模型。他此前常用 3.8 27b（Q6 kv8），认为 Flash Next 虽不完美但已足够胜任大多数任务。
r/LocalLLaMA 有用户称此前关于 RTX 3090 的热议帖现在看来有道理，但自己没有 3090 无法验证，希望社区有人证实。发帖者猜测早年为抑制挖矿需求所做的硬件改动若被修复，可能对 LLM 推理有利，并强调与原帖作者无关、没有小号。
mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型，提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，支持 OpenAI 兼容本地服务器，并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。
/u/jesdga95 在自研推理引擎 Basalt 中跑通 DeepSeek V4.1 Flash 1017（Unsloth UD-IQ1_S），硬件为 RTX 5090 加 RTX 5060 Ti 16 GB 和 128 GB DDR5。107 GiB 专家全部放内存、5090 作热门专家缓存时解码 53.6 tok/s，让 5060 Ti 计算部分专家后达 63.5 tok/s，同硬件同量化的 llama.cpp --fit 基线约 20 tok/s；6.2k 提示词 prefill 为 610 tok/s。支持工具调用、图像和最高 1M 上下文（1M 提示词约 26 分钟），greedy 输出与 llama.cpp 在全部测试提示词上一致，尚无 PPL/KLD 数据。
/u/No-Dragonfly6246 发布了优化版 Cosmos3-Edge，用 INT4 量化让 BF16 装不下的 8GB Orin Nano 也能运行。Orin Nano Super 8GB 解码速度 152.5 tok/s，VLM 峰值内存低至 3.3GB；五个 VLM 基准分数从 65.56 降至 65.20，当前已发布 VLM 部分，扩散模型与 robot policy 部分即将添加。试用地址 https://embedl.com/nvidia/cosmos3-edge/orin-nano-super
推荐理由：作者给出了量化后各设备的解码速度、峰值内存和五个 VLM 基准的前后分数，部署收益可直接对照验证。
Hugging Face 上架模型仓库 dsfsfdff/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-GGUF，提供 IQ3_S 量化版本。文档给出通过 llama.cpp、vLLM、Ollama、Docker 等工具运行该模型的具体命令，可启动 OpenAI 兼容 API 的本地服务器或在终端直接推理。
作者开源了一个基于 LangGraph.js 的 GitLab 代码审查 agent，用 sglang 在两块 4090（PCIe、TP=2）上跑 Qwen3.6-35B-A3B（QuantTrio AWQ 4-bit）。单流解码约 180 tok/s（~50k 上下文）、prefill 9-10k tok/s，8 并发共 985 tok/s；单次审查平均 26 次 LLM 调用、2.3M tokens，已累计 1300+ 次审查，约 70% 的评论被作者采纳解决，约 7% 的运行因模型自我循环而终止。
推荐理由：作者给出双 4090 跑 Qwen3.6-35B-A3B 做代码审查的完整吞吐数据和 1300+ 次实测结果，可复用到自己的本地部署。
开源本地聊天界面 llampart 发布 v2.0.1，基于 Svelte 5 和 SvelteKit 构建，支持 llama-server（llama.cpp）、vLLM 和 OpenAI 兼容 API。自 1.9.0 起新增独立 provider 配置、改进推理支持，并可在聊天中生成 Line、Area、Bar、Donut 图表及 Mermaid 流程图，支持 PNG/SVG/CSV 导出。项目采用 MIT 许可证，会话经 IndexedDB 存储在本地浏览器，提供 Ubuntu 和 Arch 系安装包。
Reddit r/LocalLLaMA 用户发帖询问用本地 LLM 编程时选 Python 还是 Rust：其平时用 Python，但发现模型常漏掉 bug，想知道 Rust 编译器反馈能否减少这类问题。帖子还征集在 12 或 24 GB VRAM、64 或 128 GB 系统内存下运行小模型的上下文窗口使用经验，并质疑 Rust 的额外复杂度对小模型是否值得。
GitHub 用户 nishaero 开源 homelab-ops-agent，用本地 Ollama 模型管理三台主机上的 Docker 容器、Home Assistant 和系统补丁，不依赖云端模型。该智能体通过 systemd timer 在 Proxmox 主机上每 20 分钟运行一次，最多调用 25 轮工具，白天只修复明确故障，夜间 00:00 至 05:00 检查更新、读 changelog 并应用更新后发送报告。更新前自动备份并打 :ops-agent-rollback 标签以便回滚，UniFi、QNAP 固件和 Proxmox 主机补丁被硬编码为不可触碰。
Kanorin-chan 在 GitHub 发布 RPG-Translator，一款本地优先的游戏翻译工具，直接读取 RPG Maker 和 Wolf 游戏文件（无需 MTool 导出），用用户指定的语言模型（默认本地）逐行翻译并校验，错误行保留原文并标记进复查列表。支持按播放顺序提供上下文的场景级翻译、格式代码保护、带备份与一键回滚的安全补丁，以及通过 XUnity 的 Unity 实时翻译。RPG Maker MV/MZ 已在真实游戏（17,560 行）上验证，Wolf 已读取 45,305 行；支持 OpenAI 兼容与 Anthropic 风格 API 及 LM Studio、llama.cpp、Ollama 本地部署，附并发测试与回退链。需 Python 3.10+，MIT 许可。
AtomicChat 放出 BFL 的 FLUX 3 Image Klein 提示词扩展器去拒绝版本，通过投影移除拒绝方向，以 GGUF 和 3MB LoRA 两种形式提供。作为对话模型，英语拒绝率从 63% 降到 0%，俄语从 29% 降到 1%，MMLU 仅从 74.15% 降到 73.95%；在 Klein 文生图管线中未观察到去审查效果，因原始图像模型本身已能画出敏感类别。
推荐理由：发布方给出拒绝率、MMLU 和量化损失的完整实测数据，读者可据此判断这个去对齐版本的实际代价。
PromptCraft 是一款面向 Windows 10/11 的本地 AI 提示词增强器，通过用户自己的 API 生成可编辑主提示词，最多进行三轮澄清。v0.3.2 人工盲评中 48 个单元 0 个判增强回答更好，56.3% 判原文更好；v0.3.5 换用 DeepSeek-V4.1-Flash 底模后 60 条样本档位判断 60/60 恰当、指令越权 0 例。项目采用 GPL-3.0 许可证开源，已加固导入凭据与本地数据安全。
开源本地优先 AI 学习应用 Learn-With-AI 发布，支持 Windows、macOS 和 Linux，通过学科地图、AI 教师、交互演示、笔记复习、练习测验和「讲给教师听」辅助学习。应用支持 OpenAI / Anthropic 兼容 API，数据保存在本机文件，无需云账号；提供免费本机 OCR，无 API Key 也可用「体验示例」预置内容。
codemonkeying 在 GitHub 发布 lean-coder，一个仅用 Python 标准库实现的终端编码 Agent，通过模型原生 tool-calling API 读写并运行代码，支持 Ollama、llama.cpp、MLX 本地模型及多家托管 API。常驻上下文开销（系统提示词加核心工具 schema）控制在 2500 tokens，全部启用可选 lean-tools 时为 6500 tokens；内置上下文压缩、/trim、后台 worker 派发、SSH 远程执行与 MCP 客户端能力，MIT 协议开源。