新闻、仓库与研究，按时间排列。
开源项目 jarvis-telegram-assistant 通过 Ollama 本地运行 Qwen 或 Llama 3.1、Llama 3.2 Vision 模型，在 Telegram 中实现自然语言记录习惯、睡眠、撰写 Obsidian 笔记等功能。助手利用 tool calling 识别意图并返回结构化 JSON 动作，还支持 SQLite 对话记忆、图片理解、月度统计图表，并提供用户 ID 白名单与路径穿越防护等安全机制。
开发者发布开源免费的 Windows 助手 Cephi，按 Ctrl+Alt+Space 即可语音或文字操控整台电脑，支持播放 Spotify 音乐、打开系统设置、划词翻译、截图提问和笔记管理。可接 Ollama 本地模型让数据不出本机，也可用自己的 Claude、Gemini 或 OpenAI 兼容 API 密钥，支持接入任意 MCP 服务器或用一个 JSON 文件添加自定义工具，MIT 协议开源。
推荐理由：开源 Windows 语音助手 Cephi，仓库把本地 Ollama、MCP 工具扩展和快捷键体系讲得相当完整，适合想自建本地 Agent 的人参考。
na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版，基于 orcarouter 的 abliterated bf16 权重，路由专家为 4-bit、其余多为 8-bit，含 MTP 头和视觉塔，移除安全对齐后可响应原模型拒绝的请求。下载体积 100 GB，无 --ple-gpu 时常驻约 75 GB；在 M3 Ultra 上 decode 速度约 124.3-124.8 tok/s，13 个边缘提示词中仅 1 个被拒绝（对照组为 11 个）。许可证为 Qwen Community License 1.0。
mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本，支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行，也可接入 Pi、Hermes、OpenClaw 等智能体工具。
geonom 在 GitHub 发布 ai-serve Alpha 版：一个本地 AI 网关，把语言模型（llama.cpp）、语音合成、语音识别、图像生成和文档读取统一到 OpenAI 兼容 API（/v1/...）加一个仪表盘后面，模型按需加载、内存紧张时卸载。安装器提供 Gemma 4 E4B/E2B、Chatterbox 多语言 TTS、Whisper（WhisperX small）和 Iris-3B Turbo 图像生成等可选服务，下载经 sha256 校验。项目除 llama.cpp 外均以插件扩展，AGPL-3.0 授权，支持 Linux（NVIDIA、AMD、Vulkan、CPU）与 macOS（Apple Silicon），Windows 稍后支持。
exprassist 是一个 GitHub 上的新工具，为合同工作流公式提供静态分析、自动修复（先经数百条样本验证结果一致）、语法树英文解释和本地 LLM 生成功能，生成由 Ollama 本地运行。全部用 TypeScript 实现，含 Pratt 手写解析器、类型检查器和求值器；修好的重复 LOOKUP 规则使 demo 表达式每次求值 lookup 从 0.68 降至 0.59。新改进反馈后，模型一次正确率从 16/20 升至 18/20，10 条新请求为 8/10。
GitHub 上开源的 rag-hr-policy-chatbot 是一个 RAG 问答聊天机器人，可从 HR 政策文档中检索并回答问题。它用 Sentence Transformers 生成嵌入，以 ChromaDB 存储和检索文档块，并通过 Ollama 运行本地 llama3.2:3b 模型生成答案，无法检索到相关政策信息时会拒绝作答。项目还提供检索评估、阈值校准脚本及基于 Streamlit 的深色主题聊天界面。
一位持有 3 张 Atlas 300I Duo 的用户根据华为 Silver 级合作伙伴的最新信息，整理了 Atlas 系列加速卡对比，称 Atlas 150 为全新产品并采用 950 Ascend 核心。作者在自建 vllm-fork 上持续优化 QFN，测试了 GLM5.3-flash、DeepSeek 模型及 Meta Muse（经 REAP 裁剪专家后跑在 3 卡 300I Duo 上），并用 Qwen 视频模型分析安防摄像头画面。文中还提到这些卡为被动散热、需额外 PCIe 12V CPU 供电、内置 Euler OS 尚无法绕过签名验证，作者并有一张第四块 300I Duo 拟在美国市场出售。
一位 Reddit r/LocalLLaMA 用户询问 6/8/12GB 显存的廉价老旧 GPU 能否运行有用的大语言模型任务，例如整理数字资料、分类、图像/文本分析和语音/TTS 等，并质疑这些任务是否也需要 tool calling 和 agentic 行为才能用好。发帖者还提到当前 LLM 讨论多聚焦 coding，小显存可能跑不动 agentic coding 模型，欢迎有同类硬件的用户分享实际用途。
作者发布 WhisprFlow，一个在本地运行的 Windows 和 macOS 语音听写工具，按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色，无需账号和订阅；11 秒听写端到端约 1.7 秒（i5-13500HX + RTX 4050 实测），支持 Qwen3-ASR 处理多语言，词典从用户听写中学习术语拼写，代码 MIT 许可，macOS 代码路径保留但未测试。
推荐理由：原文给出实测延迟、模型选型对比和架构细节，读者可以据此评估这套本地语音听写方案是否适合自己复现。
归墟（GuiXu-DataPilot）是一个 Windows 本地优先的数据处理 Agent，把 Excel 拖入后可用自然语言查询、增删改、导入导出、改表结构和生成 PDF/Word 报告，支持软删除、快照回滚与文档库检索。它基于 SQLite 单文件存储，含 20 个工具和不到 100 行的 Agent Loop，182 条评测用例最近结果为离线 142/142、Agent 39/40。安装包 GuiXu-Setup-1.2.0.exe 可从 GitHub Releases 下载，无自有云服务，数据留在本机。
GitHub 上的开源项目 Intel60 每 30 分钟抓取 BleepingComputer 等 8 个安全资讯源和 CISA KEV 目录，用 Claude Haiku 4.5 为每条新闻生成 60 词卡片，标注严重级别并附 NVD CVSS 评分与 FIRST EPSS 利用概率。关键故事经 ntfy 推送，支持本地 watchlist 过滤、补丁期限倒计时和 7 天趋势，AI 每条只跑一次、读者数不影响成本，Anthropic API 成本约 $3–5/月。
GitHub 项目 chkalofff/decision-qa 推出 Web 应用「Вердикт」，可向本地 LLM 提问并获取答案概率分布，通过 SGLang（/v1/decisions，MLX 后端）、Cloudflare Clef（/v1/systemone）和 llama.cpp 运行的 GGUF 模型接入，也支持任意远程云模型。多模型可同时运行并对比答案，提供 macOS 与 Windows 安装包、模型管理页面及 API 密钥管理，双模型同时运行约需 64 GB 统一内存。
nvkudva 发布开源 CLI 工具 omni，在 127.0.0.1:10000 用一个网关统一运行和代理本地模型，应用按 chat、decide、embed、image、video、stt、tts 等角色调用而非模型名，兼容 OpenAI 格式，改 base_url 即可用 OpenAI SDK 接入。各角色独立进程运行并带健康检查与自动重启，空闲 10 分钟自动卸载模型，可钉住常驻；Apple Silicon 上 chat 约 140 tok/s（qwen2.5:3b）、warm embed 0.03–0.15 s、tts 约 12 倍实时，还附带浏览器 playground 可查看每角色的实时请求日志。
推荐理由：原文给出完整的架构说明、各角色默认模型与 Apple Silicon 实测数据，读者可以据此评估这套单端口本地推理网关是否值得部署。
开源命令行工具 clai 是一个为任意 AI 任务输送上下文的 context-feeder，测试覆盖率达 91.0%。它支持 shell 上下文注入、会话导入、Agent Skills、Profiles 和 MCP 客户端，可经 curl、go install 或 Nix flake 安装，也能作为 Go 库嵌入 agent 循环并支持结构化输出。工具接入了 OpenAI、Anthropic、Gemini、Ollama、DeepSeek、Mistral 等多家供应商。
akapug 发布 homelab-atlas 仓库，用 2017 服务器、2019 工作站、Ryzen 桌面等四台旧机器实测本地大模型部署，如 DeepSeek V4.1 Flash（748B MoE）在 RTX 6000 + Optane 上解码 12.69 tok/s，GLM-5.3-Flash 在 3090 Ti 上达 26.69 tok/s。仓库提供 PATCHES.md 补丁索引、按硬件分类的复现命令、失败记录，以及浏览器端 Recipe Maker 规划工具，用于在下载权重前预判 MoE 模型在 VRAM、DRAM、PMem 上的布局与速度。
推荐理由：用二手服务器、老工作站和Intel冷门卡跑通大MoE模型，每个数字都附条件、命令和补丁来源，方法可直接照搬。
OpenCode 个人 fork「opencode-personal」基于 OpenCode 1.14.48 源码，独立于上游项目维护，可在终端和浏览器中使用的开源 AI coding agent。该 fork 新增 /usage 中 Anthropic (Claude)、ChatGPT OAuth、ZAI、ClinePass 的用量与配额显示、Qwen3 兼容（含 thinking-mode 配置）、本地语义搜索（zvec）、Rust/WASM diff 层及 ACP 终端后端（如 Zed）支持，并包含 SSRF 防护、CORS 校验、symlink 安全等多项安全加固。
SharpAI 2.0 发布，这是一个 .NET 本地 AI 推理库，支持嵌入、文本补全和聊天补全，仅使用 GGUF 模型，基于 LlamaSharp 构建，可提供 Ollama 兼容和 OpenAI 兼容的 REST API。新版本默认按各模型 GGUF 内置聊天模板渲染请求，重建了 React 19 仪表盘，新增多租户认证与 RBAC（默认关闭）、四种数据库支持、Prometheus/OTLP 可观测性，以及 C#、JavaScript/TypeScript、Python SDK。所有推理均在本地完成，无需云端依赖。
BlackoutOps 项目发布，目标在断网的边缘设备 Jetson AGX Thor 上全本地运行大模型推论与小型 RAG，做出能自主诊断修复 IT 故障的 Agent，开发验证机为 NVIDIA DGX Spark（GB10，128 GB unified memory）。2026-10-20 起正式推论引擎由 TensorRT-LLM 改为 vLLM，跑 Nemotron-3.5-Bolt-74B-A9B-24GB（Spark 舞台用 Nemotron-3.5-Lightning-30B-A3B-NVFP4，DSpark speculative decoding 下 decode 提速 27–49%）。
推荐理由：项目给出了完整的部署架构、故障目录规模和多轮实测数据，读者可据此了解全离线自我修复运维 Agent 的工程做法。
一位 r/LocalLLaMA 用户询问是否值得把系统内存从 32GB 升级到 64GB。他目前用 3090+3060 12GB 双显卡跑 qwen3.8-27B，借助 MTP 平均约 40 TPS，目标是运行 flash-next，尤其是 Qwen4 发布后能否在双卡加 64GB RAM、扣除系统开销和完整上下文的情况下跑起来。
/u/Dodgy_Past 在 Reddit r/LocalLLaMA 发帖，自建包含 44 个真实 bug 的测试集，让 Qwen3.8 27B 与 Gemma 4 31B 在两张消费级显卡上多轮辩论修复方案，得分 38/44、5 个假通过，而两模型单独作答为 31 和 30 分，也超过了 Nemotron 3.5 Super VL 120B 等更大的 MoE。增益主要来自约六个两模型各自都解不对的案例，但假通过几乎未改善（从 6 降到 5）；作者还发现共享完整推理与只共享提案没有可测差异，每题约花 6 次模型调用和 5 分钟 GPU 时间。
推荐理由：作者自建44个真实bug的测试集，实测两个中型模型辩论修复比单独作答和更大的MoE都更准，并给出假通过率与成本数据。
privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版（约 16.8 GB），打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B，由 huihui-ai 移除了拒绝回答行为，附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入，采用 Apache-2.0 许可证。
Reddit 用户 /u/DataCraftsman 在 RTX PRO 6000 上通过带 flint PR 的 vLLM 跑通了 Flint NVFP4 版本，模型可正常调用其知识库、网页抓取并按给定人设对话。他抽样实测 LiveCodeBench v6 得 82.2（官方称 80.8），SWE-bench Verified 抽测 50/500 任务得 80（官方称 74.1）；单流约 110-180 tok/s，64 并发时峰值约 2500 tok/s。他称可能用它替换 qwen3.8 27b，附了 docker compose 配置和 chat_template 修复，并希望社区找到给它加上视觉能力的办法。
WestWaters 在 GitHub 开源 pollard-weights，一套按目标设备 RAM/VRAM 预算构建模型量化的工具，通过 pollard-sensitivity 测量各张量的 KL 敏感度后分配比特，保护 attention、router 和 embeddings，压缩专家 FFN。一次测量分配可输出 GGUF、GPTQ、MLX、EXL3、MX/NVFP4 五种格式，配套 pollard-verify 真实重建校验。在 Qwen2.5-7B 和 14B 上，同尺寸 1-bit 混合精度比均匀 trellis 量化困惑度低约 14%；其误差反馈 GPTQ 在 4-bit 恢复约 46% 的 round-to-nearest 误差。
推荐理由：原文给出了在 Qwen2.5-7B/14B 上与均匀量化的困惑度和 KL 对比数据，读者可以据此评估这套按内存预算分配精度的方法是否值得用。
nejib1 在 GitHub 发布 Free-LLM 仓库，并配套 free-llm.com 在线目录，汇总51家提供免费 LLM API 的服务商共270多个免费模型，区分永久免费、周期续充值和一次性试用额度三类，标注是否需要信用卡、速率限制和 key 获取方式。仓库提供 Python/JavaScript/curl 示例及 Claude Code、Cursor、Codex CLI、OpenCode 配置，附9个本地自托管工具清单，支持中英日韩多语言。
推荐理由：把51家免费LLM API的限额、是否需信用卡和key获取方式做成结构化目录，可直接按表选服务商省去逐家试用。
Ollama 是可在本地或云端以完全隐私方式运行开源模型的工具，支持 macOS、Windows 和 Linux 安装，并提供官方 Docker 镜像。用户可通过 ollama launch 连接 Claude Code、Codex、Copilot CLI、DeepSeek Harness、Droid、OpenCode 等集成，也可运行 Gemma 4 等模型，用 REST API 或 Python、JavaScript SDK 进行调用，后端基于 llama.cpp。
soehi 发布 MoonLM，一个用 MoonBit 从零实现的端侧 LLM 推理引擎，同一份源码可编译到 native 与浏览器 js 后端，产物 669 KB / brotli 74.5 KB，推理零网络、零数据外传。已 GGUF 解析、Transformer 前向与采样（M0/M1）、Web Demo（M2）和带沙箱工具的 Agent 运行时（M3）完成；与 llama.cpp 逐位置对拍 288 位置 argmax 一致率 97.22%，浏览器端 SmolLM2-135M Q8_0 流式生成 6.3 tok/s，native 单线程 decode 18.4 tok/s（纯标量、无 SIMD，比 llama.cpp 单线程 57.2 tok/s 慢约 3.7 倍）。
推荐理由：从零实现的端侧推理引擎，对拍数据、性能数字与零网络验证都给了实测细节，可迁移到自建本地推理项目。
一位 Reddit r/LocalLLaMA 用户因 RTX 5090 以 $2,900 购入后几乎闲置，决定出售，并保留 5060ti 16gb。他向社区征询在 16gb VRAM 加 64gb DDR4 条件下的替代方案，选项包括再买 5060ti、升级 128gb RAM、换 AMD 或 Intel 32gb 显卡、旧 V100，或直接购买 API tokens。
Berth v0.3.4 引入实验性 Linux GPU 直通功能，berth vfio run 会在安全点排空引擎并确认无占用后运行用户脚本，脚本自行处理 sudo 和驱动切换，卡片回到 NVIDIA 驱动后才交还引擎，期间可通过 berth status 和 Web UI 查看。作者在 4090 上用一个按键完成密码提示、切换到 Windows 并在关机后由 llama-swap 接回，contrib/vfio 提供示例启动器和 libvirt 配置。
推荐理由：作者本人实测给出 VFIO 直通流程和 4090 上的操作细节，附带 contrib/vfio 的启动脚本与 libvirt 配置可复用。
一位用户在 Reddit r/LocalLLaMA 分享同时运行两个 Claude Code 实例的体验：一个用 opus 5.5，另一个用 Qwen flash next q8，并在另一台电脑上配合 Mirai Qwen 27b q4。他表示 opus 5.5 比自己本地能跑的 Qwen 更快更聪明，但仍享受这种“把想法变成现实”的乐趣。
apetersson 正在上传 DeepSeek V4.1 Flash 1017 Abliterated 的 MLX 版本，为 Apple Silicon 准备的 oQ2.5e 混合精度检查点，共 53 个 Safetensors 分片，包大小约 342.7 GB，尚未完成，需等待 PUBLICATION.json 和 v1-oQ2.5e-mtp 标签发布后再下载。推荐在 256 GiB 统一内存 Mac 上用 oMLX 0.7.2 运行，上下文从 32K 起步，Engram 张量约 114.4 GiB 卸载至本地 SSD；SSD 前缀缓存测试中 8,588 个 token 复用 8,192 个，请求耗时从 14.62 s 降至 1.45 s。
KittenML 发布 Kitten-TTS 2 的代码与权重，称其为首个 1.58-bit（三值）TTS 模型，1.7B 参数，仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆，以及重音与情感表达控制；代码和权重开源，提供 GitHub 与 Hugging Face 链接，定位为 ElevenLabs 的开源替代。
推荐理由：1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行，对没有 GPU 的本地部署用户是可查的开源替代选项。
Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路：用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图，拟合出约 0.0565 的斜率，即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重；据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点，可给 KV cache 和运行时开销留出余量，而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。
推荐理由：作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例，可据此判断 RAM 与 VRAM 的加配时机。
aihappey-windows 是一款用 WinUI 3 构建的 Windows 原生 AI 客户端，支持与 AI 模型和 Agent 流式对话、连接 MCP 服务器、使用工具与技能。它提供多提供商模型切换、离线提供商目录、MCP 工具审批、文件附件与 Windows 原生语音输入（Windows+H），可选 MSIX 安装或免安装便携 ZIP 发行，本地对话历史并支持 Header-based/BYOK 与 Microsoft Entra 认证。
Setmaster 发布 comfyui-llamacpp，为 ComfyUI 提供本地 llama-server 集成，支持文本与视觉提示、结构化输出、直接与路由模式，并显式管理 LLM 进程的 VRAM 释放。已发布的 Registry 包为 0.3.0 含 17 个节点，master 分支的 0.4 源码版本含 25 个节点，新增 llama.cpp Generate 节点、任务配置档案、自动 projector 匹配和最多 10 秒英语音频转写；安装可用 comfy node install comfyui-llamacpp，项目采用 MIT 许可证。
推荐理由：README 明确区分了 Registry 已发布的 0.3.0 与源码 0.4 版本及节点数差异，还给出进程树所有权与 VRAM 释放契约，可据此评估部署方案。
RickyLeRoi 发布 OnFeather 仓库，包含三个可独立安装的 Apache-2.0 工具。
推荐理由：仓库把三个独立工具打包在本地优先的理念下，README 对已测试和未完成部分作了明确区分，可按需单独取用。
一位 Reddit r/LocalLLaMA 用户将装上第 4 张 RTX 3090，考虑把日常模型换成 Qwen3.8 Flash Next，询问该配置下应选哪个推理引擎。其目前用 vLLM 跑 Qwen3.8-27b，速度约 100+ tps、prefill 约 3000 tps；首选引擎 Strata 在 96GB VRAM 下或可以 4-bit 将整个模型装入显存。
开源本地 AI 平台 Vortelio 发布，用单个 Go 二进制在本机运行 LLM、Stable Diffusion/FLUX.1 图像生成、Whisper large-v3 语音转写、Kokoro TTS、WAN 2.1 视频生成、TripoSR 3D 生成，并通过 CrewAI 编排多智能体工作流，无需云端、API 密钥或订阅。平台提供 OpenAI 和 Ollama 兼容 API，可无缝替换现有 SDK 代码，还内置类似 Claude Code 的终端编程智能体 vortelio code。
开源项目 Observer 的开发者发布视频称，即便 AI 泡沫破裂，本地模型的发展也不受影响，属于"泡沫免疫"。视频在 Reddit r/LocalLLaMA 发布，该频道将更新更多本地 AI 相关内容。
chedim 在 GitHub 发布 babyseat v0.7.0，一个本地运行的 AI 座席，内置 membrane 记忆系统，可在 Ollama 之前以实时代理方式从每条消息中学习，仅依赖嵌入模型，无需 LLM 摘要或打标签，内含名为 Blurp 的小型自我。记忆以实体场形式呈现，通过 surprise 机制做非负最小二乘拟合增量学习，无需手工整理 schema 或知识图谱；支持独立运行、Docker 和 Home Assistant 集成三种方式，多座席各持本地场、按需发布实体而不互相覆盖。