新闻、仓库与研究，按时间排列。
Duya 是一款本地优先的桌面 AI 智能体，现已进入公开测试，可在项目内执行任务并让浏览器、文件、终端操作和权限决定保持可见。它支持交互式浏览器研究、文件读写、shell 命令、可固定的项目参考上下文，以及 Skills、MCP 服务器和实验性画布 Conductor。会话与设置保留在本地，可接入托管 provider、OpenAI/Anthropic 兼容端点或本地 Ollama，Windows、macOS 和 Linux 均有 beta 安装包。
FreeToken（基于上游 main 58f4b9e、版本 0.1.3）发布面向 Windows 单卡 + 大内存的补丁分支，可在 RTX 5090 32 GB 等单 GPU 上通过 OpenAI/Anthropic 兼容 HTTP API 服务大型 MoE checkpoint。分支以 Qwen3.8-Flash-Next（qwen4_exp 架构）为参考，实现 turbo4 KV 压缩（约 516 字节/token、与 bf16 余弦 0.9887）、QSA 稀疏注意力扩展、BudgetSlider 运行时重平衡与多模态缓存复用，支持 1M-token KV 池；GLM-5.3-Flash 作为并行轨道适用同一套机制。
chinkan 在 GitHub 开源了 RustFox，一个用 Rust 编写、可自托管的 Telegram AI 智能体助手，以单个二进制文件分发，cargo install 后约 2 分钟完成设置。它运行 agentic 循环调用沙箱工具（文件读写、命令执行、经 MCP 的网络搜索），用 SQLite 加向量 RAG 做持久记忆，支持技能与子智能体、多 Bot 多人格、cron 任务调度、运行时模型切换与 fallback 链，默认走 OpenRouter，也可接本地 Ollama 或任何 OpenAI 兼容端点，并内置 Web Portal 和自我升级功能。
推荐理由：原文完整列出了工具调用、SQLite 加向量 RAG 记忆、多 Bot 人格隔离等实现细节，可按需自部署到 Telegram。
rskulles 发布 ButterKnife，一个本地网络聊天客户端，可连接 Ollama、LM Studio 及任何 OpenAI API 兼容服务器（vLLM、llama.cpp），也可接入 Anthropic key 使用 Claude。每平台单文件、无需 Docker 或数据库，聊天数据留在本机；Code 标签页为自有模型提供类似 Claude Code 的编码智能体，模型读项目、改文件、跑测试，每步需用户批准，兼容 .claude/ 目录的 commands 和 skills。支持手机扫码多设备同步、双模型对比、/image 生图、Whisper 语音输入、上下文接近上限时自动摘要旧对话。
推荐理由：原文详细列出了连接 Ollama、LM Studio 等本地模型服务器的配置步骤和 Code 编码智能体的权限机制，便于判断是否适合自托管。
banchen21 在 GitHub 发布 llm-gateway，一个本地网关，对客户端说 Anthropic Messages API，对上游说 Anthropic 或 OpenAI Chat Completions API，双向转换且支持 SSE 流式。它归一化 thinking、output_config 等易被第三方实现拒绝的字段，支持模型别名映射、按客户端签发和吊销入站密钥、可读请求日志（不含消息正文），提供桌面窗口和浏览器两种 GUI，监听 127.0.0.1:8787。未实现 Responses API，count_tokens 为字符估算而非真实 tokenizer；预编译二进制覆盖 Windows、Linux 和 macOS，macOS 仅含 headless 服务端，MIT 许可。
推荐理由：本地网关在 Anthropic 与 OpenAI 两种协议间双向转换请求和流式响应，并给出模型别名、密钥管理和请求日志等落地细节。
Jeonghyeock 发布 engine-room-assistant 仓库，一个船舶机舱报警应对助手：报警触发后通过 MCP 从虚拟船舶自动化系统读取传感器值，用 RAG 在手册与 46 CFR Part 62 规则中检索程序并附依据给出建议，不执行操作。模型、检索、索引全部在本机运行（Ollama、LanceDB），船舶、机器与设定值均为教学用虚拟数据，仅规则为真实原文。检索评测用 15 个问题按 recall@5 评估，条款改为段落切分后 recall@5 从 0.87 升至 0.93、首位命中从 0.73 升至 0.80、每问题约 69 ms；针对 qwen3:8b 调整了系统参数与检索说明，并留下韩英跨语言查询未解决的问题待第三阶段用系统提示词或服务端英文查询对比解决。
开发者在 r/LocalLLaMA 分享了 Biscotti，一个约 850 行代码、运行在 Raspberry Pi 上的自托管 iMessage 助手，灵感来自 Instinct 但更注重隐私与权限控制。目前接云端模型运行，也可部署自托管模型。
作者 /u/dead-fish 在两张 CMP 170HX（PCIe Gen2 x4）上优化 Qwen 3.8 Flash Next，使用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和原生 MTP 投机解码。8 并发代码请求时单请求解码 116 tok/s、首 token 231 ms，聚合 840 tok/s；prefill 4k–64k 提示为 6,300–7,100 tok/s；HumanEval 157/164（95.7%）、GSM8K 1,271/1,319（96.4%），使用完整 262,144 token 窗口。完整配方、Docker 镜像和补丁见 https://github.com/AlexBrandes/cmp170hx-qwen38-flash-next。
推荐理由：作者给出双 CMP 170HX 跑 Qwen 3.8 Flash Next 的完整配方和分并发吞吐数据，可复现且方法透明。
quintonmiller 发布 Tailored AI（TAI），一个模块化的个人 Agent 运行框架，通过 tai CLI 安装后即可启动 HTTP API、内置 UI、cron 与 autopilot，并接入 Discord 或 Slack。各运行面（模型、工具、Agent、渠道、任务后端等）均有接口与注册机制可替换，插件为普通 npm 包；支持 Ollama 等 OpenAI 兼容本地模型，默认绑定 127.0.0.1:3000，提供 Docker 多架构镜像（amd64+arm64），本地 LLM 实测含 devstral-small-2（约15GB）与 qwen3-coder:30b（约18GB）。仓库地址：https://github.com/quintonmiller/tailored-ai
推荐理由：README 给出了从安装到 Docker 自托管的完整命令和配置示例，模块边界与插件机制也写得清楚，便于评估是否自用。
llamadart 0.15.1 提供 Dart/Flutter 跨平台端侧 LLM 推理，一套 API 在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型经 llama.cpp 运行，.litertlm 经 LiteRT-LM 运行，支持流式输出、工具调用、结构化 JSON、多模态、LoRA、嵌入向量，以及实验性的语音识别、语音合成和基于 stable-diffusion.cpp 的端侧文生图（Preview）。
hung-yueh 发布 react-native-litert-lm，让 React Native 应用在 iPhone 和 Android 上通过 LiteRT-LM 与 Nitro Modules 端侧推理 Gemma 4 等模型。核心卖点是内存安全：loadModel() 预检权重加 KV cache 开销、运行时追踪 RSS、上下文溢出预警和确定性 unload()，避免 1–4 GB 模型被 iOS Jetsam 或 Android LMK 杀掉。支持 GPU（Metal/OpenCL）与 Android NPU、投机解码、JSON Schema/正则约束输出、typed 流式事件、工具调用、EmbeddingGemma 2 端侧嵌入，以及单引擎多会话。
推荐理由：README 给出了与 react-native-executorch 和 llama.cpp 的逐项对比表，读者可据此判断手机端跑 Gemma 4 该选哪条路线。
LocalPilot 是一款硬件感知的 Python 应用，可检测本机 CPU、RAM、VRAM 与 Metal/CUDA 加速能力，按兼容性筛选模型并自动配置 llama.cpp、vLLM、Ollama、LM Studio、Docker Model Runner 等推理后端与执行服务。它提供 6 步引导式安装向导、终端内流式聊天（ChatScreen）、25 类结构化错误码的错误恢复系统，支持 TUI 与 CLI 双界面，可通过 pipx、pip 或 uv 安装。
Llama Launcher 是一款 Windows 平台的 llama.cpp 启动器，提供启动预设、VRAM/RAM 内存计算器、多版本构建管理、内置聊天和 benchmark，可从 Hugging Face 下载模型、从 GitHub 下载构建。其统一 OpenAI 兼容路由器支持模型自动加载与卸载，可通过局域网密码与 API 密钥访问，默认端口 8090 为管理界面、8080 为 OpenAI API 路由。项目采用 Tauri 2 桌面应用加 Svelte 5 UI 架构，并支持通过 GitHub Actions 或 Docker 交叉编译。
taylormartins 发布开源工具 LocalFlow，在 Windows 上按 Caps Lock 即可听写，Whisper 转文字后由可选的本地 LLM（经 Ollama）或内置规则清理填充词与口误，音频和文本不出本机、无需账号。RTX 4070 Ti 用 large-v3-turbo 实测 21 秒语音约 1.7 秒转写加 0.6 秒清理，约 12 倍实时；无 GPU 时回退 CPU 转写和算法清理，另支持手机听写、语音命令模式和自定义角色语气改写。
推荐理由：README 对清理链路的设计写得很实，包括防止 LLM 抢答的四道防线、延迟实测和 VRAM 争用排查，方法可迁移到类似本地语音工具。
GitHub 上的 LLLM-Keiri 是一个学习日本会计（簿记、日常账务、决算、税务、会计准则）的网站，目前为初期版。仕訳（分录）的正误判断、借贷一致与账簿汇总由程序完成，浏览器内的本地 AI（如 Gemma 4）在其上提供解说、反应与答疑，AI 角色类型可选。学习数据以 Markdown/YAML 与代码分离存放，可追踪决算书→总账→原始分录的下钻，支持合并决算、外部 AI 生成教材导入，并采用 WebGPU 推荐环境、MIT 许可与 PWA。
ParadoxFuzzle 在 GitHub 开源了 jerith-mesh，一个模型同构的 P2P 算力网络，用于 MoE 大语言模型推理。节点只与运行相同模型的节点互联，以 Colibri 风格的按需专家加载为本地原语，仅在邻近节点持有热点专家时跨网请求，并通过流水线回退、投机预取等方式隐藏公网 30-300 ms 延迟。项目包含 CLI、Web UI、Discord bot、OpenAI 兼容 API、本地记忆技能（SQLite 或 PostgreSQL+pgvector 加 nomic 嵌入），贡献按推理 token、专家激活、带宽和在线时长计量并结算到 JerithChain（JER），也可接入 BTC/ETH/DOGE/XMR；反欺诈采用冗余重放、密码学承诺和搭便车者统计检测。
推荐理由：原文详细说明了同模型节点组网、专家按需加载和贡献计量机制，适合想自建分布式推理网络的读者参考部署方案。
开发者 Sober-Migo 在 GitHub 开源了一个 RAG PDF 问答应用，上传 PDF 即可获得基于文档内容的回答。项目源自 IBM Generative AI Engineering with LLMs 课程，改用纯 Hugging Face 技术栈实现，无需 IBM Watsonx：默认使用 sentence-transformers/all-MiniLM-L6-v2 嵌入、Chroma 向量库和 google/flan-t5-base 模型，并提供 Gradio UI，代码采用 MIT 许可。
作者复盘72小时内四个开放权重模型发布：Meta Muse Spark Open（816B总参/42B激活/1M上下文，Artificial Analysis指数39）、NVIDIA Nemotron 3.5 Bolt（74B总参/9B激活，量化感知训练到2 bit，全模型22GB加1.7GB视觉投影器，专为24GB显存设计）、Reflection Beam（501B总参/23B激活，Apache 2.0）、DeepSeek V4.1 Flash 1017（MIT，官方表格DeepSWE 77.0对比Opus 5的74.0，仓库510GB）。作者指出许可证差异比参数量更关键，Meta要求署名且超2000万美元营收需另签协议，而卖24GB显卡的NVIDIA是唯一为24GB显存造模型的实验室。
一位 Reddit r/LocalLLaMA 用户购买了带 4 条 x16 插槽和 256GB DDR3 RDIMM 的 Z9PE-D8 WS 主板，搭配 2 张 V620 和 2 张 Mi50 32GB 显卡，但主板无法枚举任何一张 32GB GPU。其 Mi50 和 V620 原本可在 q4 量化下运行 Qwen3.6-35B-A3B 并支持 131k 上下文（KV cache q8），现发帖求推荐替代方案，希望不必在主板和内存上花费 1k。
PersonalClaw 开源发布自托管个人 AI 智能体系统，集成多会话聊天、自主目标循环、分层长期记忆、知识库、技能与定时自动化，全部经由单一网关进程和自持 Web 仪表盘，MIT 协议、无遥测。当前为 v0.2.2 pre-1.0，0.x 更新可能引入破坏性变更且无自动数据迁移，官方建议每次更新前运行 personalclaw snapshot 备份；默认模型为 SmolLM2-135M-Instruct（138 MiB，可离线运行），支持 Ollama 本地模型与 MCP 双向连接，Windows 仅支持 WSL2 或 Docker。
推荐理由：README 明确列出当前能力与十一类不适用场景，并给出 pre-1.0 无自动迁移的备份方法，适合自托管前评估。
GitHub 上的 llm-inference-lab 是一个从 GPU 底层动手学习与优化 LLM 推理的开源仓库，目标是掌握设计、运维、安全加固和优化私有企业级 LLM 基础设施的能力。学习路径覆盖 token、attention、KV cache、GPU 显存、batching、吞吐与延迟，进阶涉及模型选择、路由、RAG、可观测性与评估。目前 Lab 01（GPU 显存基础）已完成，实验环境使用 NVIDIA A40、PyTorch 2.8.0+cu128 和 Mistral 7B，后续规划 KV cache、vLLM serving、量化等课程。
jungwooraza20 发布 CoreAIKit 0.7.3，一个社区 Swift 包（非 Apple 官方），封装 Core AI 模型的选择、下载与缓存，内置 Qwen3 0.6B（Mac 约 352 MB、iPhone 约 456 MB），首次使用时从 Hugging Face 下载并缓存，无需 Python、转换或 API key。
Guillaume2561 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于通过图形界面启动和管理 llama.cpp 服务器实例。功能包括 GGUF 模型元数据读取与 VRAM 占用预估、多实例管理、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成，以及 llama.cpp 版本下载与回滚管理。项目地址：https://github.com/Guillaume2561/LlamaServerLauncherAvalonia。
推荐理由：这个跨平台图形启动器把 llama.cpp 服务器的参数配置、VRAM 预估、基准测试和多实例管理整合到一个界面里，适合本地部署用户参考。
Fox 是一个面向并发负载的本地 LLM 服务器，可作为 Ollama 的直接替代，MIT OR Apache-2.0 双许可，改端口即可兼容现有 Ollama 与 OpenAI 客户端。它包装 llama.cpp，核心优化是并发请求间的共享前缀 KV cache 复用：新请求匹配最长共享前缀跳过 prefill，还能从正在解码的序列复制共享前缀，这是其他 llama.cpp 服务器做不到的。在 Radeon 890M Vulkan 测试中，16 客户端共享系统提示词时 TTFT p50 为 1402 ms 对 llama-server 的 8064 ms，但短独立提示词的单轮请求吞吐约为基线的 96%，反而慢约 4%。
推荐理由：README给出了共享前缀并发场景下与llama-server的对比数据和复现脚本，也坦承短独立请求反而慢约4%，可自行判断适用场景。
dave-holden 发布 proxytoolpatch 仓库，提供 FastAPI 代理 proxytool 和纯 Python 修复库 toolpatch，把小模型以原始文本泄漏的工具调用在传输途中修复为结构化调用，opencode、pi、curl 等任何 OpenAI 兼容客户端无需改动即可使用。
推荐理由：给出了在本地模型前加代理层修复泄漏工具调用的完整方案，含架构图、启动顺序和配置示例，方法可直接迁移复用。
ObsidianRAG 4.0.1 发布，用 SQLite FTS5 与嵌入式 LanceDB 作为唯一检索引擎，为 Obsidian 笔记提供本地优先的混合 RAG 问答。Obsidian 插件管理后端、索引生命周期、聊天与来源链接，支持 Ollama、LM Studio 和 OpenAI 兼容服务生成；采用增量 copy-on-write 索引修订、数字来源引用，以及保护查询的 reader leases，API 3 客户端与 4.0.1 不兼容，需按迁移说明升级。
推荐理由：原文给出本地混合 RAG 索引的完整架构与增量更新机制，可参考其用 SQLite FTS5 加 LanceDB 做检索和租户租约保护查询的做法。
sikkatu/recipes 仓库为在 4× RTX PRO 6000（96 GB GDDR7，TP4，无 NVLink）上服务大开源权重 LLM 提供硬件绑定、经验证的部署配方。配方绑定容器 digest、模型 revision 和硬件实测值，给出带原始输出的指标，并包含 DeepSeek-V4.1-Flash、GLM-5.3-Flash、GLM-5.3、MiMo-V2.6-Pro 四个草稿状态的 MoE 专家驻留平衡配方；配方以 MIT 许可发布，设有 schema、digest、health、quality、performance 五道验证门禁。
推荐理由：仓库用硬件快照、镜像 digest 和五道门禁把部署数字固定到可复现，还记录了失败尝试的台账。
作者 /u/msalsas 发布了 llama-doctor，一个 CLI 工具加实时面板，可指向运行中的 llama.cpp 或 Unsloth Studio 服务器，拉取 /metrics、/props 和 /slots，给出按严重度分级的问题诊断，涵盖 prefill 与 decode、队列压力、prefix cache 复用率和内存余量。退出码映射到严重度，可用于 cron 门控；工具只读、仅依赖标准库、需 Python 3.10+，代码在 https://github.com/msalsas/llama-doctor，作者欢迎 PR，尤其是能让工具崩溃的服务器场景。
推荐理由：作者开源了一个读取 llama.cpp 运行指标并按严重度分级诊断问题的 CLI 工具，退出码可直接接入 cron 做自动门控。
Reddit 用户测试发现，EmbeddingGemma 2 嵌入模型（Q8 约 330MB、768 嵌入维度）可用于在图片内检索文本。测试覆盖 22448 张英/韩/日截图，查询余弦相似度最高达 0.76813；该模型能一定程度跨语言理解词义，但对措辞敏感，且文本特征常主导相似度、视觉特征作用较弱。
一位 Reddit r/LocalLLaMA 用户在调试 4x5090 机器时因性能调优过快，熔化了墙上插座和插头，而 12VHPWR 接口反而完好。其建议安装 16/20 安培墙插，而非依赖标准 13A 保险丝，并提醒其他用户对 5090 限制功耗。
nicolasmmb 在 GitHub 发布 Pinax，一个 Go 编写的本地 MCP 服务器，可将含可选文本的 Markdown 和 PDF 索引为向量，通过余弦相似度返回文本片段，回答由 MCP 客户端完成。嵌入默认用 Ollama 的 embeddinggemma-2:740m（也可接 OpenAI 兼容 API），向量存于内嵌 Turso 数据库；索引由独立 worker 进程经 Unix socket 执行，serve 与 worker 分离，搜索不因文档处理中断。无选中文本的 PDF 会标记 pending_ocr，本版本不含 OCR。
CatVinci Studio 在 GitHub 发布 Textus，一款免费开源（MIT 许可）的下一代 Markdown 编辑器，支持 macOS、Windows 和 Linux。它内置 Textus AI，可在写作时以灰色续写（Tab 接受）、标注语法错误（Alt+Enter 修复）、以提议形式给出编辑建议，兼容 20 多家 LLM 及任何 OpenAI-compatible API，还可通过 Ollama 使用本地模型。文档保存为纯 .md 文件，可导出 PDF、Word、HTML，无账户、无遥测，编辑器完全支持离线。
uBruckhaus 在 GitHub 发布 Asterism，一个 GTK 4 / libadwaita 应用，把电脑上的编码代理（Claude Code、Codex、Copilot、Cursor CLI 等）、本地 LLM（llama.cpp、Ollama、vLLM 等）和 MCP 服务器以卡片和地图形式统一展示与管理。支持安装模型（下载经 SHA-256 校验）、设置上下文大小、在地图上连线把代理接入本地 LLM 或 MCP 服务器，并提供健康与安全检查，逐项说明代理可自主执行的操作及风险，改动带预览、备份和撤销。不请求 root，只读代理设置不读凭据文件；提供 AUR 包和 AppImage，MIT 许可。
推荐理由：原文详细说明了各代理与本地 LLM 的权限检查、SHA-256 校验和隐私边界，读者可据此评估是否引入这款本地管理工具。
开源项目 AIRelays 发布，这是一个本地 OpenAI 兼容 HTTP 中继服务器，默认运行时使用 AIRelays 自有的 ChatGPT 订阅登录，Claude 运行时通过本地 claude CLI 配置文件轮询自有订阅账号，不改动用户个人 Claude Code 登录。默认以自有 bearer token 保护中继，流量记录到 JSONL 文件并自动轮转（默认保留 7 天、总量 1 GiB），支持 macOS、Linux、Windows 桌面应用与 CLI 安装，定位为单用户本地个人使用，非共享或多用户转售服务。
GitHub 开源项目 Intelligent-Lighting-Control-System-Pro 采用 PC 上位机加 ESP32-S3 单片机的异构协同架构，在 16×16 WS2812B 矩阵上实现多模态具身光影交互。系统在 RTX 4060 上本地部署 Qwen2.5-7B-Instruct 牧濑红莉栖 Agent，集成 Mem0 记忆与 MCP 函数调用，并支持 MediaPipe 3D 手势追踪、视线追踪与面部情绪识别。项目使用 ESP-IDF 原生 RMT DMA 驱动，目标实现 60FPS 渲染、灯控 CPU 占用率低于 2%、视觉延迟小于 35 ms、大模型 TTFT 小于 250 ms，遵循 MIT License 开源。
GitHub 开源项目 ai-mesh 用单一 Rust workspace 协调 Linux、Windows、ARM 树莓派和 macOS（Apple Silicon）等异构机器，进行硬件感知的 LLM 推理路由，任何 OpenAI-SDK 客户端无需修改即可接入，自动调度到已加载对应模型的节点。同一协调器还驱动自然语言家庭自动化（Zigbee 灯光、传感器、Spotify、REAPER、语音），并提供 WebSocket 实时 PWA 仪表盘、eBay Hunts、在线模型转发（OpenRouter、Anthropic、Groq、Gemini，默认关闭）等能力。
GitHub 开源项目 ResumeRadar 上线，面向学生的求职准备工具：上传 PDF 简历后基于 PyMuPDF 和 185 项技能分类本地解析，按 18 个职业给出确定性加权准备的百分比与技能差距，并匹配 55 家印度公司（298 个职位）。AI 层通过 Ollama 本地运行 qwen2.5:3b 或 llama3.2 生成路线图、项目推荐与模拟面试准备，可完全离线工作；CPU 笔记本上 qwen2.5:1.5b 约 30 tok/s。
FatFish（肥鱼）v1.2.3 是一个运行在 Windows 命令行的 AI 助手，需 Python 3.8+ 和 DeepSeek API Key（必填），可选 Tavily Key 实现联网。它能读写文件、跑命令和代码、看图片、联网搜索，默认只弹一个对话窗口，写文件、删文件、跑代码等有副作用的操作前会请求用户批准，后台任务通过 /jobs 查看。
GitHub 用户 Mubarak Sayyad 开源了 Weather-AI-Agent，一个基于 Python 的 AI 天气助手。项目用 Ollama 的 tool-calling 让 LLM 自行决定调用 OpenWeatherMap API 获取实时温度、湿度、风速等数据，并以自然语言回答天气问题，同时支持通过 google-genai 调用 Google Gemini 云端模型。前端由 Flask 提供，API 密钥通过 .env 环境变量管理。
GitHub 上的 SURVEILLANT-system 是一个多摄像头 AI 监控智能系统（Alexandria University 毕业设计），可跨摄像头追踪行人并统一身份。系统采用 YOLOv8 分割加 ByteTrack 追踪、OSNet 加 FAISS 跨摄像头重识别、InsightFace 人脸搜索，并用 Ollama 上运行的 Qwen2.5-VL 生成人物描述，配合 all-MiniLM-L6-v2 实现语义搜索。还包含暴力检测告警、音频分析、基于 FastAPI 和 React + TypeScript 的 Web 指挥中心。