新闻、仓库与研究，按时间排列。
llm-install-2026 是一款可在 Windows 10/11 上本地运行大语言模型的离线应用，要求至少 8 GB 内存、10 GB 存储空间，配备 6 GB 显存的 NVIDIA GPU 可显著提速。软件支持 Llama、DeepSeek、Qwen、Gemma 四种模型，首次选用时需联网下载，之后完全离线运行、数据不出本机。它还集成 Whisper 语音转文字和 Open WebUI 浏览器界面。
yvgude 在 GitHub 发布 lean-ctx，一个面向 AI 编程代理的 Context Gateway，按 Select → Control → Prove 流程提供上下文选择、权限控制与使用审计。核心能力包括 16 种文件读取模式、density 压缩（如 density:0.4 保留约 40% token）、85+ shell 输出压缩规则、27 种语言的 Tree-sitter 结构理解、跨会话记忆与知识图谱，以及本地成本追踪和 CPAO 指标；文档同时声明其基准为模拟上限而非账单对比，带质量评估的 with/without 研究尚未进行。
Reddit 用户整理 llama.cpp Vulkan 后端的 76 款 GPU 基准数据（数据来自 Performance of llama.cpp with Vulkan #10879），结合 2026 年二手价格排出性价比 Top 20 与最不值 10 款。测试以 Llama 2 7B Q4_0 为基线，结果显示 Nvidia P102-100 约 $45 综合成本约 $0.1569/t/s 居首，AMD Instinct MI50 约 $120 可达 tg128 超过 100 t/s，宽位宽老卡和 HBM2 卡在解码性价比上明显优于窄位宽新卡；Tesla P40 同时出现在最佳与最差榜单中。
推荐理由：作者把 llama.cpp Vulkan 基准数据与 2026 二手价格结合算出性价比排名，还列出最不值榜单，可直接用于预算装机选卡。
mahmoudmohamedxx1-hue 在 GitHub 发布开源深度研究引擎 digdeep v1.0.0，免费且默认无需 API key。每份报告公开完整推理过程，对每条引用做原文比对审计并公布 integrity 百分比（示例：8 条引用审计后 88%），按证据、覆盖、诚实、清晰四维自我评分，写作前经红队攻击与 proposer-vs-skeptic 辩论。内置 13 个搜索引擎（6 个全网 keyless + 7 个垂直），默认模型链 GLM-5.3-Flash → GLM-4.5-Flash，无 key 时自动切换 LLM7 和 Pollinations。作者公布 quick preset 下早期运行平均约 52% 关键词覆盖率的诚实基线。
推荐理由：这个开源深度研究引擎把引用审计、自我评分等诚实机制全部公开可复现，其自我校验做法可迁移到其他研究工具。
nithya-prakash 在 GitHub 开源 HybridRAG，一个本地运行的多用户文档问答系统，采用 dense + BM25 混合检索、RRF 融合、cross-encoder 重排与拒绝式防幻觉，支持 Ollama 本地模型及 Groq、OpenAI、Gemini 托管模型。作者自建 116 题 8 文档评测集，混合检索 Recall@1 0.929，防幻觉 guard 准确率 93.1%、召回 76.5%，Groq gpt-oss-120b 生成 faithfulness 1.00，而本地 qwen2.5:3b 仅 0.43，表明检索非瓶颈、本地小模型是短板。作者亦如实指出评测集小且不独立、120B 模型自评偏乐观等局限。
推荐理由：作者用自建 116 题标注集给出检索、防幻觉与本地和托管生成模型的对照数据，可直接评估这套 RAG 方案的取舍。
GitHub 仓库 manishsachan069-cyber/Generative-ai-projects 收录一系列基于 Python、LLM、LangChain、LangGraph、RAG、AI 智能体与 Streamlit 的生成式 AI 实战项目。代表项目包括支持多 PDF 上传与检索工具调用的 Agentic RAG 聊天机器人、使用 Ollama 本地运行 Llama 3.2 3B 实现自然语言操作 SQLite 的 SQL 智能体，以及基于 Chroma 向量数据库的 PDF 问答系统。
CodeVetter 是一款本地优先的开源（ISC 协议）macOS 原生工作台，通过 Rust 引擎实际运行构建、测试和浏览器/API 行为来验证 coding agent 的代码改动，并输出可回放的证据包与裁决，而非依赖 LLM 意见。它以桌面应用、CLI 和 MCP server 形式运行，代码不出本机，支持用户自备 Anthropic / OpenAI / OpenRouter API key。目前覆盖代码评审、bug 发现、agent 代码验证与调试回放，合成用户 QA 等能力仍处原型阶段。
作者开源了从零编写的 LLM 推理引擎 mini-infer-engine，基于 Qwen2.5-0.5B-Instruct 在纯 CPU 笔记本上完整实现四个阶段并实测。连续批处理把 8 请求工作负载吞吐从 11.55 tok/s 提到 35.61 tok/s（3.08x）；Paged KV-cache 因未写定制 fused kernel 且测试提示长度相近，吞吐降至 13.94 tok/s、内存节省 0%，作者如实记录这是工作负载相关的取舍；优先级调度器通过抢占让 HIGH 请求实现 0ms 等待、98ms 首 token 延迟，被抢占请求总耗时从 8.06s 增至 10.49s。
推荐理由：作者从零实现了连续批处理、Paged KV-cache 和优先级调度，并用同负载实测各阶段吞吐，可作推理系统学习参考。
langgraph-llama-cpp-starter 是一个基于 LangGraph 和 llama-cpp-python 的开源模板，用于在本地构建 AI 聊天机器人，支持函数调用和智能体开发，无需依赖云服务。项目支持 Windows、macOS 和 Linux，要求 Python 3.8 以上、至少 4 GB 内存和 500 MB 磁盘空间，采用 MIT License 开源，可通过 GitHub Releases 下载使用。
ScriptKittyOS 发布 Trinity，一个运行在本机的个人 AI 智能体，基于 Elixir 和 BEAM、Phoenix LiveView 界面，Apache-2.0 协议，目前为 pre-alpha。所有工具调用经权限门审批并写入 Ed25519 签名的哈希链回执，支持人格与分层记忆、技能学习、MCP 客户端与服务端、子代理委派、定时任务、Lua 进程内沙箱和成本账本；2026-09-23 获 OpenSSF Best Practices 银牌，M0 至 M5a 等里程碑已批准，消息平台适配与原生桌面外壳尚未完成。
InferSim 是一款轻量级模拟器，帮助用户理解大语言模型在推理阶段的性能表现。它支持选择模型类型、调整 batch size 等设置并运行仿真，输出可保存的性能指标，面向非技术用户设计。软件要求 4 GB 内存和 100 MB 磁盘空间，仅限个人与教育用途，最新版本可在其 GitHub Releases 页面下载。
javimosch 发布 machin-anvil（由 machin-colibri 更名），一个用小众语言 machin（MFL）从零编写的 LLM 推理引擎，零依赖编译为单一二进制文件。在 Intel i5-13400T 上以 int8 运行 Llama-3.2-1B-Instruct 达约 21 tok/s，比参考 C 实现 llama2.c 的 runq 快 4 倍且逐 token 一致，mmap 冷加载 43 ms。
推荐理由：用一种小众语言从零写成的零依赖推理引擎，给出与参考 C 实现逐 token 对比的实测数据，是理解 CPU 推理性能边界的一个具体样本。
llm-router 是一个开源路由工具，通过钩子在编程工具的模型读取提示词前拦截，用免费或本地模型先起草答案，无需 API 密钥即可在 Claude Pro/Max 订阅下运行，以减少五小时窗口内的配额消耗。草案默认仅作提示，Claude 仍接管回合，除非设置 LLM_ROUTER_ZERO_CLAUDE=1；正则启发式在 1,571 条实测提示词中高置信分类了 788 条。项目在 RouterArena 基准得 72.35 分，节省数据区分已验证与未验证并公开在 docs/MEASUREMENT.md。
推荐理由：这个路由工具把免费模型草案嵌入 Claude Code 的钩子流程，并公开了测量方法与负面结果，方法细节可直接参考复用。
GitHub 用户 maxh8086 开源了 TokenFrugal，一个 MCP 服务器，把样板代码、测试、文档、审查和研究等例行任务交给 Ollama 或任何 OpenAI 兼容 API 的免费本地 LLM，云端模型只负责架构和难点决策，每次任务只返回 150-300 token 的摘要。它将 282 个 agency-agents 人格映射到 11 个角色（builder、analyzer、reviewer、security 等），每个角色限制 4-6 个工具的 allowlist，失败返回 task_id 可用 resume_task 恢复，且无静默云端回退以避免意外花费。
推荐理由：原文给出了完整的部署步骤和角色分工设计，读者可以据此把例行编码任务交给本地小模型以节省云端 token。
一位 r/LocalLLaMA 用户在约 $14k–$15k 预算内权衡本地 agentic coding 方案：$13,500–$14,000 的 Mac Studio M5 Ultra（512GB RAM）可跑大模型和 128k+ 上下文，但 TTFT 慢、生成约 35+ tok/s；两台 DGX Spark 共 $14,000、prefill 快，但仅 256GB VRAM，只能用 IQ3/IQ2 低比特量化。按每月 $500+ 的 API 账单算，$14k 约等于 2 到 2.5 年云服务费用，作者发帖征求真实使用经验。
FPGArtktic 发布 shuttle-stack v1.0.0，一个部署在本机的 MCP 推理层：两个 rootless Podman 下的 llama-server 实例（Qwen3-8B Q4_K_M 和 Qwen3-1.7B Q8_0）加一个 MCP 代理，Agent 传文件路径让本地模型读取并只返回带引文出处的答案。实测把读 install.sh 的 12844 token 上下文开销降到 468 token，节省 97%；容器网络无出站路由并用两探针审计，20 个评测用例在 long 服务器上 20/20、fast 上 18/20。九个里程碑已完成六个，需 Arch Linux 或 Ubuntu 24.04+、约 12.5 GB 磁盘，GPU 可选。
推荐理由：项目用实测数字说明本地模型替 Agent 读长文件能省多少上下文，安装、隔离和评测方法都可复现。
DevCop95 在 GitHub 发布 cYHBer Console，一个零依赖的本地 ChatGPT 风格 Web 界面，通过 Ollama 支持 abliterated（无审查）模型、实时流式输出与 Agent 工具调用，默认模型为 richardyoung/qwen2.5-3b-instruct-abliterated。工具含 web_fetch、web_search、文件读写、PowerShell 命令执行及 DNS、端口扫描等红队侦察助手，文件操作限制在项目目录内，web_fetch 阻断 IPv4/IPv6 SSRF 目标，侦察工具限单一目标并封顶端口与并发；项目内置 74 项测试，采用 MIT 许可证，声明仅限授权红队、研究与教育用途。
推荐理由：项目只用原生 Node 模块零依赖运行，并给出了目录沙箱、SSRF 阻断等安全设计细节，适合想本地部署带工具调用的去审查模型界面的读者参考。
开源项目 k8s-ai-agent-platform 在单台笔记本上以 k3s + GitOps 运行完整的本地 AI 平台，无需云端、GPU 或 API key，通过 Ollama 在 CPU 上跑 3B 模型（默认 qwen2.5:3b）。内置 LangGraph 智能体 RAG（支持 OCR 与引用溯源）、6 个 MCP 工具服务器、LiteLLM 网关和 26 题规则化评测质量门。核心服务约需 13.7 GB 内存，10 个端到端工作流，MIT 许可，成本为 $0。
atretador 在 GitHub 开源 Unswarm，一个用于跨多台机器管理 LLM 推理基础设施的自托管控制面，可注册远程 agent、编排 llama.cpp 和 vLLM 等 Docker 容器，并通过 /v1/chat/completions 提供 OpenAI 兼容代理。调度器按需加载和卸载模型，让有限 VRAM（如 24 GB）看起来可服务 10 个模型，支持独占与共置模型分组、会话亲和（默认 45 秒驻留窗口）防止工具调用间的模型反复切换，并附带基准测试、用量分析、成本跟踪、路由配置和 Go 编写的 CLI。
推荐理由：README 详细给出了共享 VRAM 调度、会话亲和和切换开销的取舍说明，读者可据此判断它是否适合自己的多模型自托管场景。
RAGNA Studio 在 GitHub 上开源，是一个自托管的 AI Agent 工作区：Agent 读取文档、把状态保存在数据表中，可互相委派任务并按 cron 定时运行，数据由用户自持。支持 Anthropic、OpenAI、Google、Mistral 和 LM Studio 本地模型，数据库为 PostgreSQL 18 加 pgvector，内置邮件起草、图像与视频生成、看板任务、MCP server 连接器，不发送遥测，采用 AGPL v3.0 协议。
开源项目 TalentEngine-AI 提供技能优先、隐私优先的候选人评估，用仓库、报告、作品集等实际成果取代关键词与学历筛选，且不设自动拒绝路径，由具名人工做决定。学历默认只占 10%、上限 25%；身份先匿名化，人决定后才解密。文档公布全部实测数据：30/30 已知提示词注入攻击被标记、0 误报，但未见攻击仅拦截 1/10，故采用架构级限制兜底；架构含 Legal Shield、Budget Funnel、Universal Translator、HR Dashboard 四个密封模块，AI 成本以本地优先、仅证据最密的前 5% 走商业模型。
HybridAIOne 开源了 HybridClaw，一个可自托管的智能体运行时，内置 79 个业务技能，涵盖 CRM、营销、财务、云运维等，并以 Qwen/Qwen3.6-27B-FP8 作为小模型验证基线。凭据存放在加密运行时存储中，通过 SecretRef 在执行时解析，使密钥不进入模型上下文；本地代理、托管代理与可信对等实例之间通过端到端加密 A2A 信封协作。最新版本为 v0.39.2，支持 Apple silicon 上 MLX 本地模型、Docker 沙箱、OpenAI 兼容 API 和 Discord、Slack、Teams 等多种通道。
推荐理由：官方 README 详细说明了小模型跑业务技能的结构化方法和凭据隔离设计，读者可以了解一个可自托管的智能体运行时怎么搭。
一位 Reddit r/LocalLLaMA 用户分享了在 HuggingFace 上发现的一款小众微调模型，称其在自己的代码库中效果很好。作者推荐了更小的 iq3_s 量化版本供尝试，并附上了原模型和量化版链接。
tammert 在 GitHub 发布 defibrillator，一个用 Go stdlib 写的单文件反向代理，部署在客户端与闲置关机的 Ollama GPU 机器之间：有请求时发送 Wake-on-LAN 唤醒机器并转发（SSE 流式转发保持），超过 IDLE_TIMEOUT（默认 30m）无请求则通过 ssh 执行 systemctl poweroff 关机。并发请求共享同一次唤醒，全部配置走环境变量，另提供约 2 MB 的 Docker 镜像，仓库附 test.sh 覆盖 17 项断言的测试矩阵，MIT 许可。
推荐理由：这是一个单文件无依赖的反向代理工具，读者可以按 README 直接配置环境变量，让闲置 GPU 机器通过 Wake-on-LAN 自动开关机。
fabiomn97 开源了 sloan-brain 项目，将其在 MIT Sloan 的所有课件、阅读、案例、作业、笔记等私有资料建成一个可问答的个人知识库，部署在 www.brain.fabio.cool，用一次性邮件验证码登录，不依赖 MIT 账号，毕业后仍可使用。流程上由 Canvas 抓取脚本下载原始文件，转换为带 front matter 的 Markdown 语料存入 git，GitHub Actions 同步到 Cloudflare D1 全文索引并由 Worker 提供服务；提问时小模型扩展检索词，全文搜索定位段落，Llama 3.3 70B 生成带 [1]、[2] 引用的短答案，点击引用可查看原文并高亮。
推荐理由：作者把个人知识库完整跑在 Cloudflare 免费额度上，仓库给出了架构、成本上限和重建流程，可直接迁移复用。
jack-h-park 开源了个人作品集网站 jackhpark-studio，基于 nextjs-notion-starter-kit 构建，通过 react-notion-x 渲染 Notion 内容，并扩展了 RAG 摄取、管理后台和可配置聊天运行时。技术栈包括 Next.js 15、React 19、TypeScript、Supabase + pgvector、LangChain，遥测使用 Langfuse 和 PostHog，支持通过 Ollama 或 LM Studio 接入本地 LLM。该仓库为参考实现，需自备 Notion、Supabase 和模型服务商账号才能完整运行。
Hugging Face 上线 minas2025/Granite-4.2-3B-Uncensored-Conversational 模型，提供 Q6_K 量化版本，可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具本地运行。模型支持 llama-server 启动 OpenAI 兼容 API，并可接入 Pi、Hermes Agent、OpenClaw 等 Agent 工具使用。
RAGForge 是一个开源工具包，用于构建基于文档的 AI 助手，支持上传处理 PDF、切分文档、生成向量嵌入并存入向量数据库，回答问题时附带来源引用，并提供 Streamlit 测试界面。技术栈包括 Python、LangChain、ChromaDB 及 OpenAI 兼容 LLM，项目采用 MIT 许可证，托管能力仍在规划中。
Muhammad Balal Ansar 在 GitHub 开源了一个 Streamlit 聊天机器人项目，使用 OpenAI GPT-4o 生成回复，并通过 Mem0 和 Qdrant 向量存储实现持久记忆，支持跨多轮对话保持上下文和查看历史记录。项目要求 Qdrant 运行在 localhost:6333，可按仓库说明克隆并安装依赖后运行。
SourceWeft 发布开源 AI 工作站，定位为可自托管的 ChatGPT 与 NotebookLM 替代品，整合对话、知识、文件与任务执行。支持多 Agent 与子 Agent 协作、Skill 库、MCP 工具集成、沙箱执行、BYOK 多模型，提供 macOS、Windows、Linux 客户端和 Docker 自托管方案，当前版本为 v0.3.0-rc.3，采用 Apache License 2.0。
GitHub 上开源了一份 Saint Martin's University CSC 565（AI Agent 架构与开发）课程作业仓库。作业 1 的 Part A 通过环境变量读取 Anthropic API key 并向 Claude 发送一次提示词，Part B 用 Ollama 本地运行 llama3.2:3b 模型。仓库通过 .gitignore 排除 .env 文件，确保 API key 不会被提交。
GitHub 用户 atchayasabesan-blip 上线了 LLM_LOCALINFERENCE 仓库，用于本地大语言模型推理。仓库包含 dataset 文件夹、notebook、local_llm.py 和 requirements.txt，目前尚无 Stars、Watchers 或 Forks，也没有仓库描述。
vhallac 发布实验性工具 Semblr，作为 pi coding agent 扩展，永久保存每轮对话并以语义向量加 BM25 混合检索替代有损摘要来装配上下文。每轮对话存为 JSON 文件并嵌入 openai/text-embedding-3-small 向量，支持从 ~/.claude/projects 导入 Claude Code JSONL 历史，提供 search_interactions、get_round_details 等三个工具下钻历史轮次，并附检索评测脚本报告 Hit@5、Recall@5 和 MRR。项目以 MIT 协议开源，作者明确表示核心假设仍在验证中。
MIOSA 发布了开源 Agent 工具 OSA（Optimal System Agent），基于 Signal Theory 对输入做信号分类并按权重把任务路由到合适的模型，一条命令安装、本地运行、支持任意模型。引擎为 Elixir/OTP，界面为 Rust ratatui TUI，内置 82 个工具、27 家提供商与 fallback 链、跨会话记忆与 SICA 技能学习，支持 ask/auto-edit/plan/overdrive 等权限模式和 MCP 客户端/服务端，推荐入门组合为 Ollama Cloud 的 glm-5.2:cloud（100 万 token 上下文）。
推荐理由：README 详细写清了安装方式、本地架构、权限模式与内存分层，读者可以据此评估这个本地 Agent 是否适合自己部署。
Ed Donner 的 LLM Engineering 课程配套仓库，提供 8 周分模块的实操项目，最终在 Week 8 构建一个自主 Agentic AI 解决方案。入门部分指导安装 Ollama 并运行 llama3.2（或小机器用 llama3.2:1b），警告 70B 参数的 llama3.3 过大不适合家用电脑。课程可在 Cursor 中学习，付费 API 费用可选，全程花费控制在几美元内，也可用 Ollama、Gemini、OpenRouter 等免费替代。
ashevchuk 在 GitHub 开源 personal-wiki，一个以本地 markdown 文件为唯一数据源的个人知识库，附带全文搜索、WYSIWYG 编辑器、wiki-links 反链和 MCP server，可让 Claude 等客户端搜索、读取乃至写入笔记。项目编译为单个静态 C++ 二进制，无需数据库服务器，可在 Raspberry Pi 等单板机上运行；写入权限默认关闭并记录审计日志，SQLite 仅作可重建的搜索索引，语义搜索为可选功能（本地 llama.cpp 或 OpenAI 兼容 API）。
推荐理由：原文以 markdown 文件为唯一数据源并内置 MCP server，给出了完整的安全模型与 ARM 单板机部署细节，方法可直接迁移到自托管笔记场景。
GitHub 开源项目 order-intake-ai 用本地模型（Ollama 运行 qwen2.5vl 7B）把客户订单邮件、PDF 和照片转成 ERP 可导入订单，全程不调用 OpenAI 或云端 API。在 761 条 held-out 订单行测试中，加入客户记忆后自动匹配率达 87.9%，且 0 次错误自动匹配；难以确认的行送人工审核并给出 top 3 候选。
开发者在 GitHub 发布了开源 macOS 工具 Lexa，一个 Grammarly 替代品，选中任意应用中的文字按 ⌥⌘G 即可获得语法纠错并高亮改动。支持 Correct、Make Clear、语气调整和 15 种语言翻译，可接入 OpenRouter、Groq、Gemini、Mistral 等 7 个免费 API 提供商、Ollama/LM Studio 本地模型，以及 ChatGPT/Claude 订阅 CLI；API key 存于 macOS Keychain，需 macOS 26 或更高版本，MIT 许可。
推荐理由：原文完整列出支持的免费 API 提供商、本地模型和订阅 CLI 三类接入方式，macOS 用户可直接照装使用。
RettWilson22 开源了 Back of the Book，对 PDF、PPTX、Markdown、纯文本课程资料提问并生成带精确页码引用的答案，还支持从资料或任意主题生成三档难度的选择题测验。检索默认用 BM25 加 embeddings 融合再加 cross-encoder 重排，在 OpenStax Principles of Data Science（561 页、1,479 个 passage、75 题）上 Recall@1 达 76.0%，MRR@10 达 0.834；题目集在任何检索运行前已提交。答案可来自 Groq 免费档、Claude 或无需 API key 的离线引用模式，项目含 118 个测试并提供 Streamlit 在线演示。
推荐理由：作者把检索评测问题集先提交再跑分，并公开四种检索模式的对比数据，方法对自建 RAG 系统的人有参考价值。
开源项目 cg50-espmod 通过内置 Seeed Studio XIAO ESP32-C3，为 Casio fx-CG50 计算器添加 Wi-Fi 和 AI 助手功能，提供 CasioWIFI 和 CasioGPT 两个 .g3a 插件。计算器经 UART 以 9600 8N1 与 ESP32 通信，后者负责 Wi-Fi、TLS 及 Ollama Cloud 流式请求，固件默认使用 gemma4:31b、温度 0.10、最多 220 tokens。项目需拆机焊接，固件和插件已在 GitHub 开源。