按兴趣浏览，循来源深入。
开源项目拾字发布桌面端 0.52.0 与浏览器插件 2.18.8，把 B 站字幕抓取、无字幕时的语音转录（支持本地 whisper.cpp）、AI 校对总结与对话整合为一条流水线。字幕、笔记、对话存于本地 SQLite，支持 embedding 切块建跨视频知识库，问答带引用可跳转视频；API Key 用 Windows DPAPI 加密，文本仅在主动触发时发送给自配服务商。
推荐理由：开源的 B 站视频 AI 笔记工作台，字幕抓取、语音转录、总结对话和跨视频知识库都在本机完成，适合关注本地优先数据隐私的用户。
Sofuu 开源了一个 AI 专用通用 JavaScript/TypeScript 运行时，把本地 LLM 推理、自主 Agent 循环、加密向量记忆 CMA v2、MCP 和 HTTP 服务器整合进单个 4.8 MB 二进制，无外部依赖。支持 GGUF、SafeTensors、PyTorch 等多格式，在 Apple M2 Pro 和 Raspberry Pi 5 上公布了与 llama.cpp 对比的逐项推理速度实测表，其中 Qwen3-0.6B 在 Pi 5 上 prefill 快约 11%。引擎 MIT 开源，仅 QTSQ 记忆格式规范保持专有，目前 macOS 提供预编译二进制，项目由 Haruhito 独立开发中。
推荐理由：作者给出了在 M2 Pro 和树莓派 5 上与 llama.cpp 对比的具体速度数据和测试条件，可据此评估这个单二进制运行时的实际推理性能。
meanderinghuman 发布 storeops-copilot 项目，用 QLoRA 在免费 Kaggle T4 上微调 Qwen2.5-3B，结合代码级安全网关和大模型兜底，在 500 个held-out场景中达到 95.4% 任务成功率，94% 请求本地处理，有害动作率 0.4%。训练数据由 GLM-5.3 出题、DeepSeek-V4.1-Flash 以真实工具执行作答，过滤后保留 2,645 条；网关强制规则包括订单只能进待确认队列、产品 ID 必须来自同会话搜索、数字必须来自工具返回。项目基于 Walmart M5 数据集，附 1.5B 与 3B、多种量化精度的完整对比评测和失败复盘，代码 MIT 许可，3B 模型为 Qwen Research License。
推荐理由：原文给出完整的训练配方、评测数字和失败复盘，读者可以照着在免费 T4 上复现这条小模型本地 Agent 路线。
LinTzuTang 在 GitHub 发布 Local Agent Lab，一个基于 Ollama、LangChain 1.x / LangGraph、自建模型网关和 PostgreSQL 的 Streamlit 工作台，可对 107 个本地模型做能力标注、一键下载和最多六模型同题对比，并内置九个 LangGraph 多智能体工作流与本地语音助手。近期更新包括级联、轮次、全双工三种语音对话模式，本地神经 TTS（Kokoro-82M、Qwen3-TTS 0.6B 等）与 TTS 基准，前端模型定为 Gemma 4 12B（7.7 GB，十模型七对话测试全对且无编造）。
推荐理由：作者在单台 Mac 上跑通本地 LLM 评测与多智能体演示，并给出各环节在 M5 Pro 上的实测延迟与吞吐数据。
EinaasKharsah 在 GitHub 开源了一个完全本地运行的客服 Agent，基于 10 张 Q&A 卡片回答客户问题，用 Ollama 里的 qwen2.5:3b 做决策与回答，bge-small-en-v1.5 做嵌入、bge-reranker-v2-m3 做重排、Qdrant 做向量库。核心设计是
推荐理由：作者用逐步评测数据解释每个设计取舍，比如让 LLM 理解、代码路由把准确率从 80% 提到 88%，方法可迁移到类似的小型客服 Agent 项目。
AlexanderReaper7 发布 InferMux，一个内置 GPU warden 的 llama-swap 分支，为本地模型提供统一端点，并在其他程序需要 GPU 时自动卸载模型且不中断用户刚发出的请求。warden 通过 NVML 监控显卡，游戏或 ComfyUI 需要时取消批量任务、暂停消费者、释放空闲的 ComfyUI；每个客户端持有密钥区分批量与交互请求，交互请求期间模型不会被卸载。项目支持 NixOS 模块、Web UI、双主机互为备份、WebSocket 流转发和断点续写的批量作业，AGPL-3.0 协议开源。
推荐理由：给出了在本地让大模型、ComfyUI 和游戏共享同一块 GPU 的完整方案，含配置示例、密钥与让出机制，方法可直接复用。
dkruyt 在 GitHub 开源了 privacy-llm-gateway，一个隐私感知的 OpenAI 兼容 LLM 网关，对每个 model auto 请求在本机做两级检查后决定路由到云模型还是本地模型。规则检测器查找邮箱、IBAN、信用卡号、各类 API 密钥、JWT 和内部机密标记等，命中即强制走本地并固定会话；本地分类器对整段对话（含 PDF 附件）按可配置类别打分，仅在确信公开且各类别得分都低时放行公共上游。任何失败一律路由本地、不回退公有云，敏感会话粘滞，客户端无法选择公共模型。
推荐理由：作者给出本地检测器加分类器的双层隐私审查设计和失败即走本地的路由保证，适合关注敏感数据不出内网的团队参考。
GoLeM 在 GitHub 发布，这是一个让 MoE 大模型专家权重保持休眠在磁盘、使用时才逐级调入内存和 VRAM 的推理服务器，保证每个被选中专家的矩阵乘法都在 GPU 上执行。目标模型为 GLM-5.3-Flash，DeepSeek-V4.1-Flash 为实验性支持；在 RX 7900 XTX（24 GiB）+ 93 GiB DDR5 + 4TB NVMe 上，UD-Q4_K_XL 量化 262144 上下文冷/热 prefill 11.1s/13.4s，生成 2.42/2.12 token/s。
推荐理由：原文给出了 MoE 专家按需从 SSD 流式调入 VRAM 的完整实现与实测数据，读者可按硬件配置评估自己的本地部署可行性。
Praecise 在 GitHub 发布 praecise-engine，一个位于应用与推理后端之间的加速层，通过推测解码、硬件感知调优和统一服务接口加速 token 生成，首个支持的后端是 llama.cpp。实测显示 n-gram 自推测在结构化文本上带来 1.5 到 3.5 倍提升（SQL 3.5x），对散文无收益；托管后端（vLLM、SGLang、TensorRT-LLM、transformers）因掌握解码循环而无法被插入推测解码。项目还包含 praecise-host 沙箱化多引擎托管、job 引擎、视频感知管线等组件，整体采用 Apache-2.0 许可。
推荐理由：原文给出实测数据说明推测解码在结构化文本上值1.5到3.5倍、在散文上无收益，并解释了托管后端为什么在结构上无法做推测解码。
Reddit 用户 /u/Electrical_Ninja3805 公开一份 briefing 文件，让 Claude Code 等强模型写规格与任务卡，由本地 8-bit Ornith 1.5-9B 执行命令、构建、git 等机械性工作，以降低 Claude token 开销。文件涵盖小模型能力预期、精确到文件行范围与预期输出的任务写法、每任务新会话等运行规则，以及用 git 和日志而非模型自述做验证。实测中 9B 完成 75-commit 的双仓库合并且回归测试全过，但耗时约一天，远慢于 Claude 单独约一小时。
推荐理由：作者给出一份可直接复用的 briefing 文件，并附 75-commit 合并实测与耗时对比，读者可据此评估本地小模型跑编码任务的取舍。
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF，2-bit 版在体积缩小 45% 的同时保留 91.5% top 1 精度，可在 150GB 内存上本地运行。1-bit 版约 89.9%，4-bit UD-Q4_K_XL 达 98.0%；作者称其为同尺寸最强开源模型之一，并提供 Hugging Face 权重链接与本地运行指南。
推荐理由：给出了各量化档位的具体精度数字和内存门槛，读者可直接对照自己的硬件条件选择合适的版本。
anbow1 开源了针对本地大语言模型的编码评测仓库 llm-code-eval，含 base、hard、practical、tools、scene 五套测试，覆盖 Three.js/TypeScript、Python、日常改码、工具调用和大型图形任务。实测显示 RTX 5090 上六个设置在 base 套件得 100%，Qwen3.8-27B GSQ-RCO IQ3_XXS MTP 在 RTX 4080 上以 99.2% 排总榜第一；DeepSeek-V4.1-Flash 全部运行得 100%，192 GB 内存把速度从 11 提到 24-26 tok/s；GLM-5.3-Flash 在 h_p3_line_diff 上 7 次中 6 次超时。
推荐理由：原文给出五套本地模型编码测试的实测数据，按最高分与多轮均值双排序，读者可据此判断量化档位和推理档位对结果的影响。
JunWan666 发布 AstrBot for Android，通过集成 PRoot Ubuntu 环境的约 720 MiB 完整 APK，在 ARM64 Android 8.0+ 设备上免 Root 本地部署和管理 AstrBot 与 NapCat。应用提供双服务启停、内置 WebUI 后台、QQ 登录、人设库（内置 12 款原创预设）、实时日志、备份恢复及独立在线更新，代码采用 MIT 协议开源。
推荐理由：把 AstrBot 与 NapCat 的部署运维塞进单个安卓 APK，人设库、备份回退和在线更新都做完，想在手机上本地跑 AI 伴侣的读者可以拿来直接用。
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由：针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。
NekomyaDev 开源了 Nudge，一门面向 AI Agent 的类型化编程语言，提供原生字节码 VM 和独立编译器，可编译到 Python 和 TypeScript。语言层内置 LLM schema 一等类型、10 种编译期检查的显式效果、预算硬约束、par race 并发原语和确定性 NTF v1 trace 回放，可在 CI 中以 $0 做回归测试，还支持单二进制打包（约 2.09MB）、WASM 离线回放、MCP 集成、Computer Use 与 PII 脱敏，采用 Apache-2.0 许可证。
推荐理由：把 schema 校验、效果声明、预算上限和 $0 trace 回放做进语言层，对受够胶水代码的 Agent 开发者是一套可试的新思路。
Rodrigo Henriquez（@SirFassler）在 GitHub 开源 lukk-node，一个仅用 Python 标准库的客户端-服务端守护进程与 CLI，面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测（温度、功耗、负载、VRAM），支持委托式流式推理（NDJSON），并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏；v1.2.0 加入可选 Bearer token 认证，另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。
推荐理由：作者开源了一个零依赖的 GPU 节点守护进程，把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI，适合本地跑模型兼打游戏的场景。
GitHub 上的 OmniFree 项目把多家免费层资源整合成个人云，用故障转移路由聚合 Groq、Gemini、Mistral、OpenRouter 等免费 LLM API，并跨 R2、B2、GCS 等免费存储分散文件，还提供数据库、Pi-hole DNS 过滤和计算资源，通过暗色模式移动 PWA 管理。项目采用六边形架构，core/ 定义端口与智能路由，每个服务商是 plugins/ 下的适配器，配置集中在 config/providers.yaml。附带的免费额度核查表（2026-10-19 核对）记录了 Oracle A1 缩至 2 OCPU/12GB、Koyeb 被 Mistral 收购后取消免费层、Cerebras 改为 30 天 $5 试用、Gemini 限额两次下调等变化，并给出对应配置调整。
推荐理由：仓库附有 2026-10 逐家核对的免费额度变化表，读者可据此了解各免费层现状与部署成本。
GitHub 上的 fdanobey/OBEY-api-gateway 是一个 OpenAI 兼容的 AI 网关，提供多供应商路由、自动故障转移、熔断器与限流冷却，支持 OpenAI、Ollama、AWS Bedrock、Groq、vLLM 等供应商，单个 Rust 二进制、无运行时依赖。特性包括两级响应缓存、prompt-cache 感知路由、Codex OAuth 登录与网页搜索桥接、guardrail 管线、Agent 循环检测、虚拟密钥管理、token 与工具定义压缩，可通过 Windows 安装包、Docker、Railway 或源码构建部署。
推荐理由：单文件 Rust 网关把故障转移、限流冷却、缓存路由和虚拟密钥做进一个仓库，文档细到超时字段，适合自建多供应商路由时参考。
muguang1224 发布了用 Ollama 本地模型驱动的 QQ 聊天机器人项目 qq-ollama-bot，通过 NapCat 收发消息，不需要云端 API，支持 Windows / Linux / macOS。它用 qwen3.5-4b 聊天、qwen2.5vl:3b 看图，加 YOLO 做目标检测，具备情绪系统、长期记忆、人设进化、语音回复（edge-tts / GPT-SoVITS 声音克隆）、主动聊天和 QQ 空间发说说等功能；并用 Prompt 层加代码正则两层拦截，阻止模型编造「刚刷到视频」等假经历。README 附完整安装步骤、风控与账号安全提示，以及图片缩放实测，原图送模型需 46-200 秒，缩到 256px 后降到 4.4 秒。
推荐理由：README 讲清了情绪系统、长期记忆和两层防编造的构造方法，还给出图片缩放和显存的实测数据，做法可迁移。