按兴趣浏览，循来源深入。
meanderinghuman 发布 storeops-copilot 项目，用 QLoRA 在免费 Kaggle T4 上微调 Qwen2.5-3B，结合代码级安全网关和大模型兜底，在 500 个held-out场景中达到 95.4% 任务成功率，94% 请求本地处理，有害动作率 0.4%。训练数据由 GLM-5.3 出题、DeepSeek-V4.1-Flash 以真实工具执行作答，过滤后保留 2,645 条；网关强制规则包括订单只能进待确认队列、产品 ID 必须来自同会话搜索、数字必须来自工具返回。项目基于 Walmart M5 数据集，附 1.5B 与 3B、多种量化精度的完整对比评测和失败复盘，代码 MIT 许可，3B 模型为 Qwen Research License。
推荐理由：原文给出完整的训练配方、评测数字和失败复盘，读者可以照着在免费 T4 上复现这条小模型本地 Agent 路线。
LinTzuTang 在 GitHub 发布 Local Agent Lab，一个基于 Ollama、LangChain 1.x / LangGraph、自建模型网关和 PostgreSQL 的 Streamlit 工作台，可对 107 个本地模型做能力标注、一键下载和最多六模型同题对比，并内置九个 LangGraph 多智能体工作流与本地语音助手。近期更新包括级联、轮次、全双工三种语音对话模式，本地神经 TTS（Kokoro-82M、Qwen3-TTS 0.6B 等）与 TTS 基准，前端模型定为 Gemma 4 12B（7.7 GB，十模型七对话测试全对且无编造）。
推荐理由：作者在单台 Mac 上跑通本地 LLM 评测与多智能体演示，并给出各环节在 M5 Pro 上的实测延迟与吞吐数据。
EinaasKharsah 在 GitHub 开源了一个完全本地运行的客服 Agent，基于 10 张 Q&A 卡片回答客户问题，用 Ollama 里的 qwen2.5:3b 做决策与回答，bge-small-en-v1.5 做嵌入、bge-reranker-v2-m3 做重排、Qdrant 做向量库。核心设计是
推荐理由：作者用逐步评测数据解释每个设计取舍，比如让 LLM 理解、代码路由把准确率从 80% 提到 88%，方法可迁移到类似的小型客服 Agent 项目。
AlexanderReaper7 发布 InferMux，一个内置 GPU warden 的 llama-swap 分支，为本地模型提供统一端点，并在其他程序需要 GPU 时自动卸载模型且不中断用户刚发出的请求。warden 通过 NVML 监控显卡，游戏或 ComfyUI 需要时取消批量任务、暂停消费者、释放空闲的 ComfyUI；每个客户端持有密钥区分批量与交互请求，交互请求期间模型不会被卸载。项目支持 NixOS 模块、Web UI、双主机互为备份、WebSocket 流转发和断点续写的批量作业，AGPL-3.0 协议开源。
推荐理由：给出了在本地让大模型、ComfyUI 和游戏共享同一块 GPU 的完整方案，含配置示例、密钥与让出机制，方法可直接复用。
dkruyt 在 GitHub 开源了 privacy-llm-gateway，一个隐私感知的 OpenAI 兼容 LLM 网关，对每个 model auto 请求在本机做两级检查后决定路由到云模型还是本地模型。规则检测器查找邮箱、IBAN、信用卡号、各类 API 密钥、JWT 和内部机密标记等，命中即强制走本地并固定会话；本地分类器对整段对话（含 PDF 附件）按可配置类别打分，仅在确信公开且各类别得分都低时放行公共上游。任何失败一律路由本地、不回退公有云，敏感会话粘滞，客户端无法选择公共模型。
推荐理由：作者给出本地检测器加分类器的双层隐私审查设计和失败即走本地的路由保证，适合关注敏感数据不出内网的团队参考。
GoLeM 在 GitHub 发布，这是一个让 MoE 大模型专家权重保持休眠在磁盘、使用时才逐级调入内存和 VRAM 的推理服务器，保证每个被选中专家的矩阵乘法都在 GPU 上执行。目标模型为 GLM-5.3-Flash，DeepSeek-V4.1-Flash 为实验性支持；在 RX 7900 XTX（24 GiB）+ 93 GiB DDR5 + 4TB NVMe 上，UD-Q4_K_XL 量化 262144 上下文冷/热 prefill 11.1s/13.4s，生成 2.42/2.12 token/s。
推荐理由：原文给出了 MoE 专家按需从 SSD 流式调入 VRAM 的完整实现与实测数据，读者可按硬件配置评估自己的本地部署可行性。
Praecise 在 GitHub 发布 praecise-engine，一个位于应用与推理后端之间的加速层，通过推测解码、硬件感知调优和统一服务接口加速 token 生成，首个支持的后端是 llama.cpp。实测显示 n-gram 自推测在结构化文本上带来 1.5 到 3.5 倍提升（SQL 3.5x），对散文无收益；托管后端（vLLM、SGLang、TensorRT-LLM、transformers）因掌握解码循环而无法被插入推测解码。项目还包含 praecise-host 沙箱化多引擎托管、job 引擎、视频感知管线等组件，整体采用 Apache-2.0 许可。
推荐理由：原文给出实测数据说明推测解码在结构化文本上值1.5到3.5倍、在散文上无收益，并解释了托管后端为什么在结构上无法做推测解码。
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF，2-bit 版在体积缩小 45% 的同时保留 91.5% top 1 精度，可在 150GB 内存上本地运行。1-bit 版约 89.9%，4-bit UD-Q4_K_XL 达 98.0%；作者称其为同尺寸最强开源模型之一，并提供 Hugging Face 权重链接与本地运行指南。
推荐理由：给出了各量化档位的具体精度数字和内存门槛，读者可直接对照自己的硬件条件选择合适的版本。
JunWan666 发布 AstrBot for Android，通过集成 PRoot Ubuntu 环境的约 720 MiB 完整 APK，在 ARM64 Android 8.0+ 设备上免 Root 本地部署和管理 AstrBot 与 NapCat。应用提供双服务启停、内置 WebUI 后台、QQ 登录、人设库（内置 12 款原创预设）、实时日志、备份恢复及独立在线更新，代码采用 MIT 协议开源。
推荐理由：把 AstrBot 与 NapCat 的部署运维塞进单个安卓 APK，人设库、备份回退和在线更新都做完，想在手机上本地跑 AI 伴侣的读者可以拿来直接用。
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由：针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。
NekomyaDev 开源了 Nudge，一门面向 AI Agent 的类型化编程语言，提供原生字节码 VM 和独立编译器，可编译到 Python 和 TypeScript。语言层内置 LLM schema 一等类型、10 种编译期检查的显式效果、预算硬约束、par race 并发原语和确定性 NTF v1 trace 回放，可在 CI 中以 $0 做回归测试，还支持单二进制打包（约 2.09MB）、WASM 离线回放、MCP 集成、Computer Use 与 PII 脱敏，采用 Apache-2.0 许可证。
推荐理由：把 schema 校验、效果声明、预算上限和 $0 trace 回放做进语言层，对受够胶水代码的 Agent 开发者是一套可试的新思路。
Rodrigo Henriquez（@SirFassler）在 GitHub 开源 lukk-node，一个仅用 Python 标准库的客户端-服务端守护进程与 CLI，面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测（温度、功耗、负载、VRAM），支持委托式流式推理（NDJSON），并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏；v1.2.0 加入可选 Bearer token 认证，另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。
推荐理由：作者开源了一个零依赖的 GPU 节点守护进程，把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI，适合本地跑模型兼打游戏的场景。
GitHub 上的 OmniFree 项目把多家免费层资源整合成个人云，用故障转移路由聚合 Groq、Gemini、Mistral、OpenRouter 等免费 LLM API，并跨 R2、B2、GCS 等免费存储分散文件，还提供数据库、Pi-hole DNS 过滤和计算资源，通过暗色模式移动 PWA 管理。项目采用六边形架构，core/ 定义端口与智能路由，每个服务商是 plugins/ 下的适配器，配置集中在 config/providers.yaml。附带的免费额度核查表（2026-10-19 核对）记录了 Oracle A1 缩至 2 OCPU/12GB、Koyeb 被 Mistral 收购后取消免费层、Cerebras 改为 30 天 $5 试用、Gemini 限额两次下调等变化，并给出对应配置调整。
推荐理由：仓库附有 2026-10 逐家核对的免费额度变化表，读者可据此了解各免费层现状与部署成本。
GitHub 上的 fdanobey/OBEY-api-gateway 是一个 OpenAI 兼容的 AI 网关，提供多供应商路由、自动故障转移、熔断器与限流冷却，支持 OpenAI、Ollama、AWS Bedrock、Groq、vLLM 等供应商，单个 Rust 二进制、无运行时依赖。特性包括两级响应缓存、prompt-cache 感知路由、Codex OAuth 登录与网页搜索桥接、guardrail 管线、Agent 循环检测、虚拟密钥管理、token 与工具定义压缩，可通过 Windows 安装包、Docker、Railway 或源码构建部署。
推荐理由：单文件 Rust 网关把故障转移、限流冷却、缓存路由和虚拟密钥做进一个仓库，文档细到超时字段，适合自建多供应商路由时参考。
muguang1224 发布了用 Ollama 本地模型驱动的 QQ 聊天机器人项目 qq-ollama-bot，通过 NapCat 收发消息，不需要云端 API，支持 Windows / Linux / macOS。它用 qwen3.5-4b 聊天、qwen2.5vl:3b 看图，加 YOLO 做目标检测，具备情绪系统、长期记忆、人设进化、语音回复（edge-tts / GPT-SoVITS 声音克隆）、主动聊天和 QQ 空间发说说等功能；并用 Prompt 层加代码正则两层拦截，阻止模型编造「刚刷到视频」等假经历。README 附完整安装步骤、风控与账号安全提示，以及图片缩放实测，原图送模型需 46-200 秒，缩到 256px 后降到 4.4 秒。
推荐理由：README 讲清了情绪系统、长期记忆和两层防编造的构造方法，还给出图片缩放和显存的实测数据，做法可迁移。
作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参，附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%；同时给出负面结果，--expert-cache 按 MiB 而非槽位设置（填满显存时 −72%）、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。
推荐理由：作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位，附完整可用配置。
tom1030507 在 GitHub 发布 OpenNotebookLM，一个自托管的 Google NotebookLM 替代品，支持导入 PDF、Word、网页和 YouTube 字幕并基于来源给出带引用的回答。文档、嵌入向量与对话存于本地 SQLite，混合检索用 sqlite-vec 加 FTS5/BM25 并以 RRF 融合，支持 CJK 分词；LLM 可接 Claude、OpenAI 兼容 API 或本地 Ollama/llama.cpp/vLLM，未配置 provider 时返回 model_used 为 fallback 的抽取式回答。
推荐理由：README写清了混合检索、嵌入模型内存占用实测和未配LLM时的抽取式回退，读者可据此判断这个自托管 NotebookLM 替代品的实际能力边界。
作者发布 tether-sdk（GitHub igormcsouza/tether），一个默认零工具加载、面向小模型与小上下文窗口的 headless Agent 框架，通过单一 act(cmd, stdin) 命令通道、SQLite WAL 状态存储与 FTS5 BM25 检索、bwrap/unshare 内核沙箱和显式 done 终止门来降低 token 开销。在自主制作 YouTube Short 的基准中，同一 claude-sonnet-5-5 在 Tether 内消耗 5,318 tokens（48.7s），而 Claude Code CLI 消耗 211,355 tokens（97.4s）；本地 8B 模型 gemma4:e4b 仅用 3,073 tokens（53.1s）。
推荐理由：作者用同一 claude-sonnet-5-5 对比 Claude Code，同一模型 token 从 211,355 降到 5,318，且附了本地小模型实测与失败原因。
manu69x 发布 Trans v0.1.0-alpha，一个本地优先的 LLM 辅助文学 CAT 翻译工作台，支持将英文小说或文章结构化为章节与分段，构建受控术语表和翻译记忆，逐块翻译并人工审核批准。推理仅通过用户自控的 OpenAI 兼容网关（llama.cpp、vLLM、LM Studio 等），无云服务、无遥测；支持 PDF 导入与 OCR 回退、BookNLP 实体抽取、术语约束翻译、分段质量评估，可导出 DOCX、EPUB、PDF/HTML 及 XLIFF/TMX/CSV。技术栈为 Next.js + FastAPI + PostgreSQL/pgvector + Celery + MinIO，Docker Compose 部署，MIT 许可，当前处于 alpha 阶段，已用于真实英译意文学工作。
推荐理由：原文给出了完整的架构、端口和配置清单，读者可以据此评估这套本地文学翻译工作台是否适配自己的部署环境。