方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
omarqaterge 发布了 Hermes Mobile，一个让 Hermes Agent 完全在 Android 手机上本地运行的非官方社区客户端，不需要电脑或服务器，未修改 Hermes 本体，与 Nous Research 无官方关联。App 通过 Termux 中 Debian 里的 Hermes dashboard 的 tui_gateway JSON-RPC 连接通信，支持流式聊天、工具卡片、通知栏审批、共享 canvas、语音 Live 模式、记忆 diff 查看等功能，可设为手机数字助理。提供脚本一键安装（约 20-45 分钟，需 arm64、Android 8+、约 6 GB 空间）、手动安装和自行构建三种方式，代码以 MIT 许可开源。
推荐理由：原文完整说明了 Hermes Agent 在单台 Android 手机上的部署方式与功能边界，安装脚本、手动步骤和常见故障排查都可直接照做。
作者 jkzero87 开源 esp32cam 项目，用约10美元的 ESP32-CAM 识别进门熟人，由本地 LLM 称名问候、对话并记住对方说过的内容，全部在自家 PC 运行、不上云。系统用 YuNet 检测人脸、SFace 生成嵌入向量识别身份，对话模型为 Qwen3.8-27B（GPU，16 GB 显存）配 Qwen3.5-4B（CPU 回退），抽取的事实存入 Postgres；27B 在事实抽取评测中召回率 100%、幻觉 0，4B 为 77.8%。目前支持终端文字对话和一名注册用户，含注册同意机制与 olvídame 删除功能，语音是下一步计划。
推荐理由：作者给出了事实抽取召回率与幻觉率的实测数据，可作为搭建全本地摄像头加LLM记忆系统的参考。
rephyr 在 GitHub 开源了终端编码 Agent purr，主打让小型本地模型在长而模糊的任务上表现更好，也支持 API 模型。自动发现 Ollama、llama.cpp、LM Studio、vLLM 本地模型，兼容 DeepSeek、OpenRouter 等 API；提供 code/ask/learn/pair/plan 等模式，自定义 Agent 为 Markdown 文件且兼容 Claude Code 与 OpenCode 的 Agent；无遥测、MIT 协议，Terminal-Bench 2.1 上配合 DeepSeek V4.1 Flash 单次尝试得 82.0% ± 4.1。
推荐理由：原文给出了 Terminal-Bench 2.1 上 82.0% 的实测分数和针对小模型的容错与检查机制说明，可了解其设计取舍。
DawnofGenX 在 GitHub 开源 quant-regress，可在 CI 中对模型各精度档位跑任务评测，精度下降超过阈值即让构建失败。作者指出困惑度、KL 散度等 token 级代理指标常显示量化模型正常，而任务精度未必；在一个 cross-encoder 验证器上，dynamic INT8 量化后 fp32 基线精度 100.0%（20/20）跌至 0.0%（0/20）。支持 GitHub Action 与命令行用法，退出码约定为 0 正常、1 精度回退、2 配置错误。v1 仅支持 fp32 与 dynamic int8、仅限 CPU，不支持 AWQ/GPTQ/GGUF 等 GPU 量化方案，仓库地址 https://github.com/DawnofGenX/quant-regress。
推荐理由：作者用交叉编码器验证器上 INT8 精度从 100% 跌到 0% 的实测案例，说明困惑度等 token 级代理指标为何测不出量化损失。
Vkuparin 在 GitHub 发布 GamePause，一款原生 Windows 托盘应用，游戏启动时自动卸载 LM Studio 和 Ollama 已加载的模型，游戏退出 30 秒后按原配置恢复。支持 Steam、Epic、Xbox、EA、Ubisoft Connect 和 Battle.net 自动识别游戏，LM Studio 模型按原 identifier、variant、TTL 和加载配置完整恢复，Ollama 的 GGUF 补全模型会连同上下文和剩余 keep-alive 时间重载，嵌入模型和未知格式模型只卸载不重载。卸载内容先写入磁盘，崩溃后可恢复；本地运行、无遥测，MIT 许可，已测试 LM Studio 0.4.25 和 Ollama 0.35.1、0.40.0。
推荐理由：原文给出了各 AI 服务器的恢复细节和已测版本清单，读者可据此判断该工具在自己环境下的可用程度。
/u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存（RTX 5060 Ti + 单通道 DDR5）上运行 Qwen3.8 27B 的经验：使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化（https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF），与朋友在 H200 上跑的 Q8 对比几乎无法区分。
推荐理由：作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案，并给出各上下文档位的实测速度数据。
波兰 IT 公司 Web Amigos 开源了自托管企业 RAG 平台 Ragen AI，采用 Apache 2.0 协议，文档、数据库、向量索引和加密密钥都留在用户自己的基础设施上。检索采用混合 dense + BM25 稀疏搜索、服务端 RRF 融合、多查询扩展、ingest 时生成文档摘要和可选 cross-encoder 重排，每个决策有 ADR 记录，检索质量、改写和红队行为均有可自行运行的 eval 数据集；权限在检索时按 accessible_by 过滤强制执行。
推荐理由：原文给出了检索各环节的实测依据和 52 条 ADR，权限控制在检索层强制执行的做法可直接迁移到自建 RAG 系统。
smol-machines 开源了 smolvm，一个面向 AI Agent 的可分支 microVM 运行时，可将轻量虚拟机嵌入软件、便携开发环境和本地沙箱，支持 macOS、Linux 和 Windows。每个工作负载运行在硬件虚拟化、拥有独立内核的 VM 中，启动不到 200ms，内存经 virtio balloon 弹性分配，默认 4 vCPU 和 8 GiB RAM。支持检查点保存 RAM、CPU 状态和磁盘，可从运行中机器创建 copy-on-write 分支，检查点可在 arm64 Mac 与 arm64 Linux 间迁移；机器可打包为单个 .smolmachine 文件推送到 OCI registry。
推荐理由：原文给出 smolvm 与容器、QEMU、Firecracker 等方案的启动时间和架构对比，可据此评估它是否适合本地沙箱场景。
ScribeDog 发布，一款 MIT 协议开源的所见即所得 Markdown 笔记编辑器，文件以纯 .md 形式存放在用户自选文件夹，无账号、无遥测。可选 AI 默认走本地模型，支持 Ollama、Jan.ai 和 LM Studio 开箱即用，可改写文本、基于笔记知识库回答问题并跨文件提出编辑；语音输入用 whisper.cpp 完全离线运行，也支持 OpenAI、Anthropic、Mistral 等自带 API key 的云端方案。提供桌面版与 Docker 自托管 Server Edition，支持多用户共享 vault 与编辑合并，可导入 Word、PDF、HTML 并导出 PDF、DOCX 等格式。项目地址 https://github.com/snooky234/scribedog。
推荐理由：开源笔记编辑器把本地 AI 写作、知识库问答和自托管方案整合在一起，并说明了隐私与模型配置的具体做法。
grregis 在 GitHub 发布 MuckScraper，一个自托管新闻聚合器，可从多个信源抓取文章、按 pgvector 把相关报道聚类成同一事件故事，并用 AllSides 数据或本地模型给媒体标注左中右偏向。系统默认用 Ollama 在本地硬件上生成摘要和深度报告，也支持 Gemini、Groq 或任何 OpenAI 兼容端点（OpenRouter、DeepSeek、本地 vLLM）；一次完整管线约1200次 LLM 调用，其中约1140次机械性调用可用较小模型分流到本地。技术栈为 Python、Flask、PostgreSQL+pgvector、Meilisearch，通过 Docker Compose 部署，管理员可在后台无需改代码地编辑主题、RSS 源、提示词与调度。
推荐理由：项目把约1140次机械性LLM调用留在本地Ollama、只把约65次摘要调用交给云端，这种分层路由做法可以直接借鉴到类似自托管管线。
gi-dellav 发布了用 Rust 编写的极简编码 Agent zerostack，灵感来自 pi 和 opencode，支持 OpenRouter、OpenAI、Anthropic、Gemini、Ollama 等提供商。核心约 30k 行代码、二进制 26MB，平均内存约 16MB（对比 opencode 约 300MB），空闲 CPU 0.0%；内置权限系统、会话管理、子代理、Git worktree 集成、可选沙箱等，多项功能（memory、hooks、advisor、ACP 等）需通过 feature 开启，采用 GPL-3.0-only 许可。项目地址：https://github.com/gi-dellav/zerostack
推荐理由：原文给出了与 opencode 的内存和 CPU 占用对比数据，读者可以据此评估这个 Rust 编码 Agent 的轻量化程度是否值得切换。
Reddit 用户 /u/dtdisapointingresult 分享一种防止不可信 Docker 容器向外上传本地数据的方法：在 docker-compose 中将服务放入 internal 的 isolated_network，并用 alpine/socat 作为网关只转发入站请求，出站连接被阻断。socat 容器仅占约 1.2MB 内存，作者还建议用 docker compose 替代 docker run，并附上 cap_drop、no-new-privileges 等可选加固配置。
推荐理由：作者给出可直接复用的 docker-compose 配置，用 socat 网关隔离不可信容器的出站流量，额外开销仅约 1.2MB 内存。
DreamBlooms 在 GitHub 发布 ifReflex.cpp，一个基于 llama.cpp 的原生 C++ 推理引擎，把结构化决策做成纯 prefill 读取，对每个类型化问题在单次前向中从 next-token logits 读出完整选项概率分布，不生成散文、零生成 token、CPU 即可运行。一个二进制覆盖 reflex、SemIf、RWKV-Jev 和任意 instruct GGUF，支持 Qwen3.5 0.8B/2B/4B、Qwen3.6 35B A3B、Qwen3.8 27B 等 GGUF；还支持 DiffusionGemma 和 LLaDA-MoE 两种块扩散架构的一步结构化读取（LLaDA-MoE 为 7B 模型、1.4B 激活、约 8 GB 内存）。
推荐理由：用单次前向读取 logits 的方式做结构化决策，零生成 token 且无 GPU 可跑，部署思路可复用。
riccardogiorato 的 GitHub 仓库记录了在一张 2018 年 8 GB 显存的 RTX 2080 上实测的 25 个模型，按 AG-Bench v2.1（11 个 canary 校验任务）给出 Top 10 排名，每个模型附完整 artifact、运行时 digest、启动配置与可复现命令，失败也一并记录。关键发现包括：约 2 bits-per-weight 以下推理链断裂（IQ1_S 空转、Flash-Next-125B 直达 EOS），Bonsai 仅靠把上下文从 8K 提到 64K 分数就从 5/11 涨到 8/11；UBBoost 主张被复现，A3B 用 -ub 4096 预填充提速 24%。仓库含 recipes、raw JSONL 证据与基准套件。
推荐理由：在同一张 8 GB 老卡上跑通 25 个模型并给出可复现配置与量化下限结论，想选本地模型的人可以直接对照结论。
开源工具 claude-inspect 提供 Claude Code 智能体的本地 Web 面板，读取 ~/.claude 已有文件，实时显示运行中会话、subagents、claude -p worker 会话、每次工具调用结果、调用图、token 用量和可全文搜索的历史。工具只读且被动，仅监听 127.0.0.1，不改动设置、不外传数据，通过 npx claude-inspect 或 npm install -g 安装，支持 macOS、Linux 和 Windows，需 Node.js ≥ 22。
推荐理由：Claude Code 多会话并行时常分不清谁在干什么，这个只读本地面板能看实时状态、调用图、token 花费和可搜索历史。
作者在 GitHub 发布了 Oberton（前身为 Local Dictation），一款 Windows 全本地 AI 听写工具，按热键说话后经 faster-whisper 转写、Ollama 本地模型（默认 qwen2.5:3b）清理文本并插入任意应用，默认 Keep everything offline，无账号或遥测。可选 Claude 等 Cloud 模型需自带 API key；NVIDIA GPU 下 large-v3-turbo 转写 20 秒语音约 1-2.5 秒，CPU 约 8 秒（Ryzen 7 5800HS 实测），另含 Ctrl+Shift+Space 本地朗读功能，支持 Kokoro v1.0、Piper 和 Windows 语音，MIT 协议开源。
推荐理由：这是一个默认全离线的 Windows 听写开源工具，给出了模型组合、显存占用与实测延迟，便于本地部署参考。
fuyuxiang 在 GitHub 发布开源项目 echo-agent（当前 0.3.x Beta，MIT 协议），提供 pip 安装的常驻 Agent 运行时和 Tauri 2 桌面应用两种形态。运行时可接入微信、Telegram、Slack 等 14 个通道共享同一份长期记忆与权限，支持 CLI、Webhook 与定时任务；桌面端可直接操作文件、浏览器和本地应用，高风险动作执行前需人工确认。项目支持完全自托管、凭证加密存储、技能从执行轨迹中进化（经评测集验证后晋升、带回滚），并提供 SSRF 防护与可审计日志。
推荐理由：原文完整说明了安装方式、14 个消息通道、桌面执行能力和权限审批机制，读者可以据此评估自托管 Agent 的落地可行性。
RinkusKhan 在 GitHub 发布 GENGHIS 协议，将本地网络中的闲置设备（GPU 笔记本、mini-PC、树莓派、eGPU 等）组成算力与内存池，通过层切分让多设备协同运行单机装不下的大模型。方案复用 llama.cpp 的 RPC 传输，由协调器按各设备实测吞吐、空闲内存与链路延迟规划分区并在设备增减时自愈。实测显示推理受延迟而非带宽约束：同一 RTX 5060 Ti 经 1 GbE 供队为 38 t/s，改接 Thunderbolt 后达 228 t/s；Pi 5 有线比 Wi-Fi 快 29%（7.6→9.7 t/s）。
推荐理由：原文给出实测数据说明层切分方案受链路延迟制约，同一 RTX 5060 Ti 在 1 GbE 与 Thunderbolt 下速度差近 6 倍。
1bit-MONSTER 发布 1bit engine，一个运行在 Lemonade 之内的推理引擎，通过 1bit serve 提供 OpenAI 兼容 API，首个版本于 2026 年 10 月 4 日周日发布，采用 Apache-2.0 许可证。引擎支持多条后端路线：AMD 的 ggml-hrx 加 Loom 内核跑在 Radeon iGPU 的 XDNA 2 NPU 上、llama.cpp 的 CPU 路线、Apple Silicon 上的 MLX（经 lemon-mlx-engine）以及 Lemonade 的 ONNX Runtime GenAI 模型；NPU 与 HRX 均通过 Strix Halo 端到端测试。
推荐理由：原文给出各后端在 Strix Halo 上的实测数据，包括 ZAYA1-8B 约 90 tok/s 解码和模型注册表 94.71% 的映射覆盖率。
Cass67 在 GitHub 发布 local_llm，一套面向 AMD（ROCm/Vulkan）与 Nvidia（CUDA）GPU 工作站的自托管 LLM 管理系统。模型在隔离 Docker 容器中运行并完整访问 GPU，Svelte Web UI 覆盖 HuggingFace GGUF 搜索安装、模型切换、配置编辑、按集群 VRAM 拟合评分、基准测试与聊天。
推荐理由：作者给出了多 GPU 张量并行的实测数据与投机解码配置对比，读者可以据此评估这套自托管方案在自己硬件上的收益。