方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
作者在 GitHub 发布了 Oberton（前身为 Local Dictation），一款 Windows 全本地 AI 听写工具，按热键说话后经 faster-whisper 转写、Ollama 本地模型（默认 qwen2.5:3b）清理文本并插入任意应用，默认 Keep everything offline，无账号或遥测。可选 Claude 等 Cloud 模型需自带 API key；NVIDIA GPU 下 large-v3-turbo 转写 20 秒语音约 1-2.5 秒，CPU 约 8 秒（Ryzen 7 5800HS 实测），另含 Ctrl+Shift+Space 本地朗读功能，支持 Kokoro v1.0、Piper 和 Windows 语音，MIT 协议开源。
推荐理由：这是一个默认全离线的 Windows 听写开源工具，给出了模型组合、显存占用与实测延迟，便于本地部署参考。
fuyuxiang 在 GitHub 发布开源项目 echo-agent（当前 0.3.x Beta，MIT 协议），提供 pip 安装的常驻 Agent 运行时和 Tauri 2 桌面应用两种形态。运行时可接入微信、Telegram、Slack 等 14 个通道共享同一份长期记忆与权限，支持 CLI、Webhook 与定时任务；桌面端可直接操作文件、浏览器和本地应用，高风险动作执行前需人工确认。项目支持完全自托管、凭证加密存储、技能从执行轨迹中进化（经评测集验证后晋升、带回滚），并提供 SSRF 防护与可审计日志。
推荐理由：原文完整说明了安装方式、14 个消息通道、桌面执行能力和权限审批机制，读者可以据此评估自托管 Agent 的落地可行性。
RinkusKhan 在 GitHub 发布 GENGHIS 协议，将本地网络中的闲置设备（GPU 笔记本、mini-PC、树莓派、eGPU 等）组成算力与内存池，通过层切分让多设备协同运行单机装不下的大模型。方案复用 llama.cpp 的 RPC 传输，由协调器按各设备实测吞吐、空闲内存与链路延迟规划分区并在设备增减时自愈。实测显示推理受延迟而非带宽约束：同一 RTX 5060 Ti 经 1 GbE 供队为 38 t/s，改接 Thunderbolt 后达 228 t/s；Pi 5 有线比 Wi-Fi 快 29%（7.6→9.7 t/s）。
推荐理由：原文给出实测数据说明层切分方案受链路延迟制约，同一 RTX 5060 Ti 在 1 GbE 与 Thunderbolt 下速度差近 6 倍。
1bit-MONSTER 发布 1bit engine，一个运行在 Lemonade 之内的推理引擎，通过 1bit serve 提供 OpenAI 兼容 API，首个版本于 2026 年 10 月 4 日周日发布，采用 Apache-2.0 许可证。引擎支持多条后端路线：AMD 的 ggml-hrx 加 Loom 内核跑在 Radeon iGPU 的 XDNA 2 NPU 上、llama.cpp 的 CPU 路线、Apple Silicon 上的 MLX（经 lemon-mlx-engine）以及 Lemonade 的 ONNX Runtime GenAI 模型；NPU 与 HRX 均通过 Strix Halo 端到端测试。
推荐理由：原文给出各后端在 Strix Halo 上的实测数据，包括 ZAYA1-8B 约 90 tok/s 解码和模型注册表 94.71% 的映射覆盖率。
Cass67 在 GitHub 发布 local_llm，一套面向 AMD（ROCm/Vulkan）与 Nvidia（CUDA）GPU 工作站的自托管 LLM 管理系统。模型在隔离 Docker 容器中运行并完整访问 GPU，Svelte Web UI 覆盖 HuggingFace GGUF 搜索安装、模型切换、配置编辑、按集群 VRAM 拟合评分、基准测试与聊天。
推荐理由：作者给出了多 GPU 张量并行的实测数据与投机解码配置对比，读者可以据此评估这套自托管方案在自己硬件上的收益。
caliban-ai 在 GitHub 开源了从零编写的 Rust agent harness caliban，核心 agent 循环、持久会话、TUI、headless 模式、子 agent、MCP、沙箱、权限、检查点和自动记忆均已上线，可通过 cargo install caliban 安装。它不绑定单一 SDK，Anthropic Claude、OpenAI、Google Gemini 及 llama.cpp、mlx-lm、LM Studio 等本地 OpenAI 兼容服务器共用同一内部 IR，路由采用声明式配置，数据默认存本地。
推荐理由：README 给出了已交付功能清单、与 Claude Code 的差距矩阵和已知模型限制，读者可据此评估是否替换现有 agent 工作流。
emazaheri 在 GitHub 开源 ios-agent，一个通过 WebDriverAgent 和 Apple XCUIAutomation 驱动 iPhone 或 iOS 模拟器的 AI 智能体，提供终端应用、MCP 服务器（31 个工具、5 个资源）和底层库。设计上把原始 accessibility 树压缩成摘要（如 251 个节点压到 12 个元素，每步 50 到 472 token），动作自带结果屏幕以减半往返；在 gpt-5.6-sol 上 13 任务 3 轮实测成功率 39/39，成本 $1.50，并在真实 iPhone 上验证同一任务单次观察完成。安全方面默认对 Send、Pay、Delete 等操作和触达他人的动作要求审批，密钥经钥匙串直输且卡号邮箱在会话内脱敏。
推荐理由：项目给出了真实硬件上的 token、动作数和成本实测，还解释了为何坚持只用 Apple 公开 API，方法与数据都可复核。
EstaxNet 开源了 Inferpal（GPL v3），一个完全由本地大模型（Ollama、LM Studio 或任何 OpenAI 兼容服务器）驱动的 Visual Studio 2026 与 VS Code 智能体编程助手，无需 API key、遥测或云依赖。它内置 28 个工具并支持 MCP 与自定义 shell 工具，所有写入和命令都需审批并受工作区沙箱约束；提供 FIM 行内补全、混合检索的语义代码搜索、调试器驱动的 /tdd 循环（12 例基准上用本地 27B 模型 12/12 修复，无调试器时 10/12）、Roslyn 编译器级符号分析、/branch 会话分支和 Context X-Ray 上下文透明面板。
推荐理由：这是本地模型的 IDE 智能体完整实现，审批门、沙箱和调试器驱动的 TDD 循环等设计可以直接参考迁移。
vllm-project 发布 vLLM Metal 插件，让 vLLM 通过 MLX 作为主要计算后端在 Apple Silicon Mac 上运行大模型推理，统一 MLX 与 PyTorch 的 lowering 路径。v0.2.0 将统一 paged varlen Metal kernel 设为默认注意力后端，相比 v0.1.0 TTFT 提升 83x、吞吐提升 3.6x；2026/08 起利用 M5 NAX tensor 单元加速 MHA、GQA、MQA prefill，并支持 Qwen3.8（mlx-community/Qwen3.8-27B-8bit 可在单台 Apple Silicon 上运行 27B 混合 SDPA + GDN 线性模型）。
推荐理由：vLLM 官方插件让大模型在 Apple Silicon 上跑推理，给出了 v0.2.0 相对 v0.1.0 的 TTFT 和吞吐提升数据，可作本地部署参考。
andrewrduncan 开源了 llm-tools-gateway，一个 OpenAI 兼容代理，位于模型服务器（vLLM、llama.cpp、Ollama、LM Studio、TGI 等）之前，向每个请求注入工具定义并在服务端执行，返回完成后的答案。支持网页搜索、抓取、无头浏览器、基于 pgvector 的记忆与 RAG、图像生成与编辑；每个工具可选且自禁用，仅配置 UPSTREAM_URL 也能获得日期时间和 URL 抓取。记忆按 subject 分区实现多用户隔离，慢工具通过 reasoning_content 流式输出进度。项目以 Apache-2.0 许可发布，仓库地址 https://github.com/andrewrduncan/llm-tools-gateway。
推荐理由：把工具执行从客户端移到网关端，一次配置即可让 Open WebUI、Aider 等所有 OpenAI 兼容客户端共享搜索、记忆和 RAG 能力。
作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版，用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调，称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6，KL 散度 0.0793；ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数，视觉输入经测试可用，视频部分未测试。建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化，默认上下文 256k，其他版本仍在测试中。
推荐理由：作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据，读者可以据此自行判断这个去对齐微调版的质量。
作者开源了一套隐私优先的工厂机器日志分析系统 local-llm-manufacturing-analytics，用 SQL 计算精确的生产与质量指标，Isolation Forest 检测异常并给出根因解释，本地 Ollama 运行的 Llama 3 8B 仅负责解读数字，全程无云 API、无按次成本。项目源自作者 2026 年暑期在某制造公司研发部门的实习系统，曾在 50 万+ 真实日志记录上运行并获批内部使用与第二阶段开发，仓库版本以同结构合成数据重新实现。
推荐理由：作者把算术交给 SQL、解释交给本地 Llama 3，并给出索引前后基准数据，方案对预算和隐私敏感的部署场景可直接参考。
Solutions-of-Security 在 GitHub 发布 АГАТ (Agat) v1.7.0 公开预览版，一个在本地模型上运行 AI 智能体和可视化流程的开源平台，支持审批确认与执行日志。模型通过 Ollama、LM Studio、vLLM 或 llama.cpp 在本机运行，提供可视化流程编辑器、13 个流程模板、本地 RAG、MCP 工具与 A2A 任务交换，可经 SQLite、Docker Compose 或 Kubernetes 部署；RAG/embeddings、OIDC、PostgreSQL、Temporal 等需单独配置，完整 solution packs 与 production gates 尚未开放，版本号为 prerelease 不代表通过生产资格验证。
推荐理由：这是将本地模型与多智能体流程编排结合的开源工具，README 给出部署方式、功能边界和未完成项，适合想自建智能体工作流的读者参考。
Reddit 用户 /u/oppoftemp27 发现，在四台 AMD 主机上，llama.cpp 官方 ROCm 预编译版（b11327）从未真正使用 GPU，服务启动正常、/health 显示绿色，实际一直在 CPU 上运行。原因是预编译版的 HIP 后端需要 libamdhip64.so.7 / libhipblas.so.3 / librocblas.so.5，而装有 ROCm 6.3.0 的 Ubuntu 主机只有 .so.6 / .so.2 / .so.4，后端库加载失败后 llama-server 静默改用 CPU，控制台无报错，-ngl 999 也无效。作者建议用同一提示词集在 CPU 版上对比每条耗时，比值约 1.0 说明在跑 CPU，远低于 0.5 说明 GPU 正常工作。
推荐理由：作者给出官方 ROCm 预编译版静默回退 CPU 的具体库版本原因，以及用 CPU 对照跑分检测该问题的可复用方法。
hipfire 发布 v0.3.0，这是一个 Rust 原生、HIP/ROCm 直连的推理引擎，单二进制运行，覆盖 RDNA1–4、Vega/CDNA GPU 与 AMD APU 中的 XDNA NPU，支持多模态推理、embedding、rerank 与图像生成，主接口为 OpenAI Responses API。7900 XTX 上 Qwen 3.5 9B decode 132 tok/s，为 ollama Q4_K_M 的 1.71 倍；DFlash 推测解码在 27B HumanEval/53 达 218 tok/s 峰值（4.45 倍于 AR）。项目由 Kaden Schutt 主导，MIT/Apache-2.0 双许可，仓库地址 https://github.com/xynexus/hipfire。
推荐理由：原文给出 7900 XTX 上与 ollama 的逐模型 decode 对比和 DFlash 分题材数据，可据此评估这套 Rust 引擎在 AMD 消费卡上的实际收益。
opencx-labs 在 GitHub 开源了 Catamorphic，一个用于智能体工作环境的开源核心，将项目、Agent、文档、浏览器标签、终端、应用和自动化整合进宿主产品，并发布基于它的 Work 应用预览版。它提供三种使用方式：支持 Apple silicon Mac（macOS 12+）的本地优先桌面应用、可通过 GitHub Container Registry 部署的自托管服务器，以及可嵌入宿主应用的框架库；每个改动文件的 Agent 回合都会生成 checkpoint commit，可按回合撤销，Claude Code、Codex 和 API 模型可作为可切换的 harness，仓库内含完整 ADR 与贡献指南。
推荐理由：仓库文档完整给出了三种使用形态、git 原生工作追踪和可嵌入的依赖矩阵，读者可以据此评估这个智能体工作环境的落地方式。
runtape 在 GitHub 上开源，这是一个面向 AI 智能体的反事实调试工具：输入一次坏运行，它通过删除重跑定位导致错误决策的那段上下文，用统计检验确认原因，并自动生成 pytest 回归测试。示例中它把邮件助手误转发发票的行为追溯到供应商邮件 HTML 注释里的一句话，有该句 10 次重跑中 10 次转发，无则 0 次。在 AgentDojo 的 sarvam-105b 测试上，23 个注入攻击中它定位到 20 个，优于直接问模型（18）、leave-one-out（15）；支持 OpenTelemetry、Langfuse 导入，兼容 OpenAI 和 Anthropic SDK、LangChain/LangGraph 及 Ollama、vLLM 等本地服务器。
推荐理由：原文给出了方法细节、显著性检验和 AgentDojo 实测对比，想对智能体做反事实归因和回归测试的读者可以参考其做法。
rome-os 在 GitHub 开源了 Rome，一个可自托管的智能体运行环境，主打让智能体沉淀可复用的工作流、动作与应用。Rome Cloud 处于预览阶段，也可通过一行 Docker 脚本在本地启动，仪表盘默认绑定 loopback。Rome App 由 app.yaml 清单定义，组合动作、智能体、技能、持久数据与专用界面，缺失的应用可用自然语言描述由 Rome 生成 git 可追踪的源码。README 将其与 Grok Bot、Meta 的 Muse、Hermes Agent、Manus 和 Wabi 逐项对比，称差异在于 Rome 沉淀的是可组合、可自托管的环境能力。
推荐理由：官方 README 讲清了 Rome 环境如何让智能体沉淀可复用能力，并与 Grok Bot、Muse 等逐项对比，还给出 Docker 自托管路径。
作者发布 local-delegate，一个 MCP 服务器（stdio 或共享 HTTP daemon），可把摘要、分类、字段提取、样板代码等机械性文本任务委托给任意 OpenAI 兼容端点（llama-swap、Ollama、LM Studio、vLLM）上的本地模型，从而保留 Claude 订阅配额。
推荐理由：这个 MCP 工具把机械性文本任务委托给本地模型以保留 Claude 订阅配额，还给出量化的上下文节省指标，部署思路可直接复用。
MeKaustubh07 在 GitHub 开源了一个从第一性原理用 Python 编写的 LLM 推理引擎，预填充用 PyTorch GEMM、解码用手写 Metal kernel，在 Apple M2 8GB 上以 INT4 通过 OpenAI 兼容 API 服务 Qwen3.5-2B，支持连续批处理、paged KV cache 和打包分块预填充。基准显示单流解码 50 tok/s、batch-8 聚合解码 116 tok/s、HTTP 8 客户端 94 tok/s（TTFT p50 0.84 秒），对比 llama.cpp Q4_1 与 MLX-LM 4-bit，并与 HF transformers 校验精度（INT4 KL 0.045）。
推荐理由：作者从零实现并给出与 HF、llama.cpp、MLX-LM 的逐项对比和精度数据，方法与权衡都可复查。