方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
nexc-engine 在 GitHub 开源，是一个自托管的可视化 LLM 图工程平台：用户在类 Obsidian 画布上用 [[wikilinks]] 画目标草图，LLM 将其细化为结构化计划，再按 DAG 调度执行，每个节点由 LLM 调用、Python 运行时中生成的角色 agent 或 texc-symphony 编码 agent 处理，产出 docx、代码等可下载交付物。
推荐理由：README 给出了从画布草图到 DAG 执行的完整架构、部署命令和与 n8n、CrewAI 等工具的逐项对比，方便读者评估是否适用。
Emryswu 在 GitHub 开源 ResumeLens，一个基于本地向量检索加大模型生成的简历与职位 JD 匹配系统，后端用 Spring Boot，向量部分用本地 ONNX 运行 Alibaba-NLP/gte-multilingual-base-int8（768 维），精析走关键词重排加语义阈值门控的 RAG。项目附可解释的 chunk 级证据链报告和手写 tool-calling AI 助手，写操作需用户确认；阈值 0.72 来自 18 组配对、198 次检索的阈值扫描实验，作者说明了该结论只适用当前模型与分块配置且无独立 holdout，并给出 RAG 与全文直投的消融对比（块级证据 F1 0.957 对 0.468）。
推荐理由：作者不只给出代码，还附上阈值 0.72 的扫描校准数据和 RAG 消融对比，方法对做检索工程的人可直接迁移。
开发者 stevyhacker 在 GitHub 开源了 macOS 应用 LokalBot，可在 Apple Silicon Mac（macOS 15+）本地录制麦克风和会议应用音频，无需会议机器人加入，提供转录、摘要、日程回顾、听写与自动补全，默认无账号、无遥测。内置 llama.cpp 运行时，默认模型含 Qwen3-ASR 1.7B、Qwen3.5 4B 等，约 6.8 GB 模型文件，支持 Ollama、OpenAI 兼容服务器和 Apple Intelligence，屏幕文字与截图默认 opt-in 且 14 天过期， GPLv3 协议，可通过 Homebrew 安装。
推荐理由：README 附带了与 Granola、Otter、Screenpipe 等产品的逐项对比表和隐私架构说明，方便读者判断本地会议记录方案的差异。
bilibili Index LLM Team 发布 Index-Translate 多语言翻译模型家族，基于 Qwen3.5，文本模型覆盖 150 种语言，提供 2B、9B 和 35B-A3B（preview）权重，已在 Hugging Face 和 ModelScope 开放。
推荐理由：原文给出了各尺寸模型的评测数字、量化版本和免费API入口，读者可以直接对比选型并上手部署。
GitHub 项目 Arslan 发布，一个本地优先的个人 AI orchestrator，在你自己的机器上用你自己的 LLM API key 运行。每次请求由 host agent 拆分任务、在内核沙箱里运行生成的代码并返回答案。spawn 的提示词会从运行历史自动修订，但需在至少 10 对留存历史任务上盲评取得至少 60% 胜率且各维度不劣于现任版本，生成可读 diff 后由用户点击 Promote 才生效。
推荐理由：项目把自进化人格拆成可审查的流程，用留存任务对打加人工 Promote 把改动挡在生效前，方法本身可以借鉴。
Dhruv Dubey 发布 DSPM Memory（pip install dspm-memory），将多轮 LLM 对话压缩 80% 以上，同时宣称在基准套件上关键约束和决策 100% 保留。每轮对话被转成带类型的语义补丁，约束和决策在 7 阶段压缩管线中受结构性保护；实测 7 个领域各 40 轮对话，budget 250 时 token 压缩 82.8%、CRR 100%，消融显示移除 shadow-selection 后 CRR 从 100% 降到 37.9%。支持任意 OpenAI 兼容 provider，提供 save/load 跨会话持久化、修订取代旧值和事实密集文本的 dense 抽取模式，配套论文存于 Zenodo（10.5281/zenodo.19438636）。
推荐理由：作者给出了消融实验和分预算档位的压缩率与关键保留率数据，读者可以据此评估这套记忆压缩方法是否值得接入自己的多轮对话流程。
jevper 是 OpenAI 已公开的 Decisions API 架构和 System One 线格式的独立实现，可在任意 OpenAI 兼容模型或 Anthropic Messages API 上运行，pip 安装后仅需 pydantic>=2.7。
推荐理由：原文详细说明了在任意 OpenAI 兼容模型上复现 Decisions API 的方法与四种读取方式，还给出各本地服务器的实测差异，方法可直接复用。
xgonzox729 发布 sysml-v2-llm-kit，在 OpenCode 中让本地 Gemma 4 26B A4B 通过在合适时机投放官方参考资料来学习 SysML v2，而非依赖其以 v1 为主的训练数据。套件常驻约 8K token 的速查表和工作流文件，附带 100 个 OMG 官方训练模型、可按需加载的示例索引、BNF 语法 grep、低温度 sysml agent 和 /sysml-review 审查命令，并提供 7 条评测提示词用于 A/B 调整温度、thinking 模式和量化等级；示例与语法文件遵循 EPL-2.0，其余为 MIT 许可。
推荐理由：原文讲清了用及时投放官方参考资料替代模型旧训练数据的具体做法，含调参和评测方法，可迁移到其他领域知识注入场景。
开发者 Andrey Lipanov 在 GitHub 发布 HA_Pilot，一个主动式家居管家项目，由 Home Assistant 自定义集成 Pilot Eyes 和运行时 Agent 插件两部分组成。项目让 LLM 不进入实时控制回路，日常由确定性代码零 token 处理，Agent 每天对标记事实做一次推理，通过信任队列、审计日志、每日预算（默认 ₽10/天）和一键回滚逐步获得自动执行权限，全部数据本地存储，需 Home Assistant Supervisor 环境，许可证为 PolyForm Noncommercial 1.0.0。
推荐理由：原文讲清了让 LLM 不进实时回路、由确定性代码承担日常工作的家居管家架构和信任机制，部署思路可迁移。
Reddit 用户 /u/chemist_slime 发布 cmpunlocker v0.5，新增 ECC 支持并免费额外解锁 4 个 SM，gen3 解锁也在计划中，工具见 https://github.com/amoghmunikote/cmpunlocker/releases。作者对比 CMP170hx（1.5TB/s 显存带宽）与价格涨至 5k 的 64GB DGX Spark（273 GB/s），认为前者以不到一半价格更适合 localAI。
推荐理由：原文给出了硬件解锁工具的版本更新和与 DGX Spark 的带宽价格对比，读者可以据此评估本地部署的替代方案。
Kerneta 发布 daidocs 5.1.1，将 AI 助手记忆做成磁盘上的纯文本文件：.dai 存文档与会话历史，.cai 用 tree-sitter 构建代码调用图，路由器决定由哪一半回答问题。LongMemEval-S 上 GPT-4o 作答得 83.00%（415/500），比同一模型无记忆的 60.60% 高 22.40 分，每题约读 10,065 token，少读约 10.3 倍；同一记忆层换五个作答模型准确率在 78% 到 92% 之间。所有数字附逐题评判与 sha256 清单，格式 Apache-2.0，支持 MCP 接入 Claude Desktop、Cursor 等工具。
推荐理由：原文公开了记忆系统的格式规格、基准条件与逐题证据，读者可以自行复现其检索与准确率数字。
作者开源了面向石家庄出行的垂直旅游 AI Agent 项目 ShijiazhuangAgent，包含行程规划与自由问答两条业务链路。技术上是 LangGraph 图编排加 BM25/向量 RRF 混合检索，mock、siliconflow、ollama 三个 LLM Provider 可用一个环境变量切换，默认 mock 离线可跑全链路；项目附 193 加 43 个单测，并给出结构化输出容错回炉、检索不可用时分级降级、WS 契约单一来源、prompt 层防幻觉与 46 例金标评估集等工程细节。
推荐理由：项目把不可靠的 LLM 输出落成可用产品的工程做法写得可逐条对到代码，读者可以借此借鉴垂直 Agent 的容错、降级与测试方法。
renefichtmueller 发布 Adaptive LLM Gateway v0.3（实验版，Apache 2.0），自动发现本机已安装的订阅 CLI，把 Claude Max、ChatGPT Plus、Copilot 等包月套餐封装为 OpenAI/Anthropic 兼容的本地 HTTP API。内置提示词注入防御（OWASP LLM-01，20+ 模式，中英双语，扫描低于 5ms）、PII 脱敏与还原、输出流防御、基于审计日志的成本感知自适应路由、推理轨迹拆分存储、时间回溯重放、MCP 服务器模式、统一订阅钱包与 /v1/responses 经 OAuth 桥接的订阅直通。
推荐理由：作者把订阅制 CLI 封装成本地 API 网关，还带上注入防御和 PII 脱敏，适合订阅用户对比现有按 token 计费网关的差异。
开源 CLI 工具 vanity-agent 1.0.0 发布，可用 ChatGPT、Claude、Gemini、Grok、DeepSeek、Ollama 或任意 OpenAI 兼容 API 驱动一个 Claude Code 式的终端 agent，支持读写文件、运行命令、联网搜索、项目记忆和子 agent 委派。核心卖点是跨 provider 自动故障转移，订阅额度用尽时同一会话自动切到下一个 profile；工具为单个 .NET 8 二进制文件，覆盖 Windows、Linux、macOS，无遥测，密钥仅存本机。注意仓库尚无 license 文件，且默认无权限提示，需用 --sandbox 或 --deny 约束文件操作。
推荐理由：一个可用任意模型订阅驱动的终端编码 agent，附完整功能对比表和使用说明，方便评估能否替代多套 CLI 工具。
开发者 dflippojr 在 GitHub 开源了自托管编码 Agent 平台 agent-harness（MIT 许可），可在家用 GPU 服务器上运行本地开源权重模型（Qwen3.6-35B-A3B on llama.cpp）或接入自己的 Claude Code、Codex、Cursor 订阅，通过 Tailscale 从手机或笔记本操控。每个工具调用都在沙箱中执行，高风险操作需经锁屏推送通知批准，工作成果以 git 分支交付供审查合并。在同 10 任务硬套件、同本地模型的对比中，该项目的 Agent loop 以 19/20 通过、平均每任务 47 秒，超过 OpenCode 1.18.30（18/20、81 秒）和 OpenHands CLI 1.16.0（18/20、126 秒）。
推荐理由：作者给出了同套件下与 OpenHands、OpenCode 的对比数据和完整部署方法，读者可以按需复刻这套家庭 GPU 跑 Agent 的方案。
开发者 zzzp-30 在 GitHub 开源了基于 C++17 与 liboai 的轻量级流式问答系统 llm-stream-qa-cpp，采用手写 HTTP 服务器与 SSE 逐字推送，打包为免安装的 Windows 桌面应用。项目把记忆检索（search_memory）与联网搜索（web_search）封装为 OpenAI tool-calling 工具由模型自主调用，最多 4 轮 Agentic 循环；检索用向量语义与关键词双通道 RRF 融合，embedding 连续 3 次失败自动降级为纯关键词 60 秒。联网搜索基于 WinHTTP 抓取必应结果页解析，无需付费 API。
推荐理由：原文完整给出了 Agentic RAG 的工具声明、Agentic 循环、混合检索与降级实现细节，方法可直接迁移到类似项目。
开发者发布了开源工具 Priori，可把 YouTube 视频、播客和文章转成能划句提问、生成章节笔记和双语字幕的精读材料。问答、翻译和笔记通过 claude -p 走已有 Claude 订阅完成，不需要 API key；播客转写由 Kimi WebBridge 驱动已登录千问的浏览器完成，本地音视频可用 faster-whisper 转写。数据缓存在本地不上传，笔记可一键导出 Markdown，支持隐藏视频的终端风界面。仓库地址：https://github.com/Cicici-Shi/priori
推荐理由：这是一个可自部署的工具，把视频播客和长文变成可问答和记笔记的材料，部署方法和依赖在原文写得比较完整。
yeyo11 发布开源工具 Agentry，将 Claude Code CLI 封装进单个容器，提供 REST API、Web UI 和多智能体编排。它通过 CLI 的官方接口（如 stream- 和 --permission-prompt-tool stdio）驱动 Claude，支持并行 DAG 任务与 git worktree 隔离、用量上限到达后在不同 provider 间切换续跑、Docker 与 Linux 桌面（AppImage/.deb）部署，项目地址为 https://github.com/yeyo11/agentry。
推荐理由：原文详细列出了它驱动的 Claude Code CLI 接口、权限路由和多账号轮换等具体做法，读者可以据此评估这套自托管方案的实现方式。
HarvielArcilla 在 GitHub 发布开源工具 Treechats，把每条 prompt 作为树节点，支持分支、合并、重排和查看 Claude 实际收到的上下文。它本地运行，数据存在本机 SQLite，回复可来自 Anthropic API key 或本地 Claude Code（可用订阅），支持导入 Claude Code 和 Codex 会话为树来排查上下文出错位置、以 diff 审阅 Claude 的代码改动、通过 MCP 供 coding agent 调用，并提供对比网格、定时任务、加密与密码锁等功能，需 Node.js 22.13 以上，运行于 http://localhost:5178。
推荐理由：原文详细说明了树状对话的分支合并机制与上下文控制方式，做长对话管理和排查 coding agent 上下文问题时可参考。
GitHub 项目 luo-sri/llm-arena 发布 v1.2.0（约 118.13 MB，附 SHA256），一款纯本地运行的多模型评测竞技场，通过 OpenAI 兼容接口接入模型，用相同题目、顺序和参数评测并自动判分、生成排行榜。内置 6 个预设套件、难度 L1~L5 题库（L4+L5 占比约 71%），采用规则判分加模型评审双通道，数据落在本机 SQLite 不上传，支持一键生成网页/Markdown/JSON 分享报告，仅支持 Windows 10/11 64 位。
推荐理由：本地评测工具把同题同参同判分做成可复现流程，做模型选型对比时可以直接复用这套公平性设计。