方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
takeshy 在 GitHub 发布开源 Obsidian 插件 obsidian-llm-hub（MIT 许可），提供多提供商 AI 聊天、vault 工具函数调用、25 种节点的可视化 Workflow Builder、本地语义搜索（RAG）和编辑历史追踪。插件支持 Gemini、OpenAI、Anthropic、OpenRouter、Grok、OpenCode Zen/Go、本地 LLM（Ollama、LM Studio、vLLM）及 CLI 后端（Antigravity、Claude Code、Codex CLI），可通过 Discord 集成和 MCP 服务器扩展，聊天历史和工作流日志支持 RSA+AES 加密。
推荐理由：这份 README 详细列出了各提供商在聊天、vault 工具、搜索和图像生成上的支持矩阵，方便读者按自己的模型组合评估适用性。
takeshy 发布 Obsidian 插件 Local LLM Hub，把 Gemini Helper 的工作流自动化、RAG、MCP 与 Agent 技能完整搬到本地环境，支持 Ollama、LM Studio、vLLM 或 AnythingLLM，数据全程不离开本机。核心功能包括用自然语言让 AI 生成和修改工作流与技能（含无效 YAML 自动重试）、23 种节点类型的可视化编辑器、本地嵌入的 RAG 索引与搜索、SKILL.md 技能注入、本地 stdio MCP 服务器、聊天与语音输入朗读、Vault 工具函数调用及文件加密。可通过 BRAT 安装，作为 obsidian-gemini-helper 的纯本地姊妹插件面向云端 API 受限环境。
推荐理由：原文详细给出了本地 LLM 工作流引擎、RAG、MCP 与 Agent 技能的完整架构和配置方式，读者可以按需迁移到自己公司受限环境复用。
howardguoui 在 GitHub 开源 filings-rag，可对 SEC 10-K 文件提问并给出标注精确出处的回答。项目用 Postgres 中 pgvector 与全文检索经 RRF 融合的混合检索，配 ms-marco-MiniLM-L-6-v2 交叉编码器重排，答案只用编号来源并逐句引用，无法回答时明确拒答；支持 Claude API、Ollama、vLLM 三种后端，并内置 36 题的 RAGAS 评测套件与本地、Render 部署方案。
推荐理由：原文完整给出混合检索、重排与 RAGAS 评测的实现细节和指标定义，读者可以直接复用这套 RAG 工程做法。
NVIDIA 开源的 NeMo AutoModel 是 PyTorch DTensor 原生的 SPMD 训练库，支持 LLM、VLM、扩散模型和检索模型的预训练、SFT、LoRA/QLoRA 微调与知识蒸馏。同一训练脚本通过修改 device mesh 配置即可从 1 GPU 扩展到 1000+ GPU，支持 FSDP2、TP、CP、PP 等可组合并行、FP8/MXFP8 训练、MoE 加速（DeepEP）、序列打包与异步 checkpointing，与 Hugging Face 生态兼容实现 day-0 模型支持。
推荐理由：官方仓库给出了从单卡到多节点的 YAML 配方和模型覆盖清单，读者可以据此评估是否用它做 LLM/VLM 微调。
sitne 发布 honchol，一个轻量自托管的 Honcho v3 HTTP API 兼容记忆服务器，单个 Go 静态二进制加一个 SQLite 文件即可运行，无需 Docker 和 Postgres，现有 honcho-ai SDK 客户端改一个 base_url 即可接入。检索不用嵌入向量，采用 FTS5 候选加 LLM judge 重排的两阶段方案，派生管线异步执行并每 15 分钟跑一次；在 4 核无 GPU、约 23k 消息/44k conclusions 的库上，conclusion 查询 p50 约 18 ms，搜索 p50 约 1 s，chat 合成约 7–12 s。
推荐理由：作者给出了 CPU-only 环境下的实测延迟和与上游部署的定性对比，可据此评估轻量自托管记忆服务器的适用场景。
/u/NoFee9147 在 Lenovo P620 四张 7900XTX（gen 4.0 x16）上对 Qwen3.8-27B 和 Qwen Flash Next 做了一系列 ROCm 与 llama server 层面的修复，表示有人感兴趣就推送到 GitHub 并分享配置。
推荐理由：作者逐项列出 ROCm 与 llama.cpp 服务端的修复内容和前后性能数字，四卡 7900XTX 跑 Qwen3.8-27B 的结果可复现。
gmcabrita 发布了开源项目 writing-workshop，一个纯本地运行的文字工作台：用 Notion 风格编辑器写作，运行 LLM 编辑 pass，并以侧边批注卡逐条处理修改建议，全部数据存在浏览器 IndexedDB 中。构建产物 dist/index.html 内联全部 JS、CSS 和字体，可从 file:// 直接打开；唯一网络流量是用户配置的 OpenAI 兼容 chat completions 请求，本地服务器（Ollama、LM Studio、llama.cpp、vLLM）默认支持 CORS，README 还给出自建服务器的 CORS 配置和备份、Markdown 导入导出及快捷键操作方式。
推荐理由：这是一个数据完全留在浏览器本地的 LLM 写作工作台，架构和 CORS 配置说明具体，适合想本地跑编辑流程的读者参考。
GIO443 发布 speculative-statecraft 仓库，在 4-64 个 LLM 阵营每回合输出引导 JSON 决策的策略游戏负载上，用目标模型（Qwen2.5-1.5B-Instruct）自身输出训练 51.5M 参数的 EAGLE-1 草稿头，在 RTX 4070 Laptop 8 GB 加 vLLM 0.30.0 上与无投机和 n-gram 投机对比。
推荐理由：原文给出按在飞上下文量判断投机解码何时划算的阈值，以及离线预测接受率的方法，可迁移到其他 vLLM 部署场景。
sparkdoc 在 GitHub 发布 Layerwise Function Anchoring（LFA）工具，通过估计各子模块隐状态分布 p(h) 并在微调时惩罚输出偏移，使模型适配新领域的同时不依赖旧数据回放或权重冻结来保留原有能力。工具完全本地运行于单张 CUDA 卡，无需 API key，为 Qwen3-0.6B 和 Qwen3-1.7B 提供预计算 artifact（132 MB / 265 MB，经哈希校验下载），输出可直接用 AutoModelForCausalLM.from_pretrained 加载的 Hugging Face checkpoint。
推荐理由：原文给出完整命令流程和双轴评测数据，还用对照实验区分锚定效果与训练剂量，读者可按需复现到自己的语料。
Eugene Plexus 发布 v0.1.0，这是一个自托管的本地 LLM 推理控制面，可安装、更新并监督 llama.cpp、vLLM 和 MLX 推理引擎，管理本地模型库，并暴露 OpenAI 兼容与 Anthropic Messages 端点。该版本以 OpenAPI 3.1 契约定义六个组件（agent、control、gateway、inference-driver、library、ui）间的接口，消费者通过固定 SHA 的 codegen 依赖契约。原文列出了真实硬件上的验证项（副本均衡、故障转移、空闲卸载、工具调用、双机多主机部署等）与已知缺陷，包括登录限流器可被请求头驱动的预认证缺陷、AMD/Intel GPU 的 Windows 机器被误判为无 GPU、一键运行路径的量化适配数值可能偏小等。
推荐理由：原文给出实测硬件验证清单、已知缺陷和未验证项，读者可据此判断这个本地推理控制面当前能做什么、不能做什么。
Hal0ai 发布 hal0 v1.3.0，通过一条 curl 安装命令把 Linux 主机（首选 Ryzen AI Max+ 395 加 128 GB 统一内存）变成 OpenAI 兼容的私有推理设备，在 :8080/v1 单一接口上提供 chat、completions、embeddings、rerank、转写、语音和图像生成。每个推理负载运行在独立的 podman 容器内，由 hal0-api 作为唯一控制面管理槽位状态机与请求分发；v1.3.0 为次版本更新，带来一项破坏性变更：配置了 admin key 且绑定非 loopback 地址时，机外调用者访问 ADMIN 级路由必须携带该 key。
推荐理由：原文给出安装流程、槽位架构和参考机上的实测吞吐数据，读者可以据此评估这套私有推理一体机方案是否适合自己的硬件。
0-CYBERDYNE-SYSTEMS-0 发布开源项目 FFT_nano，一个本地优先的农场 Agent，可在 Raspberry Pi、备用机器或自有服务器上运行，通过 Telegram 或 WhatsApp 收发消息，自带持久记忆、设备控制与任务调度，支持 OpenAI、Anthropic、Gemini、OpenRouter、Ollama、LM Studio 等模型提供方。项目无需订阅、不强制云端，日志和记忆保留在本机（MIT 许可），README 给出完整安装脚本、onboarding 流程、TUI/Web 控制台、ACP 接入、心跳任务与安全模型等细节。
推荐理由：README 完整给出了安装流程、多模型接入和持久记忆的配置方式，是想自托管消息 Agent 时的可参考部署样本。
MEDHA 在 GitHub 开源，是一个验证优先的通用 Agent harness，单一 Rust 二进制可接本地 Ollama、vLLM 或 Gemini 等任意模型。每次工具调用走验证、审批、执行的内核循环，默认启用 macOS Seatbelt 和 Linux Landlock 沙箱，附带 hash 链事件日志、回滚、子 Agent worktree 隔离和 medha gate 行为评测。项目处于 Pre-1.0 阶段，提供桌面应用、TUI 和无头模式，Apache-2.0 许可。
推荐理由：项目把每步工具调用都过验证和审批，并给沙箱、事件日志和回滚做了一套完整实现，适合关心 Agent 安全执行机制的人参考。
baairon/ethagent 是一个开源工具，通过 Ethereum 钱包持有的 ERC-8004 代币承载 AI 智能体的灵魂（SOUL.md）、记忆（MEMORY.md）和技能，加密备份到 IPFS，可在任何机器上恢复，只有用户的钱包能解密。日常使用免费，仅创建智能体和保存快照时上链；支持 ENS 命名、操作员托管模式、本地历史与回滚，并通过 `npx ethagent` 快速开始。
推荐理由：原文完整给出了基于 ERC-8004 与 IPFS 的实现架构和命令体系，读者可以了解如何让 AI 智能体的身份、记忆和技能跨工具可迁移。
FutureisinPast 在 GitHub 发布 Agent Switchboard，一个本地 MCP 桥接工具，让 Claude Code、Codex、Gemini、Antigravity 和 VS Code 相互派发任务、互审工作、跨模型辩论并共享压缩后的项目上下文，无需 API key、云服务或额外计费。状态存于本地 SQLite（~/.agent-broker），复用已登录订阅的 CLI 与 IDE 通道；Antigravity 是唯一支持结构化应用内往返的表面，Claude/Codex 通过 CLI 或收件箱文件投递。内置 doctor 诊断逐助手报告实际可用投递路径，当前 v1.0.57 新增 code_graph 字面量搜索、上下文建议与热重载适配器。
推荐理由：项目把多款 AI 编程助手的互操作机制和各投递路径的真实可达程度讲得诚实具体，可作为本地多智能体协作的部署参考。
rwilliamspbg-ops 在 GitHub 发布 Ghostlink（v2.3.0，MIT 协议），基于 llama.cpp 的 ggml-rpc 将局域网内异构 CPU/GPU/NPU 机器组成零配置分布式推理集群，并提供 OpenAI 兼容的 /v1/chat/completions API。跨机器 VRAM 容量拆分已实测可加载单机放不下的 30B 级 MoE 模型，但项目自述网络拆分下的高吞吐和多节点可用速度仍未证明；预编译二进制目前仅支持 x86_64。
推荐理由：项目给出了多节点 LAN 分布式推理的实测吞吐和可复现命令，读者可以据此评估这套零配置集群方案在自己硬件上的可行性。
carlosmartinezt 在 GitHub 发布 Chloe（chloejs.org），一个可自托管的 TypeScript Agent 运行时，核心思路是任务即代码：能用确定性代码完成的步骤用 work.step()，需要判断的环节才调用 LLM（work.model()），需要自主行动时用 work.agent() 并以 tools、stopWhen 和 budget 限定边界，还可通过 work.ask() 暂停等待人工审批。
推荐理由：原文完整给出了这个自托管 Agent 运行时的分层工作模型、持久化与成本追踪机制，读者可以据此评估是否适合本地部署。
作者发布 llama.cpp 的 fork focus-llama，将物理 KV 缓冲与逻辑上下文解耦，逻辑上下文保持 256k 而物理缓冲上限约 85k cells，旧块卸载到外部存储按需取回。在单张 RTX 5090 上运行 Qwen3.8-27B UD-Q6_K_XL 并启用自适应 MTP 投机解码，平均速度 110+ t/s，日志显示生成速度稳定在约 117-123 t/s；项目基于 Google DeepMind 提出的 declarative attention 与 skill.state 两种技术，代码与配置见 https://github.com/edwardyoon/focus-llama/blob/master/README.md。
推荐理由：作者给出了 fork 的 KV 缓冲上限机制、完整启动配置和逐段生成速度日志，可复现单卡 256k 长上下文的高吞吐部署。
Kortix 发布开源自托管 AI Operating System，将智能体、技能、公司记忆和连接器全部放在一个可版本化、可 diff 的 git 仓库中，定位为 Claude Cowork 和 ChatGPT Work 的开源替代。每个会话运行在隔离的云端 Linux 沙箱和独立分支上，产出通过人工审批的 change request 合入 main；支持任意模型提供商与自有 API key，可在自有 VPC 或本地网络自托管，也可用 Kortix Cloud（$40/seat/mo + usage）。安装仅需三条命令：curl 安装 CLI、kortix init 脚手架、kortix ship 上线。
推荐理由：原文给出了与 Claude Cowork、ChatGPT Work 的闭源对比表和自托管路径，团队可据此评估私有化智能体平台的选型。
Mas-Inx 在 GitHub 发布开源 AI 视频编辑器 Lumen，定位于 CapCut、Filmora 和 Descript 的开源替代。每次剪辑都是类型化命令，AI 获得 100 多个工具，可查看导出级渲染帧、缩略图和音频响度；Copilot 支持 Claude Code、Codex、各家 API 或本地模型，Lumen 同时是 MCP 服务器，任意 Agent 可驱动。软件本地优先，媒体不上传，Whisper 转写在本地 GPU 运行，无需账号、无水印、无遥测，目前提供 Windows 版本。
推荐理由：开源 AI 视频编辑器把每次剪辑做成类型化命令并开放 100 多个工具，AI 与人共享同一套编辑能力，可作为 Agent 驱动桌面软件的可迁移范式。