方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
nmorgowicz-org 在 GitHub 发布 Local LLM Foundry 2.0，定位为 llama.cpp 与 GGUF 推理的统一管理面板，支持模型发现、GPU/系统实时遥测、聊天工作区和硬件感知配置向导，覆盖 macOS、Linux 和 Windows。该版本将 Rapid-MLX 列为 Apple Silicon 的一等推理后端，运行时由应用托管安装与回滚；项目是 Llama Monitor 的兼容性更名，2.x 内保留原有 API 路由与浏览器存储，许可证为 MIT。
推荐理由：README完整描述了llama.cpp与Rapid-MLX双后端的管理方式、遥测面板和硬件向导，读者可据此评估是否替换现有本地推理工具链。
开源语音听写应用 Audian 1.0.0 发布，支持在 Windows 任意应用中按快捷键口述，本地生成整理后的文本。它用 whisper.cpp 做语音识别、本地 Qwen 3.5 2B 做改写，全部在 CPU 上运行，音频不离开电脑，无需账号和订阅；默认模型约 1.5 GB，识别支持 99 种语言，从说完到上屏通常 0.5 到 2 秒。项目受 Wispr Flow 启发但独立开发，MIT 许可，要求 Windows 10/11 64 位和支持 AVX2 的 CPU，建议 8 GB 内存。
推荐理由：原文给出了本地运行链路、模型选型和资源占用实测数据，读者可以据此评估纯 CPU 语音听写在自己机器上的可行性。
cavi-ai 在 GitHub 发布 mlx-workbench，一个面向 Apple Silicon 的浏览器前端，通过子进程调用 mlx-agent 完成 GGUF 扫描、HF 缓存转换、量化、服务与 LoRA 训练，UI 服务器仅依赖标准库并只绑定 loopback。配套的原生 SwiftUI 应用 mlx-mac 增加转换质量门（canary 探测）、实测 tok/s 与 TTFT 对比、模型溯源时间线、内存适配建议和 GGUF 隔离回收等功能。转换全程采用 preview/confirm 机制，HTTP API 带 per-process session token，MIT 许可。
推荐理由：README给出了完整的安装流程、功能清单和安全边界，读者可以据此评估这个 Apple Silicon 本地 MLX 模型管理工具是否够用。
ABakdi 发布了 Oraknid v0.2.4 预发布版，一个在 Linux 后台运行的自主开发工作区。The Eye 把目标拆成带校验的任务，路由给 Claude Code、Codex、OpenCode、Antigravity 或任意 OpenAI 兼容模型，失败时升级到更强模型，任务校验通过才算完成。Agent 在 bubblewrap/Landlock 沙箱中运行，附带 GitHub 仓库、服务器部署、数据库备份、云存储、邮件和手机端加密远程控制等功能。
推荐理由：作者自述的本地 Agent 编排工具，把多模型调度、任务校验、沙箱隔离和服务器运维整合在一台 Linux 机器上，可了解其架构做法。
Pith 发布开源本地记忆服务开发者预览（macOS 和 Windows），为 AI Agent 提供跨会话的项目上下文持久化、矛盾检测、信念衰减与检查点机制，数据以 SQLite 存储在本机。自称在 LoCoMo-Plus Cognitive all401 达 100.00% 准确率，MemoryAgentBench FactConsolidation 多跳 6K 路径 95.0%、262K 路径 68.0% EM；完整生命周期已验证客户端为 Claude Cowork 和 Codex，Claude Desktop、Claude Code、VS Code、Cursor 支持经配置或手动指令接入，许可证为 Apache 2.0。
推荐理由：README 给出与 Mem0、Zep、Letta 的定位对比和自报基准分数，读者可以了解受治理记忆层与一般记忆工具的差别。
ChiefGyk3D 在 GitHub 开源 FrankenLLM 工具集，让每块 NVIDIA GPU 各运行独立 Ollama 实例（如端口 11434、11435），互不干扰地服务不同模型。提供交互式安装向导、systemd 服务、开机自动预热、GPU 健康监测自修复、Open WebUI 集成与 RAG 数据集抓取脚本，面向 Ubuntu Server 24.04，支持本地或 SSH 远程部署，并按 8GB 到 32GB+ 显存给出推荐模型组合。
推荐理由：作者开源了一套多 GPU 部署脚本，按显存大小给出具体模型搭配和常见故障的排查方法，可迁移到自建机器。
footprintjs 在 GitHub 发布 Agentfootprint，一个 TypeScript 可解释 Agent 框架，将每次读取、写入、决策和工具调用记录为相互关联的证据。框架把上下文注入抽象为 Injection = slot × trigger × cache，3 个 slot、4 种 trigger，支持技能、steering、RAG、记忆和 guardrails，提供 mock 到 anthropic、openai、bedrock、gemini、ollama 的生产切换，并带 hash 链审计导出、工具目录 lint 和可通过 npx agentfootprint-setup 安装给 Claude Code 等编程助手的 skill，MIT 许可。
推荐理由：框架把上下文注入统一成 slot、trigger、cache 三要素，可迁移到自己的 Agent 调试与审计流程。
cogitator-ai 在 GitHub 发布 Cogitator，一个用于构建 AI 智能体的 TypeScript 框架，支持 11 家内置 LLM 提供商（OpenAI、Anthropic、Google、Ollama、vLLM 等）和结构化输出。框架以独立 npm 包提供记忆、多智能体 swarm、DAG 工作流、MCP、A2A、RAG、语音、浏览器自动化、评测和沙箱等能力，含 74 个可运行示例，并支持用 YAML 配置在 Telegram、Discord、Slack、WhatsApp 上搭建个人助理。项目采用 MIT 许可证。
推荐理由：这是一个模块化的 TypeScript Agent 框架，从核心运行时到消息渠道、评测、沙箱都拆成独立包，附 74 个可运行示例，想搭多渠道助手的读者可以直接对照上手。
IBM 以 alpha 状态开源了 Granite.Build，用于在 YAML 中定义多步骤 LLM 构建流水线，涵盖模型下载、微调、评测和部署，可在本地或云端执行。系统由编排服务器 gbserver（REST API + BuildWatcher）、命令行客户端 gb 和 build.yaml 三部分组成，支持 Docker、Kubernetes、Bash、RunPod、SkyPilot 等执行环境，目标之间通过 artifact 绑定自动触发下游任务，内置 HuggingFace Hub 集成与 lineage 追踪，附带 Web 仪表盘、Agent Skills 和基于 MCP 的 gbmcp 工具集（18 个工具），采用 Apache License 2.0。
推荐理由：原文完整给出了 YAML 管线定义、多环境执行和依赖绑定的设计细节，读者可以照着快速上手部署自己的 LLM 训练流水线。
GitHub 开源项目 maiabazerji/rag_system 发布 EvalRAG，一个用于构建和度量 RAG 系统的平台，在同一语料上运行 classic、graph、agentic 三种检索策略并用相同标准对比。每个回答经服务端验证引用，每次运行记录检索配置指纹，用 Recall@K、MRR、nDCG@K 等确定性指标加版本化 LLM judge 评分，并通过回归门槛对比基线；技术栈为 FastAPI、React、Qdrant、Postgres 和 Anthropic Claude。
推荐理由：仓库把检索、生成、引用三个失败点拆开用确定性指标加版本化 LLM judge 分别度量，评测设计可直接迁移到自己的 RAG 项目。
GitHub 用户 BHUVAN-RJ 发布 Auto-Apply，一个半自动求职申请流水线：读取你标记的职位，按职位定制 LaTeX 简历并编译 PDF、写求职信、用浏览器填申请表，然后停止，每次提交都由人点击。工具在代码层强制代理永不点击提交控件，设置两道检查点，第一道展示简历统一 diff 与 PDF 预览供批准或驳回，第二道填表后停留在表单截图等待人工确认。
推荐理由：这个求职自动化工具把不自动提交做进了代码层而非提示词，两道人工检查点和防提交护栏的做法对同类 Agent 项目可迁移。
tonygwu 发布 llm-quota-router，一个 macOS 命令行工具，在个人持有的多个已授权 Claude、Codex、Cursor、Antigravity 订阅账号间选择本次调用用哪个，优先消耗即将过期作废的配额。工具把各账号百分比换算为统一单位 PSE 后按剩余可吸收量排序，只读凭据、不做代理也不刷新 token，附 quotapick、cl、cdx 等命令和 waste 浪费量统计；仓库于 2026-09-06 公开，MIT 许可，零运行时依赖，需 Python >= 3.12。
推荐理由：作者把多个订阅账号的配额换算成统一单位再路由，文章讲清了做法和踩坑细节，方法可迁移到类似的多账号场景。
johngbl 发布了开源项目 QwenProxy（https://github.com/johngbl/qwenproxy），一个兼容 OpenAI 和 Anthropic 协议的 API 网关，将 Claude Code CLI、OpenAI Codex、OpenCode、Cursor、Zed 等编码智能体桥接到 chat.qwen.ai。它提供 /v1/messages、/v1/responses、图片与视频生成等端点，支持多账号轮换与自动故障转移，单 Chromium 实例约 200MB 内存；thread-temp 模式每次请求仅约 1KB 增量负载、TTFB 约 0.6s–1.2s，可用 qpx sync 一键配置各编码智能体。
推荐理由：原文详细给出四会话模式、多账号轮换和各编码智能体的一键接入配置，读者可以按需迁移到本地开发环境。
gke-labs 发布 OpenRL，一个可在自有机器或 Kubernetes 集群上自托管的 Tinker 兼容 API，用于微调大语言模型。研究者可用 Tinker SDK 在本地用命令式 Python 编排 RL 训练循环，多个 RL 任务可并发共享 GPU 以提升利用率；项目支持本地原型开发后远程扩展，含 autoresearch 配方、SFT 与 RL 示例，采用 Apache 2.0 许可证，非官方支持的 Google 产品。
推荐理由：原文讲清了 OpenRL 如何把训练基建抽象成 Tinker 兼容 API，读者可以了解自托管 RL 微调的可行架构和 GPU 复用思路。
开源桌面 AI Agent 应用 Personal Jarvis 在 GitHub 发布，支持在 Agentic IDE 中并排运行 Claude Code、Codex、Cursor CLI 等多个编码智能体，并提供带唤醒词的语音助手、桌面与浏览器操控、常驻记忆的 Jarvis Agents、40 多个插件的插件市场和定时例程。应用免费开源，本地运行，无需账号，支持 OpenAI、Anthropic、Gemini、Ollama 等模型，可装在 Windows、macOS 和 Linux 上，也可通过 pip install personal-jarvis 以无界面服务器方式部署。每个操作经 safe、monitor、ask、block 四级风险检查，可能更改系统的操作需用户批准且全程留有记录。
推荐理由：README 完整介绍了这款开源桌面 Agent 应用的功能构成、安装方式和权限控制设计，想同时跑多个编码智能体的读者可以了解其具体做法。
GitHub 项目 nano-llm-proxy 发布了一个纯 Go 编写的单二进制 LLM 网关，约 24 MB，运行仅需一个 SQLite 文件，无需 Docker、Postgres 或容器运行时。
推荐理由：README 不只列功能，还给出与 LiteLLM、Bifrost 等网关的逐项对比和明确的适用边界，方便读者判断它是否适合自己。
Lucenor 在 GitHub 开源了 mnesis，一个 Python 实现的 LCM（无损上下文管理）架构，把记忆管理从模型转移到确定性引擎层，应对长上下文中准确率下降 30-40% 的 context rot 问题。引擎采用三级压缩升级（LLM 结构化摘要、激进压缩、确定性截断）、工具输出向后扫描剪枝（默认保护最近 40K token）、大文件外部引用（默认超 10K token 转 FileRefPart）和不可变 SQLite 追加日志。在 OOLONG 长上下文基准上，基于 Claude Opus 4.6 的对比显示原始模型超过 32K token 后分数崩塌，LCM 管理的上下文在 8K 到 1M token 各长度上均有提升。
推荐理由：原文给出了三级压缩机制、工具输出剪枝和在 OOLONG 上的对比图表，读者可以借此评估用引擎层管理长上下文的可迁移做法。
作者在 r/LocalLLaMA 分享了把闲置的 Strix Halo XDNA2 NPU 通过 Halogen 0.17.1 接入自建编码智能体的方案，NPU 只负责语义检索、去重、受限决策和注入筛查等定向工作。实测 codebase_search 在无关键词问题上 15/20 优于 grep 的 9/20，搜索延迟从约 4s 降到 0.1s，关键词贫乏任务平均 13.6 分钟对比 18.7 分钟；3.5 小时连续会话完成 119 轮、五次提交并经视觉验证发现三个真实 bug，NPU 调用中sidecar压缩每次约省 80-95 秒。作者强调 GPU 负责推理生成，NPU 只负责指引，并按实测裁掉了评分弱的工具。
推荐理由：作者对 Strix Halo NPU 在编码智能体中的每项用途都给出了实测数据和裁剪依据，方法可以迁移到自己的本地部署评测。
作者在 Minisforum Venus 迷你主机加 Intel Arc Pro B70 32GB eGPU 上，用 llama.cpp SYCL/XMX 加 llama-swap 搭建单端口 OpenAI 兼容端点，供 opencode 和 pi 调用。仓库列出 14 个量化模型的 VRAM 占用与吞吐实测，10 月 7 日新增 Swift 1.5 Qwen3.8-27B，2048-token 微批提升 8K prompt 摄入约 10%，新概率 MTP 模式在 f16 生成上提升 9.5%、q8 上提升 4.7%；另附 LocalAI 对照、Qwen/Agents 调优前后配对测量及故障排查说明。
推荐理由：原文给出 Intel Arc Pro B70 上 llama.cpp SYCL 部署的完整配参、VRAM 实测与多模型调优数据，可复现到同类 eGPU 本地推理环境。
GitHub 项目 rustrak/llmtrak 发布了一个 Rust 编写的轻量自托管 LLM 网关，可将任何 OpenAI SDK 指向它，通过团队虚拟密钥统计每人花费，支持 OpenAI、Anthropic、Azure、Gemini、Groq、Mistral、DeepSeek、OpenRouter、Ollama 等 API 方言互译，提供带权重、重试、冷却与回退的路由，密钥哈希存储，预算按日/周/月重置，内置 Management API 与每日价格表计费。
推荐理由：原文附上了与 LiteLLM 同条件容器的延迟和内存实测对比，读者可以据此评估这个自托管网关的实际开销。