方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
argyelan-ai 发布开源项目 Mission Control，提供完全自托管的 AI 编码智能体舰队编排控制台，含任务看板、dispatch-ACK 握手、看门狗、审查门与自动 PR 的 git 工作流。智能体可运行 Claude Code（复用现有 Pro/Max 订阅，claude setup-token）或 vLLM、LM Studio、Ollama 等 OpenAI 兼容本地模型，可一键在 Claude 与本地模型间切换；支持 Slack/Discord/Telegram 操控、知识库与成本追踪，代码与提示词均不出本机网络。项目含 71 份 ADR、5000+ 测试，AGPL-3.0 授权，一条 install.sh 命令约 5 分钟完成安装。
推荐理由：项目把多智能体编码编排做成可完全自托管的开源控制台，给出了运行时切换、守门机制与本地模型混用等具体方案。
KoboldAI 发布 lite.koboldai.net，一个零依赖、无需安装的单 HTML 文件 Web UI，可连接 KoboldCpp、AI Horde 及 OpenAI、Claude 等自定义端点。支持 Story、Adventure、Chat、Instruct 四种模式，兼容 Tavern AI 卡与 KoboldAI 存档格式，可通过 AI Horde 生成文字与 Stable Diffusion 图像，还可管理自己的 Horde workers，并随 KoboldCPP 一起分发。
推荐理由：原文列出了这个单文件 Web UI 的完整功能清单，读者可以直接对照判断它是否满足自己的本地文本生成需求。
llostinthesauce 在 GitHub 开源了 local-llm-benchmarking-public，一个面向 Apple Silicon 的本地 LLM 服务、清点与基准测试控制面板，自动发现磁盘上的模型并在固定回环端口启动 mlx_lm、mlx_vlm 或 llama.cpp。内置覆盖工具调用、多步 Agent 任务、长上下文等评测套件，附 Qwen3.8-27B 九种量化配置对比：混合精度 4-bit MLX 版以 16.7 GB 磁盘占用达到 0.987 能力分和 16.8 tok/s，8-bit 速度减半但无可见能力提升，64 GB 内存的实用上下文上限为 65,536 tokens。
推荐理由：这是一个完整开源的本地 LLM 基准工具，附带了量化对比数据和可复现方法，读者可以照着在自己的 Mac 上复测。
开发者 yakovkhalinsky 在 GitHub 发布 Grove，一个纯 Python 标准库编写的本地森林生态模拟，语言模型作为 World Soul 约每分钟决定风暴、干旱等事件，并撰写编年史和为新生儿命名。默认模型为 glm-5.3-flash:cloud，经自有 Ollama 调用且无需 API key，--tier local 可完全离线固定到 llama3.2:3b（CPU 上约 1.9 tok/s）。世界状态存于单个 SQLite 文件，LLM 只做 schema 校验的有界任务、从不写世界状态，grove web 提供离线等距仪表盘，tools/balance.py 要求 8 个种子世界各 19 年内所有物种存活才能合入。
推荐理由：作者把 LLM 限定为只做有界决策、引擎持全部状态，这种确定性模拟与模型分工设计可借鉴到其他本地 AI 项目。
MemTether 在 GitHub 开源，定位为跨客户端本地记忆中枢：更正事实时不删除旧值，而是写入可追溯、可回滚的 supersession 链，配合双时间戳与带完整性哈希的导入导出格式。单个 SQLite 数据库通过文件级指针供 Claude Code、Cursor、Gemini CLI 等 23 个客户端共享，无云端依赖；EAF 检索在 LongMemEval 500 题上严格匹配 75.7%，并附 mem0、Zep/Graphiti 等方案的功能对比表。
推荐理由：项目给出 LongMemEval 实测与对照数据，读者可据此评估这套本地共享记忆方案的实际检索效果。
reynold-hu 在 GitHub 开源 video2text 工具，粘贴链接即可提取 B站 / 小红书 / YouTube 视频文字，全程本地运行，无需付费 API。核心是先便宜后昂贵的流水线，有字幕轨（B站、YouTube）直接抓取秒出，没有才用 yt-dlp 下音频并本地转写；转写引擎可选 mlx-whisper 和 FunASR Paraformer，后者中文错字率约为 Whisper 的一半。项目还说明了 B站 AI 字幕需登录、小红书链接带 xsec_token 且易失效触发风控等注意事项，支持纯文本、带时间戳、SRT 等五种输出格式。
推荐理由：工具采用先抓字幕后转写的流水线并说明各引擎速度与准确率取舍，读者可据此选择中文转写方案。
arXiv 论文（https://arxiv.org/abs/2610.08164）提出免训练的两阶段闭式低秩量化误差补偿框架：Stage 1 以 Fisher 加权非对称目标将各层输出对齐全精度模型，Stage 2 在补偿后模型上做秩约束自然梯度步吸收剩余一阶信号，每个 adapter 只需一次截断 SVD。在 2 bit QuIP# 下，Qwen3-8B 的 WikiText-2 困惑度从 12.43 降至 10.26，Qwen3-4B 从 21.11 降至 13.22；在 C4 上相对最强基线（31%/63%）分别恢复 51% 和 84% 的到 FP16 的差距，并在更高位宽和另一量化器下保持增益。
推荐理由：论文指出既有低秩量化误差补偿的两个共同简化，并用两阶段闭式框架在 2 bit 极端量化下给出可复现的困惑度改进。
arXiv 论文（2610.08463）提出 UNREAL 框架，直接从冻结 LLM 的内部表示生成检索查询和编码文本块，仅新增不到 500K 可训练参数且不改动主干。在 3B token、21M chunk 的 Wikipedia 索引上，四种 dense 和 hybrid 主干均超越现有 retriever-reranker 系统，HotpotQA 召回率从 49.1% 提到 73.2%，2WikiMultiHopQA 从 31.7% 到 60.1%，MuSiQue 从 8.8% 到 14.4%。
推荐理由：论文用不到500K可训练参数统一语料检索与长上下文证据选择，并给出多基准召回率对比数据，方法与结果都可复用参考。
arXiv:2610.08718 研究微调中语言模型的伪遗忘（spurious forgetting），发现被遗忘的旧知识往往仍存储在模型中且可恢复。作者用最小联想记忆模型复现遗忘动态，指出其依赖共享结构的键、集中新值和网络归一化三个要素：微调使旧表示沿共同方向整体移动，暂时隐藏旧事实但保留其相对几何；新数据只把旧记忆一起移动时遗忘可逆，逐事实改变累积时才造成永久侵蚀。实验显示减去共同位移可消除 Transformer 的崩溃，从权重更新中移除单一方向可在预训练语言模型中恢复旧事实。
推荐理由：论文把微调遗忘拆成可逆的共同位移和不可逆的个体侵蚀两部分，并给出恢复旧知识的干预方法。
mmr710 发布开源工具 nightmux，通过 Telegram group 与 tmux 会话绑定，让用户在手机上运行 Claude Code、Codex、Gemini、aider 等编码 agent。它读取 Claude Code 的真实用量限制窗口，把触限的 turn 和排队 prompt 保存并在窗口重开后自动重放，支持定时任务、!consult 多 agent 互询、git 快照与 !undo 回滚、本地 webhook 与 dashboard。项目仅依赖 Python stdlib，四个文件约 5400 行，MIT 许可，支持 macOS 和 Linux，不支持 Windows。
推荐理由：把用量限制窗口、队列恢复和多 agent 调度做进一个无依赖单文件工具，思路和实现细节都写得很实。
Avibe 在 GitHub 开源（MIT 协议），一条命令即可将本机变成驱动官方 Claude Code、Codex 和 OpenCode 的 Agent 运行环境，可通过浏览器 Workbench 或 Slack、Discord、Telegram、微信、飞书等聊天渠道远程操控。其 Model Hub 把用户已付费的 Claude、ChatGPT、Gemini、Kimi 和 xAI 订阅及 API key 聚合到本地网关，支持跨 agent 混用模型、配额耗尽自动切换到下一个来源，并按官方 API 价格统计用量。
推荐理由：原文把订阅与密钥聚合到本地网关并支持自动故障转移，读者可以据此了解如何统一调度 Claude Code、Codex 和 OpenCode。
Elflare 在 GitHub 发布 Go 编写的轻量 Agent/Chatbot 框架 ElBot，主打低运行成本、低上下文开销与可扩展性。本地启动时间小于 10ms、常驻内存约 30MB、二进制小于 30MB；通过按需发现工具降低 token 消耗，chat 模式首轮小于 500 token、work 模式小于 1000 token，缓存命中率达 90% 以上。支持 Hook 扩展、标准与 LLM Cron、ELyph 任务描述、Elnis 外部事件感知、持久 Session 与上下文压缩，已适配 CLI、QQ OneBot、QQ Official 和 Telegram，项目仍在快速开发中，适合作为个人 Agent/bot 框架探索。
推荐理由：作者用 Go 实现轻量 Agent 框架，给出启动时间、内存占用和双模式 token 消耗等实测数据，可作自建 bot 的参考。
aktonay 在 GitHub 发布 snapdec，一个零配置 MCP 服务器与 Agent Skill，把编码智能体的高频分类、检查、评分和排序任务从前沿大模型卸载到 5–50ms 的本地模型或免费托管路由。提供 project_facts 零 token 仓库探测、带校准概率的 auto|review 拒绝式输出、后端崩溃时安全回退 review，支持 Claude Code、Cursor 等 9+ 个智能体自动配置，模型目录涵盖 Laya、Kev、Decision 2.0 系列及 OpenRouter、TypeSafe Jev 托管端点，Apache-2.0 协议。
推荐理由：README 给出了各模型的延迟、参数量和不同基准的数据来源区分，读者可以据此评估这套本地微决策卸载方案是否适配自己的硬件。
atharv1205 发布开源工具 Synapse，将仓库解析为文件与函数的图谱，按 PageRank 与 git churn 混合评分（70/30）排序文件重要性，并可在浏览器 3D 探索。解析、排序和检索全部本地运行，摘要与问答默认通过 Ollama 用 qwen2.5-coder:14b，也可切换 Gemini 或 Claude；支持 JavaScript、TypeScript、Python、Java 和 Go，npx synapse-map serve 一条命令即可在 Flask 上约 8 秒出图，结果缓存在 .synapse/ 目录。
推荐理由：原文给出解析、重要性排序和检索的完整实现细节与性能数字，读者可以据此评估能否把它用在自己的代码库里。
developerz-ai 在 GitHub 发布 multi-ai-router，一个自托管路由服务，可把五份 Claude Max、ChatGPT/Codex 订阅及多家 API key 池化到一个兼容 OpenAI 和 Anthropic API 的地址后面。
推荐理由：原文详细说明了路由策略、凭证加密和用量计费的设计取舍，团队想把多份订阅合并成一个自托管端点时可参考其实现方式。
SpookyJumpyBeans 在 GitHub 发布 nanoinfer，一个从零编写的 LLM 推理引擎，目标模型为 Qwen2.5-0.5B-Instruct，直接加载原始 .safetensors，运行时仅依赖 numpy，tokenizer、前向传播、KV cache、采样和量化均为自行实现。分八个阶段对照 transformers 和 llama.cpp 逐项验证，包括 KV cache 带来 3.5 倍加速、INT8 量化仅 +0.17% 困惑度、Rust AVX2 内核比 OpenBLAS 快 22%，以及 f32 解码与 llama.cpp 基本持平；并配有可视化页面展示每步候选 token 和注意力。
推荐理由：作者从零实现了一个推理引擎并用逐阶段基准量化每一步的收益，读者可以从中借鉴带宽瓶颈、量化和内核优化的可迁移测量方法。
Bullobis 在 GitHub 发布 Kevrai Omni，一个 Electron + Python（FastAPI）sidecar 的桌面应用，集成 LLM / TTS / 图像 / 视频 / 3D / 音频 / 超分辨率的本地推理，采用 llama.cpp + MNN 双引擎，数据默认保留本机、不依赖远程服务。内置模型市场、硬件检测与量化档推荐、LTX-2.5 文生视频 / 图生视频、ReAct 风格 AI Agent 助手、环境管理、数据备份迁移与中英双语界面；支持 Windows / macOS / Linux 打包与从源码运行（Node.js 22+、Python 3.11+）。
推荐理由：README完整列出功能、架构、数据迁移路径与快捷键，读者可据此评估这个本地AI工作站是否覆盖自己的部署需求。
motojinc25 在 GitHub 发布 ChatWalaʻau，一个本地优先的 AI Agent 运行时，通过 pip install chatwalaau 即可在 localhost 运行聊天、工具、RAG 和 MCP。支持 Azure OpenAI、OpenAI、Microsoft Foundry 和 Claude 模型，提供 CodeAct 沙箱、Windows Computer Use、基于 ChromaDB 的 PDF 知识库、RDF 本体编辑、YAML/GUI 定义 Agent、可视化 DAG 工作流、Teams 集成和 token 用量面板，会话与向量存储均在本地，采用 Apache-2.0 许可证。
推荐理由：README 详细列出了这个本地优先 Agent 运行时的功能边界与配置方式，想自托管 Agent 工作区的读者可以按需对照。
intact 是一个面向 LLM 提供商的凭证代理，把多个账号的凭证集中在一个主机上，通过统一 base URL（/v1）对外服务，支持 OpenAI 与 Anthropic 两种请求格式的互译、账号轮换与故障转移，OAuth 过期自动刷新。针对 Claude Code、Codex、Antigravity CLI 等编码工具的 Bifrost 模式只替换 token 不改动请求头与请求体。它还能通过漂移检测与错误日志自动学习提供商拒绝的内容，区分真假 429 并自动生成黑名单规则，配有 TOTP 登录仪表盘、MCP 接口，以 MIT 许可开源，npm 包为 intact-gateway。
推荐理由：原文完整给出了一个 LLM 凭证代理的功能边界与自修复机制细节，对多账号运营者的部署选型有直接参考价值。
xibodev 在 GitHub 发布 Compa，一个本地运行的个人 AI 助手，名字是墨西哥俚语里的伙伴，提供 Windows、macOS 和 Linux 一键安装脚本。用户在浏览器中聊天，可接入 OpenAI、Anthropic、Google Gemini、OpenRouter、Groq、Mistral AI 等 API 或 Ollama、LocalAI 本地模型，并支持文件操作、shell 命令、网页搜索、定时任务、语音对话，以及通过 Telegram、Discord、Slack、WhatsApp、Matrix 等聊天应用交互。数据保存在本地 ~/.compa，Web UI 用密码保护，支持包括简体中文在内的五种语言，MIT 许可开源。
推荐理由：本地运行的个人 AI 助手，正文给出安装命令、支持的模型来源和工具能力，读者可按需评估是否在本地部署。