方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
dagoalguez 发布 quipullm 4.2.x 早期版本，一个自托管 LLM 服务器，推理引擎用 WebGPU（WGSL + JavaScript）从头编写并运行在浏览器窗口内，后端为纯 Python 标准库，无需 pip、npm、二进制或 Docker。它读取标准 GGUF 文件，提供 OpenAI 兼容 API 和聊天页面，每个架构与 llama.cpp 逐数值比对验证（logit 相对误差低于 2e-3）。实测 Intel UHD 核显上 LFM2 350M 为 44.3 tok/s、Gemma 3 4B 为 5.3 tok/s；AMD、Apple 等硬件未测，无 TLS，且一次只服务一个请求。
推荐理由：一个从零用 WebGPU 写的浏览器内推理引擎，验证方法和已测硬件的局限都写得很坦白，适合研究本地部署的人参考。
Melete 是一个以用户身份在自有电脑上运行的个人智能体，已开放早期 beta 并提供 GitHub 仓库，采用 Apache-2.0 许可，可自托管或加入托管版 waitlist。它连接工作与个人邮箱、双日历、浏览器、文件和服务器，自动处理域名续费提醒、跨日历改约等事务；支持 Fireworks、Anthropic、OpenAI、Google 及 openai-compatible 提供商和 ChatGPT 登录，长任务在 E2B、Modal 或 Daytona 沙箱执行，外发消息需用户批准，每个动作留有可撤销的 receipt。其 agent runtime 基于 Nous Research 的 Hermes Agent 定制。
推荐理由：原文给出完整的自托管安装路径、模型接入与安全设计说明，读者可据此评估在本地跑一个跨账号个人智能体的可行性。
Jongtae 在 GitHub 发布 Personal AgentOS v1.1.1（2026-10-07），一个开源自托管环境，让个人助手在更换底层 AI（Ollama 本地模型、OpenAI、Anthropic API 或 Codex、Claude Code 订阅）时保留记忆、未完成工作和权限。支持通过 Telegram 或浏览器（macOS/Linux，Windows 走 WSL2）使用，密钥不进入模型提示词和日志，写入记忆会明示并提供精确撤销；设置界面目前为韩文，许可证为 AGPL-3.0-only。
推荐理由：这个开源环境把记忆、未完成工作和权限留在本地，换模型不换助手，为个人 Agent 的数据归属提供了一套可部署方案。
论文提出 Humanize MLE Agents（HMA），通过两个智能体在共享工作区上交替执行、每会话最多 k 次实验并重置上下文，避免单会话长程减速和自定义 harness 随模型升级失效的问题。在 MLE-bench 的 75 个 Kaggle 任务上，HMA 达到 78.2% 的 any-medal 率，超过最强开源基线 8.0 个百分点且只用其四分之一时间预算；跨五种异构智能体对的六种配置平均提升 6.4 个百分点，另有核优化案例达到 878 个周期、距社区榜首 1.6%。
推荐理由：论文给出双智能体会话轮换的 CR-SMDP 理论条件与 75 个 Kaggle 任务实测数据，读者可据此评估工作流级方法相对单智能体的优势边界。
腾讯在 Hugging Face 开源 Youtu-Parsing-Omni，一个 5B 全模态解析模型，单次输入文档页、自然图像、图表、流程图、几何图形、音频或音视频，按任务提示词输出统一 JSON 结构，覆盖版面、表格、公式、ASR、OCR、声学事件等感知结果与描述类认知结果。模型在 OmniDocBench v1.6 拿到 96.96 Overall，OmniParsingBench 平均 75.08 为最佳开源权重模型（仅次于 Gemini-3-Pro），并附带 vLLM 插件与推理示例。
推荐理由：原文给出了 5B 尺寸模型在 OmniDocBench v1.6 和 OmniParsingBench 上的具体分数，可据此评估它的文档与多模态解析水平。
Pablo Manrique 等在 arXiv 发布 SqueezeBench，一个抗饱和的数学能力基准，每题固定一个仅在小区间取值已知的整数函数 f(n)，提交者用机器证明的 Lean 函数给出更优上下界记录，成功会抬高门槛而非移除题目。基准附带极值组合学十个问题和二十个初始记录，前沿模型代理每记录限 1 小时通过 82 次提交改进全部记录；两个更新模型接续又通过 60 次提交改进了 20 个记录中的 19 个。10 个问题中有 8 个仍至少有一个记录渐近落后于已发表最优界。
推荐理由：提出以记录递进式构造衡量数学能力，缓解基准饱和问题，并给出多代模型代理的实测数据。
GitHub 仓库 heikeyangle-code/pi-android 发布一个安卓 App，把终端 coding agent pi 完整跑在手机本地，当前钉定 pi 1.1.0。它自带 Ubuntu 24.04 用户态与 Node.js 24.19，经 proot 免 root 运行，扩展、技能、提示词按原文件机制加载，可让 AI 自己搜索、编写并安装扩展，生态收录 10430 个扩展；另有 30 个默认关闭的设备能力端点（读屏、点按、文件等）按类授权。App 约 136 MB，APK 仅能从 release 或自编译获取，提供 sideload28 与 modern36 两种变体，构建用 SHA-256 锁定载荷并有契约检查防止上游变更悄悄出错。
推荐理由：用 proot 加官方 pi 包把 coding agent 原样搬到安卓，扩展机制与电脑上一致，架构与契约校验方法可迁移。
论文提出 Oído 推理引擎，在 ESP32-S3（240 MHz 双核、512 KB SRAM、无神经加速器）上运行 13M 参数 Conformer-CTC int8 模型，实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%，加 1.3M 参数语言模型后降至 3.33%/7.15%，transducer 头达 2.99%/6.67%，比同芯片厂商识别器少 2.3-2.8 倍错误，也优于笔记本全精度 Whisper 与 Moonshine tiny。
推荐理由：论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据，方法与测量细节都可复现。
MCP Tool Shop 发布开源工具 offrig，提供桌面应用、CLI 和 MCP side-car，让大模型只在租用的 RunPod GPU 上运行，绝不占用本地 GPU，并通过七项守卫检查验证这一点。side-car 可让 Agent 在人设预算内规划付费会话、租 GPU、执行带依赖的交接队列，队列排空或到达截止时间时看门狗会终止 pod。实测中 4×RTX PRO 6000 以 SGLang 服务 Qwen3-Coder-480B（4-bit AWQ）约 22 分钟就绪，花费 $3.59，480B 在 512 个并发 Agent 下达 4,059 tok/s；该项目以 MIT 许可开源，仓库地址 https://github.com/mcp-tool-shop-org/offrig。
推荐理由：原文给出实跑花费、并发吞吐数据和七项防落地检查的具体规则，读者可以照着评估这个租 GPU 跑大模型的方案能否迁移到自己的工作流。
作者在 Salesforce/xlam-function-calling-60k 上微调 SmolLM2，135M 全量微调达 21.80%，1.7B LoRA 达 83.47%、QLoRA 达 72.61%，Instruct 起点比 base 起点高 8.4 个点。作者还用 LLM-as-judge 加盲审人类复核审计评测本身，估计约 15.0% 的 exact match 失败是对任何模型都无法产出的参考答案打分，高于此的原始 20.5% 被修正；1.7B 微调模型与 235B 通用模型在 300 例子集上统计上无显著差异。仓库含完整训练、评测、judge 审计脚本与模型和数据集产物。
推荐理由：作者在给出微调结果的同时，用盲审人类复核修正了基准里不可推导参考答案的比例，评测方法本身值得细读。
brancusi 在 GitHub 开源 Voice-Pipes，一个 macOS 菜单栏语音应用，可用热键触发自组装流水线，实现听写、朗读和提问。默认轨道包括 ⌥ Space 本机 Parakeet v3 转写后粘贴（松开后约 50–150 ms），⌥⇧ Space 经 MAI-Transcribe-2 加 Claude Haiku 清理后粘贴（OpenRouter），⌥ R 朗读选区或剪贴板（Pocket TTS）。
推荐理由：开源的 macOS 菜单栏语音工具，热键触发的可拼装流水线思路可直接迁移到本地听写与朗读场景。
开发者 SimonGino 发布开源项目 Portage，一个自托管模型网关，把官方 API、OpenAI 兼容中转和本地 Ollama / vLLM 等模型统一到一个地址，让 Claude Code 和 Codex CLI 通过一行配置即可切换模型。项目核心是在 Anthropic Messages、OpenAI Responses 和 Chat Completions 三种协议之间做翻译，协议相同时字节直通，流式 SSE 和工具调用在所有路径可用；还自带凭据池故障切换、sk-ptg- 密钥管理、逐调用用量记录和管理控制台。
推荐理由：自托管网关用协议翻译让 Claude Code 和 Codex CLI 直接换用 GLM、DeepSeek 或本地 Ollama 模型，配置示例和部署流程都写得很具体。
manivt 在 GitHub 发布 piBot，一个把树莓派（最低 1 GB 内存，测试于 Pi 3B+）变成全天候自主 AI 助手的框架，通过 Telegram 交互。本地 ZeroClaw 守护进程仅占约 50 MB RAM，负责聊天通道、本地工具和 SQLite 持久记忆，推理则经 agy-shim 桥接调用 Google Antigravity CLI（agy）的 Gemini 3.8 Flash 等模型，免费 Google 账号即可在每周配额内使用，无入站开放端口。
推荐理由：这个开源项目不止给出部署步骤，还写清了安全模型、数据流向 Google 的风险和每条消息约 15-20k token 的用量，可作自托管智能体的参考。
afshinm 发布 cactus-needle，一个独立封装库，可在浏览器或 Node.js 本地运行 Cactus Compute 的 Needle 3，用于工具调用、结构化抽取和文本嵌入。模型体积 35.3 MB 单独下载，在 WebAssembly worker 的 CPU 上推理，无需 API key、服务器或 GPU；首次加载从 Hugging Face 下载模型并缓存。支持作为 Vercel AI SDK 6 和 7 的 provider 使用，嵌入维度为 3072。限制包括不支持自由聊天、音频和图像，不支持回传工具结果的 Agent 循环，流式输出为缓冲返回。采用 Apache-2.0 许可证。
推荐理由：给出了在浏览器和 Node.js 里本地跑 Needle 3 做工具调用与嵌入的完整用法，推理不依赖 API key、服务器或 GPU，方法可直接复用。
Glad Labs 开源了 Poindexter，一个在本地 GPU 上运行的 AI 内容生产引擎，覆盖选题发现、网络调研、长文写作、多模型对抗式 QA 审查和静态发布，全部通过 Ollama 本地推理，零 API 费用，默认调用 gemma3:27b 写作、phi4:14b 做评审。该项目即 gladlabs.io 背后的生产系统，已发布 210+ 篇文章、累计 2000+ 次流水线运行，约一半草稿会被 17 条 QA 规则拒掉；引擎以 Apache 2.0 许可发布，要求 Docker、Python 3.13、约 50 GB 磁盘，官方建议 NVIDIA GPU，可选付费 Pro 仅提供操作控制台和每周更新的生产配置。
推荐理由：这是一个可直接跑在本机 GPU 上的开源内容流水线，README 给出了完整模型分工、QA 驳回率数据和部署步骤，可作本地多智能体系统的参考实现。
作者开源了独立于 NanoKV 的 LLM GPU 算子项目 llm-gpu-kernels，包含 BF16 MoE grouped GEMM 局部融合与四段KV GQA prefill attention，硬件为 RTX 3080 Laptop 16 GiB（SM86）。attention 短query冻结选择在合成验证矩阵中相对完整 FA2 链路 Graph 耗时几何平均减少 22.09%，最坏慢 2.17%；M24 对 W4A16 packed gate/up 的布局机制对照中六个固定 case 相对同量化 vLLM 低 21.17%。项目按 M0–M24 分阶段报告，记录了失败实验、适用形状边界与回退策略，作者明确说明为单 GPU 原型，不构成 expert-parallel 或 serving 经验。
推荐理由：作者用逐阶段报告和固定输入复测记录了 MoE 与 attention 算子在 RTX 3080 上的实测收益和明确边界，可迁移到类似单GPU原型工作。
GitHub 用户 dewil 发布开源工具 pii-mask，一个在文本发送到云端大语言模型前对姓名、电话、email、护照等个人敏感信息（PII）进行本地脱敏、并在模型返回后还原原文的网关，主打俄语场景与俄罗斯个人数据格式（ИНН、ОГРН、СНИЛС 等）。识别采用三层结构：正则加校验位、基于 Natasha 的离线 NER（按词形归一保持标签一致）、可选的 Ollama LLM 审计第二遍（默认模型 qwen3:1.7b）。服务无状态、fail-closed，映射文件 mapping. 权限 600 并写入 .gitignore。
推荐理由：作者详述了正则加NER加LLM审计的三层识别设计与152-ФЗ合规边界，方法思路可迁移到其他语言的文本脱敏场景。
论文提出GraphTok，把从pre-tokenization、BPE合并到token-ID组装的整个编码流程作为可重放的CUDA graph在GPU上运行，token ID与参考实现在GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3上逐位一致，可接入未修改的vLLM和NVIDIA Dynamo。在Llama 3上比最强CPU tokenizer gigatoken快4.7-6.0x；在带缓存前缀的vLLM中TTFT均值降低2.1-2.4x；2s P99下单前端可承载518 req/s的121k-token流量，为gigatoken的1.75-2.5倍。
推荐理由：论文给出GraphTok在vLLM和Dynamo下的实测吞吐与TTFT数据，可了解把tokenization搬到GPU对Agent负载的实际收益。
GitHub 项目 devdownin/SpectraLLM 发布，宣称在单一应用内将 PDF、DOCX 等文档经混合检索问答后微调为本地模型，100% 本地运行、无云端 API。流程包括摄入、问答（关键词+向量混合搜索、reranking、ReAct 多跳推理）、QLoRA/DPO 微调和单文件 GGUF 导出，可配合 llama.cpp、Ollama 等运行。默认模型下载约 4.8 GB，需 Docker Engine 25+ 与 16 GB 内存，GPU 可选，AGPL-3.0 协议。
推荐理由：把文档摄入、混合 RAG、QLoRA 微调和 GGUF 导出整合成一个本地 Docker 项目，对想私有化部署知识库的人有可参考的完整流程。
OpenTeam 是一个开源（GPL v3.0）的自托管 AI 智能体平台，让多个 bot 在用户自己的硬件上持续工作，可浏览网页、使用 Linux 桌面和操作文件。每个 bot 保留对话、Markdown 记忆和浏览器登录状态，支持群聊协作、子代理委派、按计划或事件运行的 routines，并可接入 Gmail、GitHub、Slack、Notion 等插件或自定义 MCP 服务器。
推荐理由：原文完整说明了自托管多智能体方案的部署要求与功能边界，读者可据此判断是否适合在自家硬件上运行。