方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt 74B-A9B-24GB，一款为本地日常智能体任务设计的视觉语言模型，总参数 74B（9B 激活），采用 Mamba-2-Transformer 混合 LatentMoE 架构，通过原生 IQ2 2-bit 量化与量化感知蒸馏压进 24GB 显存，支持最高 256K 上下文，可在 vLLM 上部署，基于 OpenMDW-1.1 许可商用。
推荐理由：模型卡完整给出架构、训练流程和与同量级模型的基准对比，读者可以自己判断 2-bit 量化的取舍。
Liquid AI 在 Hugging Face 发布开源决策模型 d1-3B 与实验性 d1-omni-600M，模型不做 token 生成而在单次前向传播中给出答案。d1-3B 在 Decision Index 0.2.1 得分 48.57，为 10B 以下最佳，基于 LFM2.5-VL-3B 训练，支持文本与图像输入，在 Jetson AGX Thor 上单问题推理仅需 16 ms，RTX 4090 上 8 ms；在七个公开数据集上均分 82.9，高于 Decider 4B。d1-omni-600M 基于 LFM2.5-Encoder-350M 并加入视觉与音频编码器，均分 78.4 超过参数量四倍于它的 Decider 2B（77.1），目前为早期研究版本。
推荐理由：决策模型不做生成而是单次前向输出答案，原文给出的边缘设备毫秒级延迟数据展示了这一路线的实际可行性。
OS-Software 发布了 llm-jp/llm-jp-4.1-33b-thinking 的去对齐 GGUF 版本，使用 Heretic 的自定义 fork 消融参数制作。在 Q4_K_M 量化下，拒绝率从原模型的 88/100 降到 0/100，KL 散度 0.0118，MMLU 74.05% 与 HumanEval pass@1 93.29% 相比原模型分别下降 0.32 和 1.22 个百分点。作者标注该模型仅用于安全研究与红队测试等用途，输出需独立验证。
推荐理由：原文给出了 Heretic 消融参数和拒绝率、KL、基准的前后对比，读者可以据此判断这个去对齐版本的能力损失程度。
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程，从手动运行 Gemma 开始，测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding（MTP），再通过 AI Inference 平台复现同一配置作对比。
推荐理由：作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制，方法论清晰，可迁移到自己的推理部署调优。
开发者 vshulcz 在 GitHub 发布 deja-vu，工具 deja 通过本地倒排索引读取 Claude Code、Codex、Cursor 等 38 个编码 Agent 已保存在磁盘上的会话记录，支持在会话开始时自动召回历史决策，索引构建无需模型或嵌入。作者报告 LongMemEval-S 上 R@5 为 97.2%、hit@1 为 88.1%，token 开销约为 agentmemory 的一半，17.6 秒可索引 19,195 个会话；索引时自动脱敏密钥和 token，支持跨机同步、MCP 接入与 rejected/accepted 决策标记，源码以 MIT 协议开源。
推荐理由：作者给出了与同类记忆工具的召回率、token 开销和索引耗时的对比数据，并附可复跑的评测工具，方法可供参考。
作者在 RTX 5060 Ti + 3090 + 2x 3060 的混装四卡机上，用 Strata 引擎跑 Qwen3.8 Flash-Next（125B MoE，IQ3_XXS，262k 上下文），发现升级到 0.1.40.1 后约 10.7 GiB 显存空闲。排查显示常驻专家缓存从 0.1.39 的 23,168 降到 17,515（GSQ-RCO，-24%），被弃的是路由流量不足 2% 的冷专家，缓存命中率仅从 99.7% 降到 98.1%，生成速度反而从约 87 tok/s 升至 104 tok/s，空闲显存实为有效余量而非 Bug。
推荐理由：作者用 nvidia-smi 和缓存命中率数据说明闲置显存是被主动放弃的冷专家，可迁移为排查同类 MoE 推理问题的思路。
GitHub 开源项目 decisio 发布，它实现 TypeSafe 的 System One 线格式，把文本问题送入模型、每个问题一次前向传播即可输出各选项概率分布，不生成文本。项目提供 Qwen3.6-35B-A3B、Gemma 4 12B 和 31B 三个基座配置，Gemma 4 31B 在 Decision Index 0.2.1 得 57.58 分、每请求中位 56.0 ms；支持任务注册校准、弃权阈值、图像输入，可通过 GPU、Docker、MLX 或 Ollama 部署，最小 Gemma 标签 8.6 GB 可跑在 16 GB 笔记本上。
推荐理由：项目作者自述的决策服务层实现，给出了三个基座模型的实测精度与延迟对照表，读者可据此评估选型。
AriT93 在 GitHub 发布 agent-lab，一个用于学习 LLM 应用与 Agent 原理的 Go 教学项目，以调用 JokeAPI 获取笑话为极小领域，按结构化输出、工具调用、多工具与对话记忆、MCP、评测、多 provider、Web UI、LangGraph 等概念分成 9 个阶段，可对比同一 agent 在手写循环与 langchaingo、LangGraph 等框架下的差异。项目默认通过 Ollama 本地运行 qwen3.5:9b-mlx（约占 9 GB 内存），无需 API key，也可切换 Claude 或 OpenAI；提供 -trace 逐步输出提示词、schema、模型输出与 token 用量，并内置 Ollama 上下文窗口、keep-alive 等内存限制参数。
推荐理由：同一玩笑 agent 从关键词到 MCP 分八个阶段可逐级对比，适合想看清 LLM 应用各层机制的学习者动手照跑。
开源工具 Ratica 发布 beta 版，用本地 AI 模型在用户电脑上逐段翻译 PDF 书籍，并把译文写回原页面，保留标题、列表、表格、图片、颜色和公式，同时输出 EPUB。它通过 llama.cpp 运行 Gemma-4-E4B-it（Apache 2.0），支持 23 种语言互译并自动识别源语言，无需云端、账号或 API key，首次启动需下载约 5-6 GB 引擎和模型。在 6 GB 显存的入门级 GPU 上翻译 200 页约需 30-45 分钟，无 GPU 也可用但耗时数小时。已知限制包括暂不支持扫描版 PDF 的 OCR、图片内文字不翻译等，项目以 AGPL-3.0 协议开源。
推荐理由：这是一个完全本地运行、保留原版式的 PDF 翻译工具，隐私设计和模型选型对比方法对需要离线翻译整本书的读者有直接参考。
腾讯在 GitHub 开源了 LLM 驱动的企业知识框架 WeKnora，支持文档理解、语义检索、RAG 问答、Agent 多步推理和自动 Wiki，当前版本为 2026 年 9 月 24 日发布的 v0.8.2。该版本新增 BrowserSkill 扩展让 Agent 操控用户自己的 Chrome/Edge、内置 MCP Server 将知识库发布给 Cursor/Claude 等工具、会话分支与回退控制，以及 27 家内置模型供应商（含 OpenAI、DeepSeek、Qwen、Zhipu、Gemini、Ollama 等）。框架支持 Docker Compose、Kubernetes、Lite 单二进制和桌面应用部署，可本地或私有云运行，采用 MIT 协议。
推荐理由：官方 README 完整给出了 WeKnora 的功能清单、27 家模型供应商支持和多种部署方式，想自建企业知识库的读者可以直接照着评估选型。
Marwan Mohamed Saeed 在 GitHub 开源 StudyRAG，一个完全本地运行的学习工具，可对讲义 PDF 做带页码引用的问答，并生成经 Pydantic 校验和盲解复核的练习题。项目用 PyMuPDF、multilingual-e5-small、ChromaDB、BM25 加交叉编码器重排实现混合检索，hybrid+rerank 模式在 50 题基准上 hit@1 达 90%、阿拉伯语问题准确率 90%；默认通过 Ollama 运行 qwen3:4b-instruct，4 GB GPU 即可离线使用，也可切换 Groq、Claude 等 API，支持闪卡、考试模拟、进度跟踪与 Anki/Markdown/PDF 导出。
推荐理由：作者给出了完整架构和检索评测数据，hybrid+rerank 把 hit@1 从 82% 提到 90%，方法可迁移到类似本地 RAG 项目。
pugazhexploit 在 GitHub 发布 WebLLM-notebook-local（LocalTutor），实现 100% 客户端私有多文档 RAG，用 pdfjs-dist 解析 PDF、mammoth 解析 DOCX，@xenova/transformers（all-MiniLM-L6-v2）生成 384 维嵌入向量存入 IndexedDB，WebLLM 通过 WebGPU 在本地 GPU 推理，可选 SmolLM2-360M、Qwen2.5-0.5B、Llama-3.2-1B、Phi-3.5-mini 四个 q4f16_1 MLC 模型。
推荐理由：原文列出了完整的浏览器端 RAG 实现栈和模型选型，读者可以照此在本地复现一套不外传数据的私有多文档问答应用。
BrowserOS 团队在 GitHub 开源了 BrowserOS neo，一个与 Chrome 并行使用的第二浏览器，供 Claude Code、Codex 等 MCP Agent 执行登录态网页任务。一键导入 Chrome 登录、书签和扩展，各 Agent 在独立标签页并行运行，可实时观看或回放会话；数据保留在本地 ~/.browserclaw/ 目录不上传，采用 AGPL-3.0 许可，支持 macOS、Windows 和 Linux。
推荐理由：原文说明了它与 Playwright、云浏览器和 Atlas 等锁定型 AI 浏览器的具体差异，方便读者判断适合的场景。
AbdullahKaif 发布开源工具 CodeAtlas，粘贴 GitHub 仓库 URL 即可本地完成克隆、解析、嵌入检索、安全扫描和 RAG 问答，源码全程不离开本机。流水线使用 Tree-sitter 解析、BGE 嵌入加 FAISS 检索、Ollama 运行 Qwen3-Coder（约 19 GB，需约 24 GB 内存），安全引擎为 Semgrep 加 Gitleaks；架构图与影响分析只基于解析器证明的静态边，AI 引用会逐条验证，无效引用直接移除。目前仅支持公开 GitHub 仓库，Python 优先解析，其他语言只做盘点。
推荐理由：README 详细列出了全本地化流水线、各阶段完成状态和引用校验机制，适合想自托管代码理解工具的开发者参考。
nwtgck 在 GitHub 发布 Naidan，一个隐私优先的纯浏览器本地 LLM 界面，名字取自日语内谈，意为私密谈话，整个代码库大部分由 GPT、Gemini 和 Claude 生成。项目通过 file:// 协议运行，完全依赖浏览器沙盒安全模型，避免桌面应用或 CLI 式后台进程的文件系统、进程监视和底层网络权限。数据经 OPFS 或 LocalStorage 本地存储，可连接 Ollama 或 OpenAI 兼容 API（vLLM、LM Studio、llama-server），支持消息分叉成树状对话、Markdown/KaTeX/Mermaid 渲染、跨标签页同步，并详细列出 q、system-prompt、global-endpoint-url 等 URL 参数。
推荐理由：项目用浏览器 file:// 沙盒替代本地原生进程，把信任面压缩到浏览器本身，并给出与 Open WebUI 的体积对比。
ashe-wb 在 GitHub 发布 tuieval，一个让用户用自己的 eval packs 同时评测本地模型（llama.cpp GGUF、LM Studio、Ollama、vLLM）和 OpenRouter 前沿模型的工具，同时测量准确率、速度和 token 用量，给出 PASS / FAIL / INCONCLUSIVE 判定，无内置基准、无 LLM 评委。它提供 TUI、Smoke/Screen/Certify 两级评测、自动调速、selftest 自检、verdict 历史记录，支持 code 类测试需在容器或 VM 中运行，MIT 许可，可通过 pip install tuieval 安装。
推荐理由：原文详细说明了用自有题目同测本地与前沿模型的方法，判定门槛和评分机制都写清楚了，方法可直接复用。
OR3.chat 是一个 GPL-3.0 开源、本地优先的 AI 聊天应用，基于 Nuxt 构建，通过 OpenRouter 接入 GPT-4o、Claude、Gemini、Llama、Mistral 等数百个模型。默认静态模式为纯浏览器应用，数据存于 IndexedDB，无服务器、无遥测；可选云模式通过 npx @or3/cloud init 部署，基于 Basic Auth + SQLite + 文件存储，提供账号、跨设备同步、文件存储、团队工作区和后台流式生成。应用还包含多窗格工作区、文档编辑器、WordPress 风格插件系统、action/filter 钩子和完整主题引擎。
推荐理由：原文给出静态与云两种模式的部署方式和功能对比，想自托管一个数据留在本地的 AI 聊天前端可以参考。
GitHub 项目 fvsion/CARL（Can't Afford Remote LLMs）发布，在 Apple Silicon Mac 上用一条命令启动本地 llama.cpp 服务器和实时仪表盘，为 OpenCode 和 Pi 提供编码模型。
推荐理由：给 Apple Silicon 用户提供一条命令跑起本地编码模型服务器加仪表盘的完整方案，模型选择和调优设置都写清楚了，可以照着部署。
开发者 lucas-lepajollec 在 GitHub 发布 Loom，一个 Go 编写的单二进制 Web 工作台，默认端口 2510，可在同一会话中运行本地 llama.cpp/vLLM 推理、连接云端服务商并运行 Claude Code、Codex 等通过 ACP 接入的编码智能体。支持从 Hugging Face 下载 GGUF 模型、BM25 本地检索加可选语义搜索的 Brain 上下文系统、SSH 远程机器与终端管理，数据默认保留本地并绑定 loopback，MIT 协议开源。
推荐理由：README 清楚列出了本地推理、云端接入与编码智能体在同一会话中共用的能力边界，想自托管统一工作台的读者可以对照平台支持表评估。
lecharles 在 GitHub 发布 llm-fine-tuner-agent-tester，让用户在 Apple Silicon Mac 上用 MLX + QLoRA 微调小型开放权重 LLM，一条命令安装。流程包括用自然语言生成或从 Hugging Face、CSV/JSONL 导入 Q&A 数据集、训练时实时绘制 loss 曲线、将 adapter 融合后导出 GGUF 供 Ollama 运行，并在多列聊天界面对比微调模型、未微调 base 与 OpenAI、Anthropic 托管模型，回答限约 150 词。VPS 版只支持生成与对比，训练返回 425 需在 Mac 应用进行；需约 10 GB 磁盘空间，v0.1.0 已于 9 月 30 日发布。
推荐理由：原文给出了从数据集构建、QLoRA 训练到多列对比聊天的完整本地微调流程，读者可以照着在 Apple Silicon 上复现。