方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
llmsyscore 在 GitHub 开源了 llm-systems-manager，一个自托管面板，用于监控、控制、基准测试和调优运行本地 LLM 的机器，采用 AGPLv3 许可证。支持 llama.cpp、vLLM、LM Studio 和 stable-diffusion.cpp，兼容 NVIDIA、AMD（ROCm 与 Vulkan）和 Apple Silicon GPU，支持 Linux 与 macOS，不支持 Windows。
推荐理由：原文完整列出了安装方式和监控、基准、自动调参等功能清单，可用于评估这套自托管面板是否覆盖本地推理运维需求。
Off Grid AI 在 GitHub 开源 OGAM，一套完全在手机和 Mac 本地运行的离线 AI 套件，涵盖文本生成、图像生成、视觉识别、语音转写、工具调用和文档分析。可选 Pro 订阅（$119 买断或 $7.99/月）增加 Kokoro 端侧语音回话、可自定义 system prompt 与持久记忆的人格、需人工批准的操作草拟，以及手机与 Mac 之间无中继的 Personal Mesh 同步。
推荐理由：自述为完全离线本地的 AI 助手套件，人格系统给出了系统提示词、语音与持久记忆的具体构造方式，可作本地部署参考。
fuba 在 GitHub 发布 fuba-browser，这是一个运行在 Docker 中的 Chromium 浏览器自动化工具，通过 REST API 和 CLI（fbb）供 Claude Code 等 LLM 智能体控制浏览器，主打解决 Chrome DevTools MCP 的 token 消耗问题。工具提供 Snapshot/Ref 无障碍树元素定位、Web VNC 远程访问、认证状态保存加载、网络检查与下载捕获 API，可选 NVIDIA/AMD GPU 硬件加速，最新镜像为 ghcr.io/fuba/fuba-browser:3.6.0，MIT 许可，API 设计受 vercel-labs/agent-browser 启发。
推荐理由：面向 LLM 智能体的 Docker 浏览器自动化工具，REST API 配合 Snapshot/Ref 定位，主打降低 Chrome DevTools MCP 的 token 消耗。
作者开源了本地 CLI 工具 ue，用于测量并减少 Codex CLI、Claude Code 和 OpenCode 等编码智能体浪费的 token，如重复粘贴长日志、重试相同失败命令和过时项目地图。工具为零依赖单 Python 文件、无网络调用，也可作为 Agent Skill 安装；内置 ue bench 冻结基准用例和 ue compare 配对比较，并附 2026-10-21 的一次实测，显示上下文包在 3 个用例上多耗约 30% token（+273,353），作者注明每格仅 1 个样本属噪声级，仅演示方法而非结论。
推荐理由：作者用自带的双组基准实测了上下文包方案，结果显示其反而多耗 30% token，这种不粉饰的测量方法本身有参考价值。
作者提出 TopKLoRA，一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体，仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中，识别并消融了实现后门所必需且充分的回路，稀疏回路比稠密 LoRA 基线小至多一个数量级，可在不牺牲指令跟随性能的情况下手术式移除恶意能力，并开放了代码。
推荐理由：论文给出可解释稀疏微调方法，并在多个模型上定位并消融后门回路，稀疏回路比稠密 LoRA 小约一个数量级。
IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版，体积从 bf16 的 65.8 GB 降到 22.1 GB，KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化：专家用 FP4 权重加 bf16 激活，Mamba2 投影用 FP8，注意力保持 bf16，并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过，MTP 投机解码接受率 63%；24 GB 显存较紧张，建议 32 GB 以上。
推荐理由：作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比，可据此选择合适的构建。
PaddlePaddle 团队在 arXiv 发布 Virtual Head Attention（VHA）论文，通过 Q Premix 和 Linear Postmix 两个线性操作同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量，推理时可折叠进投影层化为标准 GQA-2 架构。在 4K 上下文 50B token 预训练的四个规模上均超过 GQA 基线（+0.05% 至 +0.81%），KV cache 相比 GQA-8 减少 4 倍；在 30B-A3B MoE 模型上比 MLA 和 GQA-4 分别高 +0.70% 和 +2.60%，长上下文 RULER 平均分 84.4 对 GQA 的 73.0。
推荐理由：论文给出 VHA 在多个规模和 MoE 模型上对 GQA、MLA 的对比数据，KV cache 压缩和 FLOPs 降幅都有具体数字可查。
IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版，20.5 GB（bf16 为 65.8 GB），KL 0.0215，用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化，激活保持 bf16，面向无 FP4/FP8 支持的 GPU（如 Ampere）。在 DGX Spark 上用 vLLM 0.30.0 测试，4 个温度为 0 的请求均正确且工具调用格式正常；Heretic 评测显示 100 个有害提示拒绝 26 个（bf16 去对齐版为 23），作者称数个拒绝的差异不显著。
推荐理由：发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比，还注明两次基线运行差异数个拒绝不显著，便于判断精度损失。
TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017（Unsloth UD-IQ2_XXS GGUF），默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍，关闭 YOCO 仍有 2.44–3.23 倍；decode 提升较小（1.08–1.20 倍）。质量上，WikiText-2 困惑度相对 llama.cpp 高约 0.46%（YOCO 关）到 1.14%（YOCO 开）。vLLM 0.32.0 在该机未能出 token，仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动，完整报告见 GitHub。
推荐理由：作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化，可据此评估该推理引擎在 A40 上的实际收益与质量代价。
/u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半，用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理，作者称 RTX 6000 PRO 比 5090 快约 70%；RTX 20/30 系解锁可能性高，40 系已有实测工具，50 系因加入熔丝较难解锁。
推荐理由：作者逐代梳理了消费级 RTX 显卡 FP32 累加被砍半的影响范围，并给出各代解锁可行性与实测对比，可作选购参考。
agentic-incubator 发布 ruflo-local 仓库，目标是将约 90% 的 LLM 流量路由到自有硬件上的开放权重模型，约 10% 留给 Claude / GPT / Gemini 等前沿 API。方案带故障回落、硬预算上限、永不离开本机的隐私通道，网关默认 LiteLLM + Ollama，另有 Bifrost、Helicone 实验变体和可选 vLLM（NVIDIA GPU）配置，附 Prometheus 与 Grafana 监控面板。仓库说明 90/10 是结构化目标而非学习型路由器，可选 RouteLLM 配置提供学习型调节；Apple Silicon 走 MLX、其他硬件走 GGUF，需运行 make render 生成硬件专属配置，官方称模型拉取完成后约 10 分钟可跑通。
推荐理由：这是一个开源的本地+前沿模型分流网关方案，说明了 90/10 路由的实现机制和预算上限、隐私通道等具体配置。
LudwigKienle 在 GitHub 开源了本地优先的 AI 视频制作编辑器，覆盖剧本、导演处理、分镜、拍摄、剪辑、调色到导出的完整流程，核心采用 GPL-3.0 许可。
推荐理由：开源的本地优先 AI 视频制作工作台，把剧本到导出的完整流程和多家模型路由整合进一个自持项目文件夹。
rokartur 发布开源编码 agent，单个 Rust 二进制、无 Node 和 Electron，支持 Claude、ChatGPT、GitHub Copilot 账号登录或 Anthropic、OpenRouter API key 及本地兼容服务器， GPL-3.0-or-later 许可，支持 macOS 和 Linux。配置、账号、会话、技能、插件和 MCP 服务器集中在 ~/.agents 一个文件夹，按行锚点编辑并在文件变动时拒绝覆盖，编辑后经语言服务器和 edit-hooks 自检。
推荐理由：作者给出了与 jcode、pi 在同模型同任务下的耗时、token 和成本对比数据，可作为评估这个 Rust 单文件编码 agent 的参考。
leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版，采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头，总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量，经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX（M4 Pro 48GB）上 mtp_enabled 开启时草稿接受率 89.1%，吞吐 78.6 tok/s，较关闭时的约 58.5 tok/s 提升 28–34%；MTP 加速仅支持 oMLX，LM Studio 只能加载基座模型。
推荐理由：作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据，读者可据此判断这个 MLX 移植在速度与精度上的取舍。
/u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡（AD102）算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作，自定义 EFI 在 Windows 启动前应用改动并交还控制权，单卡在 Windows 11 下即可使用，无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS（N=4096 时分别 +99.71% 和 +100.73%），N=8192 时分别 +59.85% 和 +71.48%，FP32 基本不变。
推荐理由：作者实测给出了修改前后的 GEMM 跑分对比，FP16/BF16 翻倍而 FP32 基本不变，数据具体可复现。
armin1 发布了 NVIDIA Nemotron-3.5-Super-VL-120B-A12B-NVFP4 的 abliterated（uncensored）版本，通过保持量化的轻量权重编辑移除拒绝行为，可无缝替换原模型并在 vLLM 与 TensorFold 上直接加载。
推荐理由：给出了同一测试环境下的拒绝率、KL 保真度和推理速度对比数据，可以据此评估这个去对齐版本付出的实际代价。
一个基于 PipeNetwork/minimax-h3-mlx 的分支让 33B 扩散 Transformer 模型 MiniMax H3 的同步音视频生成能在 48 GB 统一内存的 Apple Silicon Mac 上运行，核心做法是按阶段加载组件而非全部常驻，将约 55 GB 的峰值降至约 21 GB（扩散阶段）。项目附带五个补丁、断点续跑、TAE 快速预览和 CLI，8 步采样可将 512x512 单次生成从 24.5 分钟缩到 6.6 分钟；仓库不分发模型权重，H3 权重受 MiniMax H3 Community License 限制。
推荐理由：作者按阶段分时加载四个组件，把 55 GB 峰值压到 48 GB 内存可跑，并给出实测数据和五个补丁的逐项说明。
GitHub 仓库 lecyberbill/aurora-rust-engine 发布了一个完全用纯 Rust 编写的 AI 推理引擎，零 Python 依赖，支持图像（SDXL、FLUX.1/FLUX.2、Z-Image Turbo）、文本（Qwen、Llama、DeepSeek 等的 CausalLM）、语音（Whisper、Parler-TTS/Kokoro）和音乐（ACE-Step 1.5）四类生成。
推荐理由：README给出了 RTX 4070 Ti 与 AMD RDNA4 上的实测吞吐和显存数据，可以借此评估纯 Rust 零 Python 推理栈的可行性。
PAIArtCom 开源了本地 LLM API 代理与网关 Clipal，可将多个模型提供方整合到本地路由 http://127.0.0.1:3333/clipal。它支持在 Web UI 中一键接管 Claude Code、Codex CLI、OpenCode、Qwen Code 等 18 个客户端的配置并自动备份回滚，提供多 Key 轮换、优先级故障转移与 Codex、Claude、Antigravity 的 OAuth 上游接入，以单二进制文件在 macOS、Linux 和 Windows 上作为后台服务运行。
推荐理由：项目方完整说明了本地 LLM 网关的一键接管、多 Key 轮换与故障转移机制，可作为整合多家模型接口的参考方案。
pham-canh 发布了 opencode-harness-kit，一套面向 OpenCode 的编码 harness 工具，通过 JSON profile 把模型相关配置变成数据而非代码，默认 fleet-safe 配置以十条 lane（各配独立模型、上下文和 effort 等级）覆盖十个任务，含 guard、prune、router、telemetry 四个插件模块。
推荐理由：作者用真实安装的测量数据支撑每个配置决策，并公开了 A/B 里对自家工具不利的数字，这种写法本身可以借鉴。