方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
DavidAU 团队基于 Qwen/Qwen3.8-27B 发布多阶段微调去对齐版本，用 Heretic v1.2.0 ARA 方法消融后拒绝率从 99/100 降至 0/100，并经两阶段调优。模型自称在 8bit 达 ARC-C 735、ARC-E 882，较原版 Qwen3.8 27B 高 144 分，思考 token 减至原来的 1/2 到 1/10；仓库提供含 NEO imatrix 的常规与 MTP 两种 GGUF 量化（MTP 在 5090 上 Q4_K_S 约 90 t/s），需另行下载 mmproj 文件启用视觉，建议 q4km 以上量化以保障工具调用。
推荐理由：作者给出 Heretic 消融前后 KL 散度与拒绝率对比和各量化档基准分，可以判断这个去对齐版本的具体改动幅度。
AutoTrust AI 在 Hugging Face 开源决策模型 autotrust/JEV-35B，基于 Qwen3.5-35B-A3B 微调，Apache-2.0 许可，只做 System 1 决策、不生成文本。Decision Index 0.3 公开套件得分 59.73（JEV-27B-VL 为 53.64），单 B200 中位延迟 204 ms；同时放出 NVFP4 版本，下载 25.6 GB、显存 23 GiB，可在 32–48 GB GPU 上运行，Decision Index 得分 59.18、96.6% 答案与 bf16 一致。
推荐理由：模型卡给出 Decision Index 公开套件逐项分数、延迟与 NVFP4 量化对照数据，并演示了游戏与机器人控制等短板场景。
luc-pimentel 开源 infra-docs-rag，对 Kubernetes、Prometheus 和 Argo CD 公开文档构建问答服务，答案引用文档、页码与章节，文档未覆盖时直接回答不覆盖而非猜测。流水线包含文档摄取与去重、四种切块策略在 128/256/512 token 下的对比、bge 系列嵌入与余弦索引、BM25 混合检索与 reciprocal rank/加权融合、bge-base 与 minilm 交叉编码器重排，以及基于 claude-opus-5-5 的生成，支持官方 SDK citations 或通过 Claude Code 的 claude -p 并逐句校验引用。
推荐理由：原文完整公开了文档问答 RAG 流水线从切分、检索、重排到评测门禁的实现细节与报告，方法可直接迁移到自建语料。
面壁智能发布 MiniCPM-V 4.7 系列最新模型，其中 35B-A3B 是该系列首个 MoE 模型，官方称其为首个可在端侧无损流畅运行的开源 MoE 模型，在 iPhone 17 Pro Max 上解码速度达 13+ tokens/s。模型基于 LLaVA-UHD v4 的 intra-ViT 早期压缩技术减少视觉 token 计算，支持混合 4x/16x 视觉 token 压缩，覆盖 iOS、Android 与 HarmonyOS，并对 Rockchip、后摩、Intel、AMD、Arm 芯片平台提供 day-0 支持；官方称 Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：原文列出了 LES 调度、视觉 token 压缩和各平台量化支持，可了解这款端侧多模态 MoE 的部署路径。
JakeATX 发布面向 RTX 3090 / 3090 Ti（SM86）的 llama.cpp 分支 llamAmpere v0.5.4，运行带 MTP draft head 的 Qwen3.8-27B。v0.5 新增压缩 KV 缓存 SJ-KVaRN（4/4、3/3t、3/2t 配置），4/4 下比 v0.4 的 tq5_0/turbo4 缓存 KL 低 41%、缓存显存多 2%，262,144 token 上下文在 24 GB 单卡 4/4 配置下峰值 21,924 MiB；100K 深度任务基准上 tq5_0/turbo4 较 v0.4 提速 +8.41% ± 5.76%，SJ-KVaRN 4/4 为 +6.77% ± 2.68%。
推荐理由：原文给出了SJ-KVaRN压缩KV缓存的KL对比、显存占用和多种配置的实测tokens/s数据，读者可据此评估在单张RTX 3090上跑27B模型长上下文的可行性。
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本，这是一个 120B 总参数、12B 激活参数的视觉语言模型，采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器，支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成，模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果，并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置，许可证为 OpenMDW-1.1，可商用。
推荐理由：模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置，读者可以据此评估量化损失与所需显存门槛。
Tether 在 GitHub 发布 QVAC，一套本地优先 AI 开发工具，支持在 Linux、macOS、Windows、Android 和 iOS 上运行 LLM、语音、视觉和图像/视频生成等负载。提供 JavaScript/TypeScript 与 Python SDK，内置 HTTP 服务器以 OpenAI 兼容 API 供 OpenCode、OpenClaw 等工具调用，快速示例使用 LLAMA_3_2_1B_INST_Q4_0 模型；能力表覆盖 RAG、LoRA 微调、Whisper 转写、TTS、OCR、VLA 等，并支持 P2P 模型分发和 NAT 穿透中继。
推荐理由：Tether 官方仓库文档，覆盖 JS/TS 与 Python SDK 和 OpenAI 兼容本地服务的完整接入方式，适合评估本地优先 AI 应用方案。
作者发布推理引擎 Gewell v0.2，新增 Gemma 4 26A4 支持，prefill 比 vLLM 全面快 10-74%，上下文越长优势越大；还提到上下文仅需 0.625x 显存。同版将全精度 EmbeddingGemma 2 的文本+图像总占用（含 8k 上下文）压到 1.13 GiB 显存和 0.93 GB 主机内存，图像嵌入与 sentence-transformers 参考实现的 cosine 达 0.99970（均值），优于 llama.cpp 和 vLLM。31B 模型也获小幅改进：极短上下文大批量 mtp-on 场景 tg 提升 20-24%，多数 kernel 达理论峰值 80-85%。
推荐理由：作者给出了与 llama.cpp、vLLM 的逐项 cosine 对比和 prefill 吞吐数字，可以据此评估这个推理引擎的实际表现。
NuMind 员工 /u/Gailenstorm 发布了 Apache-2.0 的 vLLM 插件，从已在 vLLM 上服务的多模态 LLM 中获取文本/图像嵌入向量，方法基于 E5-V 等论文，用提示词让模型输出单词摘要并取最后解码层的 hidden state 作为嵌入。该插件通过兼容 OpenAI API 的 chat 接口暴露向量，请求设置 max_tokens=1 即可，普通对话与流式输出在同一服务器上不受影响；作者同时提交了希望合入 vLLM 的 PR #57185，并考虑将此流程移植到 llama.cpp。文中说明嵌入质量取决于模型、提示词和任务，专用嵌入模型可能更快更好；插件可用于本地 RAG、语义搜索、图文聚类或在向量上训练小分类器。
推荐理由：作者解释了用已加载 LLM 的最后隐藏状态向量当嵌入的原理和提示词写法，并给出可直接复用的 vLLM 插件与 PR。
1ay1 在 GitHub 发布 agentty，一个用 C++26 编写的开源终端编码 Agent（MIT 许可），定位为 Claude Code 替代品，单个静态二进制 16.7 MB、冷启动约 3 ms，无 Node/Python 运行时依赖。内置混合 BM25 + 稠密嵌入 + GraphRAG 的本地检索引擎，按需取相关代码片段，相比整仓注入可削减 80% 以上上下文；支持 Claude Pro/Max 登录及 OpenAI、Groq、OpenRouter、DeepSeek、xAI、Gemini、Ollama 等多种提供商，可用 ^P 实时切换，Shell 命令默认在 OS 级沙箱中运行，支持 SSH 空气隔离模式、Zed ACP 集成与 Linux/macOS/Windows/Termux 安装。
推荐理由：README给出具体体积、冷启动和RAG架构细节，还能对照Claude Code等工具看出取舍思路。
作者 navthings 发布 airgpt 仓库，一条命令在 Apple Silicon Mac 上完成下载TinyStories/Cosmopedia数据、训练 byte-level BPE tokenizer、预训练 llama 风格小模型并教它聊天，只用 MLX，无需 CUDA 或云端。作者在 MacBook Air（M5, 16GB）上用 hour preset 训练 8M 参数模型 1 小时、55M tokens，val loss 从 2 分钟的 4.09 降到 46 分钟的 2.27，全程热状态保持 nominal，速度约 20k tokens/s，训练后能写出句子并回答提问但会编造事实。
推荐理由：作者公开了在无风扇 MacBook Air 上从零训练小模型的全流程与实测数据，val loss 下降和对话样例都可对照复现。
GoBlingChair 是一款 Windows 离线游戏汉化工具，用本地 Ollama 模型把游戏文件夹变成可玩的简中版，不联网、不上传、免 API key，支持 RPG Maker、KiriKiri、Ren'Py、Unity、Double Fine 系和通用明文共六类引擎，最新更新至 v2.6.9。v2.6.7 修复 Addressables catalog 解析器只读出一半记录导致的 CRC 校验失配，《Irmão do Jorel》212 条记录全部解析、CRC Mismatch 从 1 条降到 0 条；v2.6.9 修掉 Addressables 分组子目录漏扫和 I2 Localization 语言表静默漏翻，实测该游戏 6,274 条正文、97,924 个语言槽。
推荐理由：原文给出从解包、翻译到回填和CRC修复的完整管线细节与真实游戏实测数据，可了解本地模型汉化工具的落地做法。
darrenoakey 在 GitHub 发布 Arbiter，一个个人 GPU 工作站任务管理器，开箱支持去背景、图像描述与问答、目标检测、语音转写、多种 TTS、说话人头像和图生视频等任务。用户提交任务后由服务自动加载模型并返回结果，支持批量轮询（每次最多 1000 个任务 ID）、最短任务优先调度、参考文件复用和队列断电保留；静态图像生成默认关闭，图像生成需走 Mac mini Codex 图像服务，唯一例外是基于参考图的 FLUX.2-klein 编辑器。许可证为 CC BY-NC 4.0，非商业使用免费。
推荐理由：仓库自带完整的任务类型清单、Python 调用示例和调度细节，读者可以直接照着部署这套本地 GPU 多模态工作流。
作者在无 NVLink、四张卡走 Thunderbolt 的消费级 PC 上用 6×3090 通过 vLLM 跑 Qwen3.8-Flash-Next（GPTQ-INT4），262k 上下文支撑 7 用户，单会话 prefill 6574 t/s、decode 57.6 t/s，7 用户合计 206 t/s，并发布含修复的 vLLM 分支。关键做法包括把 102 GB n-gram（PLE）表放到 SSD 节省 108 GB 内存、用 int8 KV 绕过 fp8 KV 在 Ampere 上的崩溃；对比显示 vLLM 强在 prefill、单用户速度和并发席位，llama.cpp 的 grouped decode 在多用户下单路速度更平稳，代码由 LLM 编写并经实测验证。
推荐理由：作者用同一台 6×3090 消费级 PC 给出 vLLM 与 llama.cpp 在各并发档位下的实测数据，并附修复分支和部署细节，结论可直接复用。
作者发布 Swift 1.5 Qwen3.8-Flash-Next NVFP4 的去审查替换文件，将拒答方向以 1.5 倍强度从 151 个写入残差流的张量中投影掉，并提供每层专家从 512 个剪至 256 个的 pruned256 变体。逐文件给出 SHA-256 与验证报告，24,576 个专家重新量化后分量约 −0.498；实测在单卡 RTX PRO 6000（96 GB）上用 SGLang 可跑约每秒 1,000–1,200 生成 token，12 个中文政治敏感问题全部完整回答而原版大多拒答或给官方口径短答。未跑通用基准与 pruned256 变体；n-gram 嵌入分片约 102 GB 需从原仓库获取。
推荐理由：作者给出了逐层投影去除拒答方向的做法和完整验证数据，包括编辑前后分量、量化误差和12题政治敏感问题实测对比，可直接复现。
/u/Unstable_Llama 发布 exl3-qlora，一个基于 ExLlamaV3 的原生量化训练分支，用纯 PyTorch 实现、不依赖 transformers，可对 2-8bpw 的 EXL3 量化模型做 QLoRA 训练，摆脱 BNB 4bit 的限制。适配器按标准 PEFT 格式保存，可加载进 TabbyAPI、PEFT 或合并回基座模型；支持 Llama3、Mistral、Qwen3 dense/MoE、Qwen3.5/3.6/3.8 hybrid、Gemma3/4、Arcee Trinity。
推荐理由：作者给出同数据同硬件下 EXL3 与 bnb NF4 的 eval loss 和显存对比，读者可自行判断这套量化训练管线的取舍。
GitHub 上的 AITerm 是一款基于 Tauri 2、React 19 和 Rust 构建的跨平台 AI 增强终端，整合了 /ai 指令生成、/agent 自主代理循环、可自动派工给 Claude Code 的看板和需求管理。它支持 OpenAI、Anthropic、Google 等云端供应商，也可接 Ollama、LM Studio、oMLX 等本地端点在本地推理以省 API 费用，还能通过 Claude Code Bridge 让 Claude Code CLI 跑在任意已配置的供应商上。配套的 aiterm-host 可在无桌面的云主机、容器或 NAS 上运行 shell 供远程 AI 操作，主程序提供英文与繁体中文界面。
推荐理由：开源的 AI 增强终端，把 Claude Code 派工看板、本地模型接入和 MCP 工具调用整合进一套跨平台工具，适合想在终端里做自动化的人。
snonux 在 GitHub 发布 hypr 工具，自动化 Hyperstack GPU VM 的创建、引导、WireGuard 隧道和 vLLM 推理全流程，可并行运行两台 A100 80GB VM，分别服务 Qwen3.8 27B FP8 和 Gemma 4 31B IT (AWQ-4bit)。Pi 编码智能体通过 WireGuard 隧道直连各 VM 的 vLLM OpenAI 兼容端点，无需代理；支持 model switch 热切换十余个模型预设，qwen38-27b 预设默认启用 MTP 投机解码。附双 VM 拓扑、watch 监控面板、A100 80GB VRAM 尺寸表和 A100 PCIe 上 FP8 对比 Ollama 的吞吐数据。
推荐理由：给出从 GPU VM、WireGuard 隧道到 vLLM 和 Pi 编码智能体的一条龙脚本，附各模型 VRAM 与吞吐参考数据。
IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored，对 dealignai 的 abliterated 检查点做校准混合量化，552B 参数 MoE 压缩至约 163 GB（152 GiB 专家权重），可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式（42.8% 三值、39.2% 2-bit、18.0% 3-bit），与同尺寸均匀 Q2_0 相比输出误差低 17%；held-out 困惑度 5.645（原模型 4.915），top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s（启用 ggml patch 可达 27+）。
推荐理由：原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据，并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。
/u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码，单张 RTX PRO 6000 达 106.6 t/s，24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复（PR #42145 及上游 PR #93），短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。
推荐理由：作者给出让投机解码输出逐位可复现的具体补丁、启动命令和各长度下的速度对比，方便本地部署者照做。