方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
arXiv 论文 2610.22249 通过中文纠偏构式"不是X，而是Y"诊断 LLM 写作腔调，提出基于 Gricean 语用学的决策树，将用法分为实质性、可选性和缺陷性三类。研究发现五个商业模型使用该构式的密度是人类参照的 2.5 至 9.2 倍；307 个标注用例中仅 1.30% 有缺陷，但 52.8% 属于正确却不需要的可选用法。多个奖励模型即使对质量匹配的变体也偏爱该构式，LLM 裁判在语境不允许时仍偏爱它，监督微调和偏好优化都会推高开源模型中的使用频率。
推荐理由：论文把"不是X而是Y"的滥用归因于模型不知何时该用，给出了从正确性转向语用恰当性的诊断框架，可迁移到其他模型腔分析。
一篇 arXiv 论文提出 training-free on-policy 蒸馏：不用训练，仅通过前向传播就能把多个单独微调的专家模型能力合并到一个学生模型中，合并后平均精度高于任一专家。当专家共享同一 base 模型时，蒸馏有精确的逐层解，等价于一个最小二乘问题，只需几百条 rollout 的前向计算即可得到二阶矩。去除重复循环截断的回答后，在 AIME25 上将合并模型从 task arithmetic 水平提升到专家水平；在 Olmo 3 7B 上，每个专家只需几 GPU 小时的前向计算，即可在七个数学和代码基准上保留各专家的大部分增益。
推荐理由：给出免训练合并多个专家模型的具体方法，层式最小二乘解只需几百条 rollout 的前向计算即可落地。
论文提出 System1-Arena 基准，统一给模型相同的决策请求并按概率打分，考察哪些决策可交给单次前向的 System-1 模型、哪些需要生成式推理。基准含 105 个任务的 92k 题目和 138 个闭环环境，评测 30 个模型；最大的 System-1 模型在非智能体任务上达到或超过快速闭源 LLM，延迟仅四分之一，推理型 LLM 最准确但成本约为快速 LLM 的 70 倍，闭环中大型开源 LLM 成功率最高（至多 32.9%）。
推荐理由：论文用统一基准量化 System-1 与 System-2 模型的决策分工，读者可借此判断哪些决策不必走生成式推理。
研究者提出 QREF，一个即插即用的查询改写器与证据过滤器，通过 SFT 初始化并用强化学习在真实网络搜索环境中优化，缓解 DeepSearch 智能体检索意图错位与噪声累积问题。方法在四个基准上平均将 WebSailor 的 Pass@1 相对提升 33.55%、TongyiDeepResearch 提升 11.04%，无需修改架构或重训推理策略；RL 训练的改写器比原始骨干减少 95% 缺乏判别性检索锚点的查询批次。论文地址 https://arxiv.org/abs/2610.21512
推荐理由：论文给出即插即用的查询改写与证据过滤方案，不改架构即可提升 DeepSearch 智能体表现，数字与对比数据齐全。
/u/brainchillzZ 在 Threadripper PRO 9955WX 加 4 张 R9700 上验证了 affinity 引擎此前被拒的 4 卡配置，DeepSeek-V4-Flash-0731 以 2.875 bpw 量化跑出 79 tok/s greedy、63 tok/s（temp 1.0），全部 11,008 个专家驻留显存，无退化输出。双卡仅 36 tok/s 且 82% 时间等待主机流式读取；作者指出原作者遇到的 bug 出在 4-on-2 模拟而非 4 rank 执行，并提示需加 --placement-strategy static。
推荐理由：作者在四张真实 R9700 上复现了此前只能双卡模拟的 affinity 配置，给出双卡与四卡的实测吞吐对比和绕过启动报错的具体参数。
Texas A&M 与 ByteDance 团队发布 DMAD（Distribution Matching as Adversarial Distillation）仓库及论文（arXiv:2610.02188），将分布匹配蒸馏重构为分类问题，用共享骨干上的两个判别头直接学习 log-density ratio，免去 DMD 所需的辅助扩散模型。基于 MiniMax-H3（33B，文生音视频）训练的 rank-128 LoRA 可将 50 步 teacher 压缩为 4 步生成 1344x768、124 帧、32 kHz 立体声视频；4 步 student 在人类偏好上对 DMD2 达 79.1%、对 rCM 达 84.6%（不含平局）。
推荐理由：作者把分布匹配蒸馏改写成判别式对抗训练，省掉辅助扩散模型，并给出从 8 GB 消费级 GPU 到 H200 的显存与速度实测数据。
AtomicChat 将 NVIDIA Nemotron 3.5 Super VL 120B-A12B 的拒绝行为从权重中移除，发布 Atomic Dynamic GGUF 量化版本。JailbreakBench 拒绝率从 95.1% 降到 0%，俄语红队提示从 76% 降到 2%，MMLU 保持 85.05% 到 85.10% 基本不变；方法基于 Arditi et al. 2024 的单一方向拒绝机制，对写入残差流的 128 个矩阵做投影编辑，提供 AD-Q4_K_S、AD-IQ3_XXS、AD-Q2_0_L 三档量化，上游 llama.cpp 可直接运行。
推荐理由：原文给出拒绝率前后对比、MMLU 对照和量化误差数据，读者可以据此判断这次去对齐编辑的代价到底有多大。
risadams 发布 Janus，一个运行在 Claude Code 与 Anthropic API 之间的本地代理，默认原样转发请求并逐条记录 token 与成本。可选功能包括 shadow、local-then-escalate、local 三种本地模型路由模式、密钥占位与文件隐私保护、Claude 不可用时的本地兜底、MCP worker 工具和压缩，压缩默认关闭因实测仅省约 1.5%。项目处于 pre-release，MIT 许可，需 Go 1.27+ 或下载构建，捕获默认保留 7 天。
推荐理由：原文给出完整的请求处理流程、各功能开关和实测数据，比如压缩默认关闭因为只省约 1.5%，读者可据此评估是否引入。
/u/FeydRowan 发布 capy-flash，基于其 ninfer-tp2 引擎，可在两块 16GB 消费级 GPU 上以 NVFP4 运行 Qwen3.8-Flash-Next 125B-A6B（专家卸载到内存），也支持 Qwen3.8-27B，一个参数即可切换。在 2× RTX 5070 Ti 上生成约 100 tok/s（Strata 为 78），15k prompt 的 prefill 约 3.4k tok/s（Strata 为 2.7k）；质量对照数据中心 NVFP4 参考用 GSM8K、MMLU-Pro 和 agentic coding 任务检验。
推荐理由：作者给出与 Strata 在相同 NVFP4 权重下的生成和 prefill 速度对比，以及 TP=2 下 BF16 舍入误差的实测数据。
作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM（NVFP4）与 llama.cpp（Q4_K_XL）运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s，约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍，但 prefill 低于 vLLM（约 10k 对 16k tok/s）；BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。
推荐理由：作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据，并给出真实使用中工具调用异常的细节。
waxinz 在 GitHub 发布 Arcturos，一个本地优先的 LLM 基准测试与评测面板，所有数据保存在用户自有的本地 SQLite 文件中。它可对 OpenAI 兼容或 llama.cpp 原生推理服务器做基准测试，测量 decode tok/s、prefill tok/s、TTFT、wall time、MTP/speculative acceptance、并行流等多项指标并支持多上下文长度；支持带图表、固定基线和逐指标差值的并排对比，以及由外部 LLM judge 盲评的单轮与多轮 prompt 评测（pairwise A/B 偏好、按 judge 和类别统计胜率），并提供套件胜率与覆盖率报告、CSV 导出和 append-only 存储。
推荐理由：开源的本地 LLM 推理基准与评测面板，数据存本地 SQLite，可对比吞吐、TTFT 并用外部模型盲评 prompt。
QUASAR 团队发布多款模型的 4-bit QAT 量化权重，包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B，提供 NVFP4（vLLM）和 Q4_0 GGUF（llama.cpp / Ollama / LM Studio）格式，代码与项目页已公开。方法为量化感知蒸馏，以原 BF16 模型为教师在其自身回复上修复量化损失；在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。
推荐理由：原文给出与官方 4-bit 版本的 KL 距离和基准对比数据，读者可以据此判断这套 QAT 权重的实际损失有多大。
Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open，采用 MoE 架构，总参数约 816B、每 token 激活约 42B，支持文本、图像、音频和视频输入，上下文窗口最高 1M token。模型针对 agentic coding 训练，可读代码库、写代码、调试并调用工具；官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方，BF16 权重约 1.5 TB，NVFP4 版可跑在单节点 B200 上，并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。
推荐理由：官方博客给出完整架构参数与多套部署配方，从 llama.cpp 量化到 TRL 微调实测数据都有，可按需选路径复现。
Reddit 用户 /u/WorldlyAd7946 实测 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X1-26-100，32GB，纯 CPU）运行本地大模型：Qwen3.6 35B A3B coder 在 llama.cpp 下写入 24.5 tok/s，开 MTP 后约 29-33 tok/s；Qwen3-Next 80B A3B 用 Janas 开 MTP 达 17-18 tok/s，而 llama.cpp 无法加载该模型。
推荐理由：作者把 Janas 移植到 ARM 并给出实测速度数据，读者可据此评估低价骁龙迷你机跑本地大模型的可行性。
Reddit 用户 BTA_Labs 实测 Nvidia Nemotron 3.5 Bolt 74B-A9B（原生 2-bit QAT，Mamba-2-Transformer 混合 LatentMoE，9B 激活）与 Liquid AI LFM2.5-24B-A2B（24B 总参数、2.45B 激活、131k 上下文），认为 Q4 以下量化必掉智的老规则在 QAT 和混合架构下需要重写。
推荐理由：作者实测了 Nvidia 2-bit QAT 74B 与 Liquid 24B-A2B 在 24GB 显存下的表现，给出了 PinchBench 具体分数对比。
Black Forest Labs 发布 FLUX.3 Image Klein，开放蒸馏版（16 步、无 CFG）和 base 版（50 步、CFG）两个权重，首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制，蒸馏版在 H100 上约 2 秒生成 1024×1024 图像，提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。
推荐理由：官方教程给出两个开放权重的显存占用和 H100 实测生成耗时，还拆解了架构细节，方便评估部署成本。
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，一个面向本地日常智能体任务的开源权重视觉语言模型，采用原生 2-bit 量化（IQ2，量化感知训练）将 74B 总参数（9B 激活）压进 24GB 显存。架构为 Mamba-2 与 Transformer 混合加 LatentMoE，配 C-RADIO v4-H 视觉编码器，支持文本、图像和视频输入，上下文最长 256K tokens，可通过 vLLM 部署在 A100、H100-80GB 或 Blackwell 上，并支持经 DFlash 的 LiLiCorr 投机解码。许可证为 OpenMDW-1.1，可商用；GGUF 权重已上架 Hugging Face。
推荐理由：原文给出了参数结构、量化精度、显存占用和部署硬件等具体规格，读者可以据此评估本地跑智能体任务的可行性。
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果，涵盖 8 个语言对、12 条测试提示词，用嵌入向量距离打分并惩罚不一致与指令遵循错误，测试了 15 个模型的不同量化版本，结果见 selfhostedintelligence.com。观察包括：16GB VRAM 足以自动化翻译；推理模式对 Qwen 模型提升巨大；大型 MoE 模型最低量化档与上一档差距明显；abliteration（huihui quants）对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由：实测覆盖 15 个模型不同量化版本，并给出量化层级与 abliteration 影响的具体观察，可按硬件条件选型。
dis-craft 在 GitHub 发布 LLM-observatory，一个本地优先的研究工作台，用于在边缘硬件上对量化语言模型做性能与可靠性分析，通过 FastAPI 后端对接本地 Ollama。功能包括模型注册表、CPU/RAM/GPU 遥测、支持多种负载配置的性能基准（报告 TTFT、p95 延迟、吞吐等）、内置质量评估器，以及可选接入 Promptfoo、LM Evaluation Harness、llama-bench 和 Nsight Systems，结果存入本地 SQLite 并可导出 JSON。项目为研究原型，未在所有 Windows/Ollama/NVIDIA 配置上验证，文档详细说明了各指标的测量边界，强调设备级 GPU 读数不能自动归因于模型本身。
推荐理由：这个本地工作台把量化模型的性能与质量对比流程标准化，并明确写出每项指标的测量边界，适合需要可复现边缘端实验的人。
inxanedev 在 GitHub 开源 comfyui-lan-image-server，可将同一 Wi-Fi 下的手机、平板或电脑变成 ComfyUI 的浏览器遥控面板，无需安装应用或联网。支持 KSampler 采样实时预览与步数计数、远程修改 prompt、negative、尺寸、steps、CFG、sampler、scheduler 和 seed，提供会话图库、预设保存、PNG 元数据回读设置、Clear Images 与 Shutdown PC 等功能。安装需将仓库克隆到 custom_nodes 并以 --listen 0.0.0.0 启动 ComfyUI，配合 --preview-method latent2rgb 或 taesd 启用实时预览；面板无鉴权，仅建议在可信局域网使用。
推荐理由：作者开源了一个把局域网内手机或平板变成 ComfyUI 遥控面板的自定义节点，README 给出完整安装命令、节点接线和参数说明，可直接照做部署。