方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
Reddit 用户 /u/Ok-Director4174 发布了免费开源桌面应用 Kokon，基于 stable-diffusion.cpp（ggml）运行 Qwen-Image 2.1 Turbo Q4_K 与 Qwen3-VL 8B 文本编码器（约 12 GB GGUF），无需 Python 和 PyTorch，首启自动检测 GPU 并下载匹配权重。应用提供 Change / Remove / Replace / Add 的笔刷式照片编辑、撤销与前后对比，内置 MCP 服务器（generate_image、edit_image、inpaint_image 等）和本地 HTTP API。
推荐理由：作者实测给出了各档显卡的单张编辑耗时和显存门槛，本地部署 Qwen-Image 2.1 图像编辑可据此评估硬件是否够用。
Telperion 发布 Qwen3.8-27B 的潜在注意力变体 MLA 和 GLA-g2，将 KV cache 压缩 4 倍，可在消费级硬件上实现近 4 倍最大上下文或近 4 倍并发提升。其中 MLA 变体在 SWE-bench Verified（zero-shot、无工具、n>1500）上得分 42.1%，较原版 39.5% 提升 6.58%，推理 token 减少最多 20%；GLA-g2 面向双 GPU 用户，TP=1 和 TP=2 下均实现 4 倍压缩。
推荐理由：原文给出了 KV 压缩倍率、SWE-bench 分数和量化后 top-1 分歧率的具体数据，可用作判断 latent attention 变体实际收益的参考。
/u/Present_Resource4022 在 GitHub 发布 Gyro-M 实验性部署方案，在 4070 Super 12GB 显存加 32GB 内存上跑满 Qwen 3.8 flash 的 256K 上下文，prefill 约 950–1800 tok/s，输出 30–38 tok/s。方案包含 Strata 补丁、调优配置、模型下载器、安装器和启动器，默认关闭 MTP 和视觉功能以提升速度；作者另附一段提示词，可交给 Codex 或 Claude Code 等编码 Agent 按用户自身硬件调优，速度受 CPU、SSD、内存和 GPU 带宽影响较大。
推荐理由：作者实测 Qwen 3.8 flash 在 12GB 显存加 32GB 内存跑满 256K 上下文，并给出调优补丁和供编码 Agent 适配自家硬件的提示词。
OpenBMB 的 MiniCPM-V 4.7 演示显示，35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行，可读现实标识、理解复杂文档并做视觉推理。关键在 LES（Lookahead Expert Scheduling），通过预测并预加载专家缓解 MoE 推理瓶颈；团队还发布了面向低资源设备的 1B 版本，以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub：https://github.com/OpenBMB/MiniCPM-V
推荐理由：帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路，适合关注多模态模型本地部署的读者。
/u/The_VibePreneur 发布 BitRun，一个无需编译即可运行 1-bit 三值 LLM 的独立运行器，在 Apple M4 Pro CPU 上跑出 98-127 tokens/s，Intel i5-12600K 上 40-45 tokens/s，全程 0% GPU 占用。作者为此修复了 Microsoft bitnet.cpp 的多处底层 C++ 内核 bug（batch stride 覆写、ARM NEON 块大小硬编码导致 @ @ @ 死循环、SiLU 与 squared ReLU 激活不匹配、多轮对话 BLAS 越界崩溃），并提交 PR #642 和 #644。
推荐理由：作者修复了 bitnet.cpp 的多处底层内核 bug 并封装成零编译的一键运行器，实测数据可直接对照自己的 CPU 场景判断是否可用。
/u/K4anan 团队为开源本地 LLM 应用 Private Mind 上线联网搜索功能，iOS 和 Android 上的 Qwen 3 1.7B 无网络时把 Apple 九月发布会答错，开启后能答对并引用 5 个页面。实现不用搜索 API 和后端：隐藏 WebView 访问 DuckDuckGo（Brave 和 Mojeek 备用）解析结果，把顶部网页切成约 500 字符块，由端上嵌入模型 LFM2.5（约 415MB）加关键词匹配选出最多 6 块（单页最多 3 块），两个站点一致的说法权重高于单一来源，模型基于这些块作答并附全部来源链接。搜索按会话开关、默认关闭，手机像浏览器一样发请求，对话留在本机，LLM 和嵌入都跑在 react-native-executorch 上。
推荐理由：核心难点不在模型而在选段，用嵌入加多站点一致性从网页里挑几百字喂给 1.7B 模型，做法可直接借鉴。
dreamingwell 发布 apple-llm-performance 仓库及配套网页，用于查询哪些开放权重模型能在哪款 Apple 芯片上运行、该用哪个引擎和量化档位。页面按 CPU 型号、内存大小和机器数量给出模型能否加载、保真度损失和可容纳的并发上下文数，覆盖 llama.cpp、Ollama、LM Studio、MLX、vLLM 等引擎及 mflux、MLX-Audio 等生成媒体工具。数据由 Claude 基于公开模型卡、引擎源码和 issue 追踪器整理，属二手汇编而非实测，每个数字附来源链接；仓库纯标准库构建，CI 校验每个记录，欢迎带引用的 PR 和真实硬件实测贡献。
推荐理由：这个仓库把模型权重、量化位宽、KV 成本和引擎适配的推导方法全部公开，读者可以照着核对每个数字的来源。
candor-lab 在 Hugging Face 发布 Llama 3.2 3B Instruct 的去对齐版本，通过 Candor 权重编辑工具对注意力和 MLP 输出矩阵做 rank-1 修改，移除模型拒绝指令的方向。实测显示该文件对 288 个有害提示词只拒绝 6 个，而普通 Q4_K_M 量化版拒绝 161 个；团队指出该权重此前经过 4-bit 量化，再次量化会损失 30-45% 的编辑效果，因此将 49 个被编辑矩阵保留在 Q8_0。测量基于 StrongREJECT、Alpaca 提示词与 GSM8K，在 llama.cpp llama-server 中以实际发布文件进行，结果与 heretic 的最佳试验无统计显著差异。
推荐理由：发布方实测了量化后文件的拒绝率与 KL 散度，指出先量化后去对齐会让编辑效果损失三到四成。
作者发布 Llamaforge v0.16，这是一个驱动上游 llama.cpp 的浏览器控制面板，不改动 llama.cpp 本体。加载模型前按本机实测大小显示模型在各 GPU 上的落位，不合适会提示，支持多模型同时运行且主模型占用最快 GPU、worker 模型避开该卡。v0.16 新增 embers 本地 agent，夜间读取指定来源生成 wiki 和晨间简报，每条论断必须逐字引用来源并由代码对照快照校验，不匹配即丢弃；agent 无浏览器和工具，除非开启推送否则数据不出本机。
推荐理由：作者实测了 llama.cpp 面板的多 GPU 显存预估与本地 agent 引用校验机制，读者可了解其部署与防幻觉做法。
sakuranaga 在 GitHub 发布 local-ai-search（LAS），一个完全本地运行、零云端依赖的自托管文件平台，支持拖拽上传、权限控制、版本历史与协作编辑。搜索采用 pg_bigm 全文检索与 pgvector 向量检索并行、经 RRF 融合的混合方案，并用 ReAct 风格 Agent 调用 search/grep/read_document 等工具自主检索与总结文档；PDF 与图片经 Surya OCR v2 自动 OCR，LLM 与 Embedding 通过 llama.cpp 在本地 GPU 运行。
推荐理由：原文完整公开了这套自托管文件平台的架构、技术栈与部署命令，读者可以直接照着复现一套局域网内的本地 AI 搜索文件服务。
doublewordai 在 GitHub 开源 inference-lab，用离散事件模拟多 GPU 节点运行 vLLM 式调度与 KV cache 的 LLM 推理负载，按峰值 FLOP 算力和 HBM 带宽给每步计价，结果为理论硬件上界，用于比较不同配置的差值。
推荐理由：原文解释了模拟器以 roofline 上界为主、以配置间差值为核心读数的定位，可用于推理部署方案的横向比较。
一篇 arXiv 论文（arXiv:2610.18613）重新检验了自蒸馏方法 SDPO 与 OPSD 在代码、科学、工具使用和数学推理任务上的表现，发现其相对强化学习（RL）的收益不能稳定泛化到未见问题。作者认为收益主要来自过拟合或迁移既有推理行为，而非有效利用特权信息；自蒸馏梯度与直接优化期望回报的策略梯度对齐较弱。实验覆盖 Qwen3（1.7B-14B）和 OLMo-3-7B，结论是有效利用特权信息改进推理仍是开放问题，代码已开源。
推荐理由：论文在代码、数学等多任务上复测 SDPO 和 OPSD，指出其收益主要来自过拟合而非特权信息，并给出复现代码。
arXiv 论文提出 ARBITER，一个 35B MoE 智能体验证器，仅凭题面和源码判定候选程序正确性并生成反例作为可检验证据，基于 USACO 2026 构建了 USACO-JUDGE 评测集并用强化学习训练。训练将错误程序上的反例成功率从 40.61% 提升到 62.67%，USACO-JUDGE 二元判定准确率从 71.41% 提升到 87.41%，在代码选择与改进任务上均优于基线；IOI 2026 案例中 ARBITER 引导的改进使 GPT-OSS-120B 在官方提交限制下的期望分数超过金牌线。论文链接 https://arxiv.org/abs/2610.18760v1。
推荐理由：论文给出了反例生成与判定准确率在训练前后的具体数字，可据此评估这类可验证反馈验证器的实际提升幅度。
论文提出混合推理 Agent 框架 HybridAgents，用 HybridLink 在统一生成过程中于潜在推理与文本交互间动态切换，并以连续工作记忆跨多轮保存混合上下文。配套 HybridSFT 与 HybridRL 后训练算法，在 3 个模型规模、11 个基准上较前沿 LLM Agent 与 Agent 框架平均提升 10.4%，同时 token 减少 35.5%-54.7%、推理提速 1.8x-2.6x、成本节省 2.7x-3.7x，代码与数据已开源。
推荐理由：论文同时给出统一架构、后训练算法和在 11 个基准上的量化对比，读者可以直接查看 10.4% 提升与成本节省数据的来源。
论文提出 DoubtLess，一种免训练的对比解码方法，用小推理模型分别以简洁和冗长两种提示读取大模型的思维链，将两者 logit 之差按强度缩放后加到大模型每步的 logits 上，引导其生成更短的 CoT。在竞赛数学、研究生级科学和竞赛编程等七个基准上，DoubtLess 将 Qwen3-32B 的 CoT 缩短 31% 而准确率不变，优于五个推理时基线；在自调试编码智能体中每轮思考 token 减少 20%，任务性能不变，还能泛化到另外两个模型家族，并与基于训练的压缩方法叠加使用。行为分析显示其减少重复检查，token 节省大多来自正确答案首次出现在 CoT 之后。代码已开源。
推荐理由：方法无需训练即可压缩推理模型的思维链，并给出七个基准上的量化结果，可与其他推理时压缩手段比较迁移。
论文提出 Tev-Gym 数据集与 PPRS 奖励整形方法，用 1170 个带渐进可验证奖励的任务环境训练出 Tev-27B。该方法把任务进度转成逐步密集奖励，Tev-27B 在 ALE-CM 上 Pass@5 匹敌 GPT-6 Astra 与 Claude Opus 5，并在 Terminal-Bench 3.0/4.0 上超过 GLM 5.2 和 Gemini 3.7 Flash。
推荐理由：论文给出可验证的渐进奖励构造方法，用逐级奖励把长程任务变得可训练，还开源了 1170 个任务环境。
perkel 在 Hugging Face 发布 OrcaRouter 对 Qwen3.8-Flash-Next（177B 参数、每层 512 专家、10 激活）做 abliteration 去拒绝处理的 BF16 版本的 MegaCapybara 格式量化文件，提供 Tiny（专家 2 bit，30.7 GB）和 Small（专家 3 bit，45.8 GB）两档，可单张 RTX 5090 运行。
推荐理由：原文给出abliteration的具体改动位置和与BF16原模型的KL散度、top-1一致率及RTX 5090实测速度，可据此评估精度损失。
GitHub 仓库 AbrahamPaulJ/nightmare-mobile 发布，一个安卓节点图应用，在 Qualcomm Hexagon NPU 上离线运行文生图、图生图、inpaint、放大、图像编辑与文生视频，无需服务器或账号。
推荐理由：README 详细列出了各芯片档位支持的模型、显存与授权条件，安卓用户可以直接判断自己的手机能跑哪些本地生成流程。
作者 /u/web3samy 发布了受操作系统与 JIT 编译器启发的推理引擎 jitllm，可在生成回复过程中把模型层在不同硬件间移动并重新排布。Llama-3.2-3B 在 2×T4 上层迁移耗时 8.1-8.4ms、2×V100 上约 20-21ms，RTX 3050 Ti 笔记本上 CUDA 到 Vulkan 迁移 91ms，均无 token 重算。KV cache 随层分页迁移，prompt 无需重新处理，输出与未迁移运行一致。代码见 https://github.com/jitllm/jitllm
推荐理由：作者给出了各硬件组合下层迁移的耗时与零重算数据，可用于评估这种运行中模型调度思路的落地成本。
arXiv 论文 arXiv:2610.18407 为掩码扩散语言模型引入贯穿深度、可自适应路由的多残差流。双流使验证集重建困惑度较标准残差连接降低 5.71%，外部语料平均降低 5.13%。因果干预显示可见与掩码位置自发形成不同路由模式，角色条件路由训练可恢复双流一半的验证收益，该机制在更大模型规模上同样成立。
推荐理由：论文给出多残差流扩散语言模型的具体改动和 5.71% 困惑度下降数据，并解释了双流分工的机制来源。