方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
Blockway 团队发布 Agens Volundr 32B v1，针对社区对 Preview 版的反馈做了修复：SWE-bench 任务重复循环从 36/50 降到 0/50，SWE-bench Verified 50 题子集从 22 提到 27/50，τ²-bench 从 89 到 92/120，SGLang 构建新增 session continuation 使后续轮次快 2.9 倍。
推荐理由：官方逐条列出 Preview 版被社区指出的问题及 v1 修复数据，还给出 16 GB 构建的实测速度与质量下降幅度，便于自行评估取舍。
alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版（sym、group-128），面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证，截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s，MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍；12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s（-7.2%）。
推荐理由：作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分，并记录了校准偏差与评测陷阱，便于复现和横向对比。
Reddit 用户 /u/returnity 为 DeepSeek v4.1 Flash 1017（ds4）制作并发布了量化版本，需其 PR 才能加载新的 vision tower。量化沿用 antirez 原版 DS4.1 Q2 配方：2-bit 路由专家加 8-bit 及以上精度处理其余部分，imatrix 基于 1017 构建，并保留原版 FP8 engram 表。模型 wired backbone 超过 150GB，可在 128GB 内存系统上从 SSD 流式加载，M5 Max 上解码速度最高 20tps；约 200GB 的 engram 表按需从 SSD 分页调入。该版本中约 40% 路由专家张量、30% engram 和约 50% vision tower 专家张量有改动。
推荐理由：作者给出了量化配方、模型体积与 M5 Max 上的解码速度等实测细节，本地部署用户可参考其 SSD 流式加载方案。
The-Pack-Man 在 GitHub 发布 DuckDB_Dbt，用自然语言提问即可在本地 DuckDB + Ollama（qwen2.5-coder:7b）上生成 SQL、执行并解释，dbt 建模并通过手写 semantic_manifest.yaml 注入业务规则，SQL 走只读连接，失败自动重试（默认2次）。作者用32题golden集做消融评测：qwen2.5-coder 7B 在 temperature 0 下，仅schema 时总体执行准确率 56.2%（business_rule 类仅 15.4%），加语义 manifest 后总体 90.6%（business_rule 92.3%），manifest 提升 +34.4 个百分点，修复12题、破坏1题。
推荐理由：作者用32题golden集做了加与不加semantic manifest的消融，还列出了残余失败案例和自述局限，结论可复核。
作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。
推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。
Alia 是一个仅支持 Linux 的全本地 coding-agent 启动器，检测 NVIDIA GPU、显存和内存后自动选择硬件配置、启动 llama-server 并打开 Qwen Code 终端或 Web Shell。v0.2.0 在 RTX 3070 8GB 上实测 Qwen3.6 35B-A3B IQ3_XXS 4K 上下文生成速度 49.9 tok/s，提供多档预设配置、可选 MCP 浏览器与搜索服务器、bubblewrap 沙箱和自动硬件配置选择，README 附带完整基准方法与原始数据。
推荐理由：README 附带在 RTX 3070 上的多配置实测数据和基准方法说明，读者可以据此评估本地跑 coding agent 的速度与内存需求。
作者在 Basalt 中为 Qwen3.8 Flash-Next 实现原生 NVFP4 支持并加速 prefill，新的 .basalt 包保留原版 NVIDIA experts、dense 层存为 Q6_K。单张 5090（400w）+128GB DDR5 单流下 struct 304 tok/s、prose 183 tok/s，加 5060 Ti 协同后达 479/239 tok/s；64K prompt prefill 达 8,582 tok/s（首 token 7.6 秒）。
推荐理由：作者给出了 NVFP4 量化后的 PPL、KLD 和 top-1 一致性数据，以及与 Infernix 的同机对比，方便自行复现判断。
/u/shayanx45 在 2x DGX Spark（TP=2 经 CX7 线连接）上以 EXL3 2.9bpw、1M 上下文运行 DeepSeek-V4.1-Flash-1017，实测 TensorFold 较 vLLM kit 快 2.1-2.3x：文本解码 27.0→56.8 tok/s，代码 39.9→92.2 tok/s，64K大海捞针 80.4s→35.9s；8K-64K 冷 prefill 约 2.1-2.2x，1M（1,034,753 tokens）达 1,246 tok/s。提示词缓存可跨重启恢复，18K 对话从 16.8s 降至 2.7s。部署配方与 HF 卡片已公开，引擎来自 bertholomus 的 V4.1 port，host 调优将随下次更新进仓库。
推荐理由：作者用同一对硬件和同一组提示词给出 vLLM kit 与 TensorFold 的逐项对比数据，可复现的部署配方已开源到 GitHub。
wckdboy 在 GitHub 发布 Autobot 1.7，一个隐私优先的 Android/iOS AI Agent，通过 llama.cpp 在设备上运行聊天、Agent 和代码会话，图像走 stable-diffusion.cpp、QNN 或 Core ML，语音用 whisper.cpp。默认离线并带 kill switch 和审计日志，云端请求先做脱敏并附隐私回执；双端共享 Kotlin Multiplatform 核心，支持 Qwen3、Llama 3.2 等本地模型目录、投机解码（M3 Pro 上 Qwen3 4B+0.6B 在代码任务达 1.64x）、MCP 服务器和 .autobot 加密导出。Snapdragon 加速路径针对 8 Elite Gen 5 构建但尚未在真机验证。
推荐理由：README 详细写明了离线默认、审计日志、加密存储等隐私机制和 NPU/GPU 加速路径，读者可据此评估这个双端 AI Agent 的实际可用性。
w0rldx 在 GitHub 开源 XE Local AI Engine，当前版本 1.0.0-rc.2，Apache-2.0 许可。单个 ASP.NET Core 进程提供 React 管理 UI、仅 loopback 的 API 和 SignalR，用 SQLite 加密存储，并监督 llama-server、sd-server、whisper-server 子进程做推理，默认运行时为 llama.cpp，可选用 Ollama、stable-diffusion.cpp、whisper.cpp 或云服务商。支持 Windows Portable.zip 和 Linux AppImage 便携自更新安装，提供外部 Agent 通过 MCP 服务器完成安装与运维的 Agentic Support 流程。
推荐理由：README 把进程架构、运行时选项、安全边界和开发流程都写清了，读者可据此判断这个本地 AI 引擎适不适合自己的部署场景。
roylez 在 GitHub 发布 LLM Gateway，一个用 Elixir 编写的 LLM 供应商代理，接受 OpenAI 或 Anthropic 格式请求并自动完成 API 格式互转。支持 OpenAI、Anthropic、OpenRouter、GitHub Copilot、Ollama 等供应商，提供 5xx、超时或限流时的跨供应商故障转移链、虚拟 API 密钥的按模型访问控制、来自 llmdb 的模型元数据、Anthropic 缓存指标归一化、SSE 流式转换，以及 DeepSeek DSML 标记到结构化工具调用的清理；GitHub Copilot 采用全自动设备码授权，支持 Docker 部署和 Elixir Library Mode 直接调用。
推荐理由：README 详细给出了多供应商路由、故障转移链和 API 格式互转的配置方式，可直接照着部署一套自托管网关。
开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl，可在单张 RTX 4090（24GB）加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash，权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3，同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。
推荐理由：作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据，方案可直接复现。
/u/Distinct-Pie2389 在把 Strata 从 IQ2_XS 迁移到 Unsloth UD-IQ4_XS 时发现，0.1.45 之前的版本在请求未设 temperature 且 run config 无 sampling 块时会贪心解码导致模型循环，0.1.45 起改为使用模型卡默认值（thinking: temp 1.0, top_p 0.95, top_k 20）。
推荐理由：作者给出自己 A/B 实测的解码速度与 KL 数据，并附上可直接抄进 run config 的采样与路由参数。
Reddit 用户 /u/StayLameBro 将两台游戏 PC、一台 M4 Pro MacBook 和两台 iPhone 17 Pro Max 通过 Ethernet 和 USB-C 串联，分布式运行 48 层、每层 512 专家的 MoE 模型 Qwen3.8 Flash Next。实测 60k 上下文写入 37-39 tok/s、读取 856-895 tok/s，靠流水线投机采样平均每步产出约 2.2 个 token；另一布局单次读取超 164k token，完整 262k 布局在筹备中，代码将发布于 github.com/StayLameBro/backburner。
推荐理由：作者用五台家用设备串行跑 MoE 大模型，给出了各设备分层方案和不同上下文长度的实测速度，方法可复现。
论文提出把有界 Agent 工作流中的决策当作优化问题，先离散化状态、求解马尔可夫决策过程再复用解，称为 Bellman language model（BLM）。在 τ²-bench telecom 上，无模型控制器解决 79% 任务；Qwen3.8-27B 作为 BLM 从 29% 升至 96%，模型调用减少 93%；Claude Opus 5.5 作为 BLM 时每任务调用与成本约降 98%，并多解决 2 个任务；在 InventoryBench 上无模型求解策略胜过所有已发表方法。但内容生成为主的场景（如解决 SymPy 问题）收益很小。
推荐理由：论文把有界工作流中的重复决策先求解再复用，给出多个基准上降低调用成本与提升成功率的具体数据，方法可迁移。
Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。
推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版，1-bit 可在 128GB+ 内存设备运行，3-bit 需 256GB，全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新，官方基准显示推理、编码、Agent 和视觉任务均有提升，如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2；模型采用 MIT 许可，支持 1M token 上下文，需使用 llama.cpp PR 或 Unsloth Desktop 运行，prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由：官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比，以及量化档位对应的内存需求，可据此评估该版本的实际收益。
vedevpatel 发布 rajaykumar12959/qwen3.8-27b-abliterated 的 imatrix GGUF 量化，该模型移除了拒绝行为，可回答原版 Qwen3.8 拒答的请求，目标在 16 GB 显存上用 llama.cpp 运行。每个量化均与 BF16 原版对比：MMLU-Pro（4200 题、5-shot、thinking off）差异均在 95% 置信区间内不显著，BF16 为 79.60%；WikiText-2 KL 散度显示 IQ3_M 漂移比 4-bit 量化高 3.3–3.8 倍。
推荐理由：作者对每个量化版本都给出了与 BF16 原版的 MMLU-Pro 和 KL 散度对比，还实测了 16 GB 显存下的上下文与速度表现。
clocksmith 发布 doppler，一个通过 WebGPU 在本地执行模型的 JavaScript 库，支持生成、嵌入向量、重排序和选择打分，并按模型和主机分别验证。提供 npx --package doppler-gpu@0.6.1 的 quickstart（模型 gemma3-270m），浏览器与 Node 支持分开验证；模型目录涵盖文本与多模态生成、扩散语言模型、翻译、嵌入、重排序、蛋白质与核苷酸编码器，对比记分板将吞吐与加载分开报告，W8A8 仍为实验性，选择分数未校准，许可证为 MIT。
推荐理由：原文给出 quickstart 命令、支持矩阵与按模型和主机限定的验证方式，读者可据此评估在浏览器或 Node 里跑本地模型的可行性。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。