方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
RunAnywhereAI 开源 runanywhere-sdks，一套 C++ 核心加八个 SDK（Swift、Kotlin、Flutter、React Native、Web、Electron、Python、wally CLI），在手机、浏览器、桌面和服务器上本地运行 LLM、VLM、语音、RAG、嵌入和 Stable Diffusion 图像生成，默认离线。
推荐理由：用一套 C++ 核心和八种语言 SDK 把 LLM、语音、视觉与图像生成统一到本地推理，还给出 Snapdragon NPU 上的实测吞吐数据。
/u/giveen 发布 NInfer 的扩展 fork ninfer-ext，在单张 RTX 5090 上实测多款模型的 prefill 与 decode 吞吐。测试覆盖 Gemma 4 26B-A4B (QAT int4)、Gemma 4 31B IT M1、Qwen3.6-35B-A3B（含 nvfp4）、Qwen3.8-27B（含 nvfp4）和 Qwen3.8-Flash-Next nvfp4，给出 1/2/4/8 并发下数据，prefill 最高达 21,897 tokens/s（Qwen3.6-35B-A3B nvfp4，C=8），并对比 plain 与 MTP 投机解码模式。
推荐理由：作者用自家 fork 在单张 RTX 5090 上给出多个模型不同并发与量化档的 prefill 和 decode 数据，可直接比对选型。
Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra，改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下，GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒，缓存交接仅 38 ms 传输 358 MB，M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建，并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上，限制是 prefill 节点需装下完整模型，仅适用于 256GB 内可容纳的模型。
推荐理由：作者用真实负载实测拆分前后数据，并逐组件剖析预填充耗时构成，方法可迁移到自己的多机推理调优。
AtomicChat 将 OpenBMB MiniCPM-V 4.7 35B-A3B 的一个拒绝方向从原权重中投影消除，提供三种内置 GGUF 量化版本和一个 106 MB LoRA 适配器。在 held-out 提示上，英文拒绝率从 96.3% 降至 0%，俄语从 70% 降至 0%，MMLU 仅变化 0.25 分；20.1 GB 版本与原模型 top-1 一致率 94.5%。方法基于 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由：发布附上完整的消融方法与held-out测试数据，拒绝率、MMLU、KLD等前后对比都可复核，适合想自己动手去对齐的人参考。
Liquid AI 发布开放权重模型 LFM2.5-24B-A2B，总参数 24B、每 token 仅激活 2B，定位端侧快速、私有的推理智能体。模型在 16 项基准上与参数量约多 50% 的 Qwen3.6-35B-A3B 竞争，LiveClaw 得分 48.09 对 38.19，在 8 项工具与智能体基准中的 5 项领先或持平，并在全部 3 项指令遵循基准领先；M5 Max 上解码 184 tok/s，单张 B300 高并发下超 21K 输出 tok/s。
推荐理由：原文给出了完整的16项基准对比和端侧推理速度数据，可据此评估这款小激活参数MoE在工具调用场景的实际取舍。
Launch80 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-Int4-baked，将上游 ajgazin 的拒绝方向消融权重整体量化为 GPTQ INT4，lm_head 与 MTP draft 也压到 INT4，单卡 Intel Arc Pro B65 32 GB 可用原版 vLLM 服务 262,144 token 上下文。
推荐理由：原文给出拒绝率实测、困惑度与逐张量相对误差对比，读者可据此核验这个 INT4 去对齐版本的量化质量与解码速度。
/u/naklitechie 把上周的磁盘流式加载 MoE 专家方案接到 llama.cpp 自带的 WebGPU 后端，Qwen3-Next 80B-A3B（48.4 GB Q4_K_M GGUF）在 Chrome 标签页中成功运行，MacBook Pro M4 Pro 上加载 48 秒、解码 2.9 tok/s，并称是概念验证。方法是把 GGUF 一次性下载到浏览器 OPFS 私有存储，GPU 只保留稠密层、KV cache 和每层固定数量的专家槽位，路由选中的专家不在槽位时从磁盘按 LRU 换入；分页开关下 OLMoE 与 LFM2 各 9 段对话回复完全一致，对 Metal 后端 9 条中 4 至 8 条一致，差异来自 WebGPU 与 Metal 的舍入。
推荐理由：作者给出各模型的加载时间、解码速度和分页正确性对照数据，可据此评估在浏览器标签页里跑 MoE 的实际可用度。
作者发布 Basalt，一个面向 Qwen 3.8 Flash Next 的推理引擎，从 Strata fork 并针对 Blackwell 深度调优，仓库在 github.com/jesdga95/basalt。新增 --vision dynamic 模式让图像编码器平时驻留 RAM、空闲时几乎不占显存，图像到达时借用 expert cache 槽位上传编码器（约 30 ms）编码后再回填（约 60 ms），不发图即零开销且不影响文本性能；编码器用 Basalt 自带 kernel，速度最高达 llama.cpp 的 3 倍，并给出移植用的 commit（9bfb90a、a704c65、efd23d9）。
推荐理由：作者给出动态视觉编码器的具体显存与耗时数字，其他引擎可按提供的 commit 直接移植这套做法。
inclusionAI 发布 Ling-3.1-flash，一个原生混合推理模型，总参数 560B、每 token 激活 25B，支持 1M token 上下文窗口。模型采用 Hybrid-linear MoE 架构（KDA 与 Gated MLA 混合注意力、512 个专家激活 8 个），在 Terminal-Bench 4.0、SWE-bench Pro、GDPVal-AA V2.1 等 Agent、编码和医疗金融类基准上有提升，并提供了基于开源编码 Agent Pi 构建的 LingCode 评测 harness。官方给出 SGLang（含 MTP 推测解码）和 vLLM 的部署配方，支持 Claude Code 等框架调用。
推荐理由：官方模型卡同时给出架构规格、多基准评测和 SGLang 与 vLLM 的部署配方，方便读者评估并直接上手这个混合推理 MoE 模型。
Dodaios（前身 Personal Jarvis）维护者发布实录视频，在 RTX 5070 Ti 16 GB 上用 Ollama 分别以 qwen3.5:9b 和 qwen3.8 运行两个 Agent，写三份帖子草稿和回一封邮件，实际耗时分别为 71 秒和 116 秒。该应用 Apache 2.0 开源，支持 Windows、macOS 和 Linux，无账号无云端中转，含 Agentic IDE、本地 Whisper 语音、本地 wiki 记忆和 40+ 插件市场；本地模型自设角色和定时例程的工具调用均失败，9b 从未调用工具，较大模型重复调用列出例程的工具但未调用保存，8 分钟后回合结束；作者寻求 16 GB 下工具调用可靠的本地模型建议。
推荐理由：作者实测了两个本地小模型跑桌面 Agent 的真实耗时与失败点，指出了 16 GB 显卡下工具调用的具体局限。
Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein Base，一个 5.6B 开放权重文生图与图像编辑模型，支持最多 10 张参考图，文本编码器为 Qwen3-VL-4B-Instruct。该仓库为未蒸馏 base checkpoint，面向微调、LoRA 训练与研究；模型卡强调必须使用提示词上采样器，并给出 BF16/FP8/NVFP4 格式在 B200 上 31/29/26 GB 的峰值显存数据。模型采用 FLUX Kommunity License，非商业使用免费，年收入低于 500 万美元的合格用户可享商业输出例外。
推荐理由：官方模型卡写清了基础版与蒸馏版的分工、提示词上采样要求和各精度显存占用，方便读者选对 checkpoint 再动手。
Gautam Pachnanda 发布单二进制系统诊断工具 vitals 1.0.0，支持 macOS、Linux 和 Windows，无运行时依赖。核心命令 doctor 能关联 CPU、内存、swap、磁盘、GPU 等数据给出瓶颈结论和修复命令，llm fit 可计算本地模型完整放进 VRAM 的最大量化档位，并支持 Ollama、LM Studio、llama.cpp、vLLM 及 OpenAI、Anthropic 等云端端点的诊断。项目还提供 Prometheus 指标导出和 MCP server 模式，MIT 协议开源。
推荐理由：工具不只显示资源仪表盘，还能跨域定位瓶颈并给出具体修复命令，且能按 VRAM 容量推荐模型量化档位。
Science 报道，Google DeepMind 的 AlphaProof Nexus 独立解决了 353 个开放 Erdős 问题中的 9 个，其中 2 个已悬置 56 年，成果经同行评审。
GitHub 上的 bash-lmline 是一个 Bash/zsh 行编辑辅助工具，向 OpenAI 兼容接口请求命令候选并插入当前命令行缓冲区，不会自动执行。候选按风险分级插入，执行仅经 Ctrl-x Ctrl-f 修复路径、可选 command_run 工具或 lmline sandbox run 等显式路径；支持 LM Studio、Ollama、OpenAI、OpenRouter、Gemini 等端点，并可通过 GitHub Copilot Language Server 作为替代后端。
推荐理由：文档写清了候选插入不执行、风险分级和微沙箱执行路径，本地部署与隐私配置也可直接照搬。
modelsphere 在 GitHub 开源 LLM AutoTune，自动在用户 GPU 上为大模型寻找最优 serving 配置。支持 sglang 和 vLLM 的搜索空间、基于 LLMBench 统一基准测量并与生产基线对比，配置越过延迟或质量红线即被拒绝。策略以实现 HTTP API 的容器形式接入，自带随机搜索，状态存于 Postgres 支持；仓库基于 Apache 2.0 许可，提供无 GPU 的 kind 集群演示脚本。
推荐理由：原文给出了搜索策略、基准测量与红线机制的完整设计，可据此评估该工具对 sglang 和 vLLM 配置调优的适用性。
ready-eight 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版，源模型为 dealignai 对 zai-org/GLM-5.3 做权重编辑（非微调）的去对齐版本，总量 753B，文件 273 GiB。作者给出与 FP8 源的 KL 散度和困惑度数据，tau2-bench 对比显示 airline 差 -0.070、retail 差 -0.022，均无统计显著性；另提醒 glm4_5 解析器会把字符串参数 JSON 解码成整数，导致零售场景约 70% 工具调用失败，评测已应用该修复。
推荐理由：作者实测了该量化版与原版的 KL 散度和 tau2-bench 对比数据，可据此评估去对齐与量化带来的实际损失。
MorinoNushi 发布 GLM-5.3-Flash（320B 总参/18B 激活 MoE，MIT 协议）的去对齐 LoRA 适配器 V3，用 heretic-gguf 对量化 GGUF 权重做 Optuna 优化的方向性消融。有害提示拒绝率从 V2 的 35/140 降至 14/140（10.00%），KL 0.2380 也低于 V2 的 0.3030；适配器约 86 MB，无需改动或重新量化约 160 GB 基座权重，可直接在主线 llama.cpp 上以 --lora 方式加载，不再需要 fork 或补丁。
推荐理由：原文给出消融方法、拒绝率与 KL 前后对比数据，读者可以据此判断 V3 相对 V2 实际去掉了多少拒绝行为。
asterix004 发布 gpu-inference-platform，一套在 Kubernetes GPU 上服务开源 LLM 的可复现参考架构，含 GPU 级监控和每 token 成本基准，同一套 Helm charts 可通过仅改 Terraform 模块在 Nebius 与 GKE 运行。首个基准于 2026-10-12 在 Nebius（1 x L40S）完成，Qwen2.5-1.5B-Instruct 配 vLLM v0.31.0，并发 64 时输出吞吐 6,228 tok/s、p95 TTFT 586 ms、每百万输出 token 成本 $0.069，较单并发降 33 倍；吞吐在并发 64 时仍在上升，GKE 数据待补。
推荐理由：仓库提供可在 Nebius 和 GKE 复现的 GPU 推理架构与成本基准，首份 L40S 实测数据已给出单 GPU 吞吐与每百万 token 成本。
Northlatch Labs 开源 Kestrel，一个面向 Intel Mac 加 AMD 独显（含 Hackintosh）的本地大语言模型应用，内置 AMD 补丁版 llama.cpp 和 SwiftUI 界面。RX 6700 XT 上 Qwen3-8B 生成从 0.6-2.6 t/s 提升到约 61 t/s，支持多会话、Agent 工具与 MCP、OpenAI 兼容 API、图像生成（beta）和多 GPU 拆分；仓库地址 https://github.com/0xda7/kestrel，许可 GPL-3.0。
推荐理由：原文给出 RX 6700 XT 上各模型的实测算速和与 Apple Silicon 的对照数据，可以据此评估 Intel Mac 加 AMD 显卡跑本地大模型的可行性。
Cap-go 发布 @capgo/capacitor-llm 插件，支持 Capacitor 应用在设备端运行大语言模型，调用免费且数据不出设备。iOS 默认走 Apple Intelligence（需 iOS 26.0+），Android 用 Gemini Nano 或 LiteRT-LM .litertlm 模型包，Web 通过 @mediapipe/tasks-genai 加载 Gemma 4 web 模型。提供 createChat、sendMessage、setModel、downloadModel 等接口及流式输出、模型下载进度与就绪状态事件，并附 Capacitor v7/v8 兼容表和示例应用。
推荐理由：文档级 README 覆盖三端模型选型与后端参数，可作为在 Capacitor 应用里接入端侧 LLM 的直接参考。