方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。
推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版，1-bit 可在 128GB+ 内存设备运行，3-bit 需 256GB，全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新，官方基准显示推理、编码、Agent 和视觉任务均有提升，如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2；模型采用 MIT 许可，支持 1M token 上下文，需使用 llama.cpp PR 或 Unsloth Desktop 运行，prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由：官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比，以及量化档位对应的内存需求，可据此评估该版本的实际收益。
vedevpatel 发布 rajaykumar12959/qwen3.8-27b-abliterated 的 imatrix GGUF 量化，该模型移除了拒绝行为，可回答原版 Qwen3.8 拒答的请求，目标在 16 GB 显存上用 llama.cpp 运行。每个量化均与 BF16 原版对比：MMLU-Pro（4200 题、5-shot、thinking off）差异均在 95% 置信区间内不显著，BF16 为 79.60%；WikiText-2 KL 散度显示 IQ3_M 漂移比 4-bit 量化高 3.3–3.8 倍。
推荐理由：作者对每个量化版本都给出了与 BF16 原版的 MMLU-Pro 和 KL 散度对比，还实测了 16 GB 显存下的上下文与速度表现。
clocksmith 发布 doppler，一个通过 WebGPU 在本地执行模型的 JavaScript 库，支持生成、嵌入向量、重排序和选择打分，并按模型和主机分别验证。提供 npx --package doppler-gpu@0.6.1 的 quickstart（模型 gemma3-270m），浏览器与 Node 支持分开验证；模型目录涵盖文本与多模态生成、扩散语言模型、翻译、嵌入、重排序、蛋白质与核苷酸编码器，对比记分板将吞吐与加载分开报告，W8A8 仍为实验性，选择分数未校准，许可证为 MIT。
推荐理由：原文给出 quickstart 命令、支持矩阵与按模型和主机限定的验证方式，读者可据此评估在浏览器或 Node 里跑本地模型的可行性。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
GitHub 开源项目 openai-api-bridge 提供一个 OpenAI 兼容的 HTTP 网关，把 ComfyUI、Venice.ai、ImageRouter、OpenRouter、fal.ai 及任意 OpenAI 兼容后端（llama-server、vLLM 等）聚合到单一端点，支持 /v1/{models,chat,embeddings,images,videos,files} 等标准路由，对不兼容的上游做协议翻译，兼容的则直接透传。
推荐理由：仓库文档详细说明了各家非 OpenAI 兼容后端的翻译差异和部署注意事项，可作为自建多后端统一网关时的参考实现。
开源项目 Open Foresight 发布，复刻 Google 2026 年 10 月发布的 macOS 离线会议笔记应用 AI Edge Foresight，并扩展到 Linux 和 Apple Silicon Mac。它用 Gemma 生成本地答案与笔记、EmbeddingGemma 做来源检索、Whisper 做本机转录，带引用校验的问答、会议 Live Q&A 与 MCP 服务器，MIT 许可，普通生成全部保持本地推理；macOS 的 CI DMG 目前缺少推理运行时，还不是完整可用的发布版本。
推荐理由：项目完整公开了逆向复刻 Google 闭源应用的方法与验证账本，读者可以借此学习一套跨平台复刻与本地推理落地的可迁移做法。
作者为 llama.cpp 实现了自适应 KV 流式传输并移植到 ROCm/HIP，使 Qwen3.8-27B（IQ4_XS 权重、Q8_0/Q4_0 KV cache）在单张 16GB RX 9070 XT 上跑满 262,144 token 上下文，解码达 80+ t/s。完整 262k KV cache 约需 7.4 GiB，方案将完整缓存保留在主机内存，通过 PCIe SDMA 异步流式传输约 450 MiB（prefill）和约 2,100 MiB（decode）的工作集，并融合 stew675 的 RDNA 4 内核优化、兄弟激活复用、融合 RMSNorm、MTP 投机解码等改进。
推荐理由：作者给出了各上下文长度下的解码与预填充实测数据，以及功耗限制下的对比，可复现到 AMD 单卡本地部署。
一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预，分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token，就能恢复 90.5% 的 pass@1 增益；强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益，开头之后的后续替换再增加 5.2 个百分点，而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题，高于 RL 模型的 61.4%，同时保留较多 base 模型多样性；比较基于相同尝试次数而非相同算力。
推荐理由：论文用生成时干预把 RLVR 增益拆到具体 token 决策层面，结论对理解 RL 训练到底改变了什么有参考价值。
论文介绍 Muse Glimmer，一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型，集多步推理、工具调用与失败恢复于一体，支持文本与图像输入，训练数据覆盖一百多种语言，量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B，模型以 Apache 2.0 许可发布。
推荐理由：论文给出30B级端侧Agent模型在同尺寸模型上的基准对比，对关注本地部署智能体的人有参考价值。
bernard8209 发布 self-hosted-ai-stack 仓库，用 Docker Compose 一键部署本地 AI 栈，集成 Ollama 推理、AnythingLLM 聊天界面、LiteLLM 网关、Whisper 语音转写、Kokoro TTS、Docling 文档解析和 MCP 工具等服务。默认密码保护并自动生成 API 密钥，支持 NVIDIA CUDA 加速与 linux/amd64、linux/arm64 双架构，另提供最低约 4.5 GB 内存的轻量组合，如 chat-only、rag-pipeline、voice-pipeline 等，并附部署、安全、备份与升级指南。
推荐理由：README 给出了各服务端口、内存占用和轻量组合清单，读者可按 4.5 GB 起的配置挑选需要的自托管方案。
DeepSeek 发布 DeepSeek-V4.1-Flash-1017，是 DeepSeek-V4.1-Flash 的小版本更新，在推理、编码、Agent 任务和视觉基准上大幅提升，同时缩短任务执行时间和输出长度，推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3（上一版 31.2），Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板，改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包，支持 1M tokens 上下文窗口、max_tokens ≥ 256K，推荐 temperature 1.0、top_p 1.0，采用 MIT 许可证。
推荐理由：技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据，并附推荐采样参数与推理工具链，方便本地复现。
GitHub 用户 nullmoth 开源了面向 macOS Sequoia 的 NVIDIA GeForce Metal 驱动，非翻译层，支持 Metal 3 的 argument buffers tier 2、光追、mesh shaders 和 MetalFX，覆盖 Turing 及更新架构（GTX 16、RTX 20/30/40/50 系列），底层用 NVIDIA 开放内核模块加着色器转换到 Mesa NVK Vulkan 路径，项目为 Rust 编写、已有 3k+ stars。配套工具 1401 可在 Windows 上检测硬件、生成 OpenCore 配置并写入 macOS 安装盘。
推荐理由：原文说明了该 Metal 驱动的实现路径和已验证范围，读者可据此评估在 PC 上跑 macOS 跑本地推理的可行性。
hranicka 在 GitHub 发布 llm-gateway，一个 OpenAI 与 Anthropic 兼容的代理，按请求中的 model 字段按需启动和关闭本地模型后端，用顺序切换解决消费级显卡 VRAM 只能装一个量化模型的问题。它支持 /v1/chat/completions、/v1/messages、/v1/responses、图像生成与编辑端点，可代理 llama-server、vLLM、ExLlamaV3、sd-server、ComfyUI 等后端，并利用 ROCm/CUDA/Metal 编译目标与 flash attention 等原生运行时参数。
推荐理由：作者给出了单槽 VRAM 下按需切换模型后端的具体做法，并附 EXL3 与 GGUF 的实测速度和困惑度对比数据。
xbmaxx 发布 workbuddy-bridge，将官方腾讯 CodeBuddy CLI 通过其非交互模式适配为 OpenAI 兼容的 /v1/chat/completions 端点，无需 API key，仅允许 x0.00 免费模型（如 deepseek-v4.1-flash、hy3），并设三层防护防止误耗 credits。项目解析 CLI 文本输出还原原生 tool_calls，覆盖七种实测输出形态；实测相对 DeepSeek 官方 API 每轮增加约 2.4 秒固定开销，来自进程启动、CLI 初始化和额外一跳网络。支持 SSE 流式与 reasoning_content 展示，项目地址 https://github.com/xbmaxx/workbuddy-bridge。
推荐理由：作者实测了桥接层相对 DeepSeek 官方 API 的延迟开销，并给出 2.4 秒固定成本的构成拆解，方便读者判断是否值得本地部署。
独立开发者发布安卓轻量级 AI Agent 运行环境证道，当前版本 v2.1.2（2026-10-16），在 PRoot 的 Debian 13.7 环境中一键运行 Hermes Agent，并支持终端自装 Claude Code、OpenCode、AGY CLI。门槛为 Android 16（API 36）加 arm64；README 详述 targetSdk 从 28 抬到 36 的技术路径及其导致内置 OpenCode 被弃用（error=13），首次安装需下载约 200MB RootFS，Agent 智能来自云端 API，不提供本地模型推理。
推荐理由：README 真机记录了 targetSdk 36 抬升的原理与代价，安卓免 root 跑 Claude Code 等官方 Agent 的做法可直接参考。
cdxDNRF 在 GitHub 发布 custom-llm-gateway，将 CodeBuddy、WorkBuddy、TRAE、Qoder 的订阅额度包装成本地 OpenAI 兼容 API，聚合端点共 72 个模型，带 Web 控制台。项目复用 dsh-codearts-auth 插件 58,279 行代码且一行未改，自有代码约 3,000 行，支持 OAuth 登录、多账号池、一键签到、限流自动换号和静默续期，每个供应商独立端口与账号池。作者提示该做法模拟官方客户端调用未公开接口，可能违反上游用户协议导致限流或封禁，建议勿用主账号。
推荐理由：原文给出端口布局、协议转换实现和实测记录，读者可以照着把多个订阅额度接成 OpenAI 兼容 API 自用。
MiniMax 发布 MiniMax-M3.1-Flash，一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型，总参数约 428B、每 token 激活 23B，支持文本、图像、视频输入，上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练，以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。
推荐理由：官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比，并说明评测设置，读者可据此自行评估实际水平。
开源工具 gguf2mlx 新增 Qwen3VLTextEncoderConverter，可将 Qwen3-VL-8B 的文本条件组件转换为 BF16 safetensors，保留多模态 RoPE 分段和视觉 token ID，默认 BF16 输出，FP32 解码避免 FP16 溢出。工具面向 Apple Silicon Mac，把 GGUF 模型转成 MLX-LM 兼容的 HF 风格目录，支持 LLaVA、Qwen2-VL 和 MiniCPM-V 4.7 的 VLM 适配器、显式 direct-quant 4-bit 量化及 .mlx 打包与 SHA-256 校验。仓库明确声明文本转换未经真实推理的隐藏状态或画质验证，不支持安静降级精度，未知架构直接失败而非回退。
推荐理由：README明确区分已验证与未验证的转换边界，并把Qwen3-VL文本编码器的精度和mRoPE保留写清楚，适合想在Mac上做GGUF转MLX的读者。
BoldingBuilds 发布 Meta Muse Spark Open（816B 总参数 / 42B 激活）的无审查 abliterated 版本，直接在 Unsloth UD-IQ1_S GGUF 上原位编辑，全程不做 BF16 反量化。拒绝率从原版 85.06% 降到 1.30%（StrongREJECT 留出集），ForbiddenQuestions 上从 60.00% 降到 0.00%，XSTest 过度拒绝保持 0%，MATH-30 为 25/30 对原版 26/30。方法为对 62 层中第 10-53 块做读写侧投影（λ=1.0，每块单独估计拒绝方向，共 61 个方向），编辑 309 个张量、256 个路由专家未动，λ=0 时输出与输入字节一致作为自检门槛。
推荐理由：原文给出拒绝率前后对照与逐块方向估计方法，读者可据此判断这个去对齐版本实际去掉了多少、代价多大。