方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
作者用两台 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X X1-26-100，32GB LPDDR5，无 GPU）以 USB4 相连，实测 llama.cpp、Janas 和自研 ToRc 引擎跑量化模型的读写速度。统一测试负载下，ToRc 双机跑 Qwen3.6 35B A3B Q4_0 达 315/43.3 tok/s（读/写），编码对话 59.6 tok/s；95GB 的 Qwen3.8 Flash Next IQ4_NL 靠 NVMe 流式读取专家权重，双机达 46.2/20.3 tok/s。MTP 加速依赖文本类型，代码任务普遍提速而 Alice 散文上 llama.cpp 反而变慢。整套方案约 £600、负载功耗各约 35W，ToRc 引擎尚未发布。
推荐理由：作者在两台 300 英镑的骁龙迷你主机上实测多款推理引擎跑 Qwen 大量化模型的读写速度，并给出统一测试负载和完整数据。
AtomicChat 发布 inclusionAI/Ling-3.0-flash-Sante（127B bailingmoe3 医疗模型）的 abliterated GGUF 量化版，用投影 rank-1 LoRA 移除单一拒绝方向并烘焙进权重。在 W* 点实测：英文有害指令拒绝率 0.0%，俄语误拒率 3.0%（较基线降 1.2 pp），MMLU 基本不变，对基线 BF16 的 KL 为 0.060，工具调用 20/20 有效。注意开启思考模式时拒绝率仍约 40%，建议关闭思考模式使用；提供 IQ4_XS（约 78 GB）与 IQ3_S（约 61 GB）两种量化，MIT 许可。
推荐理由：原文给出消融方法与拒绝率、MMLU、KL 等前后对照数据，还提示思考模式下拒绝率仍高，读者可据此判断实际效果。
candor-lab 在 Hugging Face 发布 Qwen3.8-27B 的去对齐版本 Qwen3.8-27B-Candor-Uncensored-GGUF，用其自研权重编辑工具 Candor 移除原版的拒答方向，以单一 Q4_K_M GGUF（16.81 GB）形式在 llama.cpp 上实测。方法是对 26-63 层注意力输出矩阵和 22-56 层 MLP 输出矩阵做 rank-3 修改（共 73 个矩阵），经 600 次搜索试验筛选。实测显示：288 个 StrongREJECT 有害提示下原版拒答 281 次，该模型仅 1 次（8B 判官口径）；300 个无害提示拒答 2 次、GSM8K 答对 1287 题，与原版差异不超噪声；KL 散度 0.038。
推荐理由：原文给出了消融方法的层级改动细节和与原版、huihui-ai 版的拒绝率与 KL 散度对照数据，可据此评估这个去对齐版本的实际取舍。
Kapitsa 贡献者 Ye 发布 0.2.7 版本，针对老款 Apple Silicon 芯片优化，并在 2021 款 MacBook Pro 14（M1 Pro、16GB）上对六个模型做了与同机最快竞品引擎的基准对比。Qwen3.5 4B/9B 解码达 97.2/56.8 tok/s，分别为 mlx-serve 的 1.56×/1.52×；Qwen3.6 35B-A3B 2-bit 达 52.2 tok/s，解码 1.21-1.35× llama.cpp；六个模型峰值内存均低于对手，Dory 4B 为 4.4 vs 11.5 GB。Nemotron Dory 4B 长上下文解码被 mlx-lm 反超，作者已开 issue 跟进。
推荐理由：作者给出六个模型在 16GB M1 Pro 上与最快竞品的逐项对比数据，含长上下文衰减和内存占用，可复现可查证。
开源推理引擎 capy-flash 发布 v0.7.1，让 Qwen3.8-Flash-Next（125B MoE）在 64 GB 内存加一或两张 16 GB GPU 上运行，双卡实测 234 tok/s；Qwen3.8-27B 3-bit 版可放进单张 16 GB 卡（174 tok/s，64k 上下文）。Flash-Next 的 routed experts 直接使用 ISTA-DASLab 的 GSQ-RCO 3-bit 量化（约 48 GiB 驻留内存，峰值约 57 GB），27B 的 3-bit 量化 MMLU-Pro 从 0.78 降至约 0.72，GSM8K 与 NVFP4 持平；代码与权重见 https://github.com/ValerioDolci/capy-flash。
推荐理由：作者给出了具体显存占用和双卡实测速度，还附上 3-bit 量化与 NVFP4 的质量对比数据，方便判断取舍。
GitHub 用户 abidaziz1 开源了 LLM Infrastructure, Animated，一个包含四个动画课程的交互式网页项目，共 81 个场景，展示一次 AI 回答如何生成。课程覆盖从键盘到 GPU 的完整链路、Claude Code 背后的 Agent while 循环、Prompt Caching 的 KV cache 与缓存分层原理，以及 token 为何耗时 30 ms 的 prefill 与 decode 差异。项目用纯 HTML、CSS、JavaScript 和 SVG 构建，无框架无构建步骤，打开 index.html 即可运行，支持滑块交互、测验、深浅色主题、reduced-motion，并附带基于 Playwright 的 headless Chromium 场景测试。
推荐理由：用纯 HTML/CSS/JS 做的四个动画课程，把一次 AI 请求从按键到 GPU 的完整链路拆成 81 个可交互场景，无需安装即可在浏览器打开。
作者开源 agents-per-gpu 仓库，在单张 48 GB A40 上以 Agent 形态负载实测 vLLM 0.32.0、SGLang 0.5.9 和 TensorRT-LLM 1.2.1 服务 Qwen3-4B 的并发容量。开启 prefix caching 后三个引擎均能承载 6 个并发 Agent 会话，关闭时仅 2 到 3 个，且每任务成本降至原来的三分之一到五分之二；8 秒 step SLO 下 SGLang 以 4 个会话领先。INT4-AWQ 量化的 Qwen3-8B 在工具调用精度持平的情况下比 BF16 的 4B 承载更多 Agent。所有数字可用 apg report 从 results/ 复现，方法与细节见 reports/REPORT.md。
推荐理由：作者在单张 A40 上实测三种推理引擎的 Agent 并发容量，并给出 prefix caching 带来的容量差和每任务成本数据。
yfHHHE 发布 emoji-native-lm，基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调，对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息，由 Claude Opus 生成并回复，覆盖 1,915 种 emoji；666 条评测提示下经 wrapper 的回复 100% 合规，首轮采样合规率 98.9%，而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF（1.8 GB q8_0）及 Python wrapper 部署方案，代码采用 Apache 2.0 许可。
推荐理由：仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据，读者可以照此复现并借鉴其偏见修正做法。
openserbia 在 GitHub 发布 go-llm，一个用于 OpenAI 兼容推理端点的 Go 客户端库，零标准库外依赖，要求 Go 1.27。库会从后端错误响应和返回字节中检测 LM Studio、Ollama、vLLM、llama.cpp、text-generation-inference 各自缺失的 API 部分，并按 json_schema 到 json_object 到无 response_format 的顺序降级而非失败，结构化输出被后端忽略时视同拒绝，被 token 预算截断时返回 *llm.TruncatedError 提示调高 MaxTokens。
推荐理由：这个 Go 客户端把各自建推理后端实现 OpenAI API 时的差异集中处理，降级策略和截断、溢出的区分写得很具体，对自托管部署有参考价值。
作者发布 intel-arc-local-ai 仓库，在同一台机器上逐卡实测 Intel Arc Pro B50 16GB（¥3,499）、B60 24GB、B65 32GB、B70 32GB 四款显卡的本地 AI 表现，涵盖 llama.cpp on SYCL 的 Qwen3.6-35B-A3B Q4_0 解码（37.6/52.4/53.1/75.9 tok/s）、Qwen-Image 2.1 与 MiniMax H3 视频生成速度、整卡功耗（B70 满载约 290 W）及每任务电费。
推荐理由：作者用同一台机器只换卡的方式实测四款 Intel Arc 显卡，给出性能、显存与电费三个维度的对照数据，也标注了未测项。
CWHISME 在 GitHub 发布跨平台桌面 AI 助手 UiharuMind，通过 llama.cpp 本地运行 GGUF 模型，也可接入任意 OpenAI 兼容 API。支持 Agent 模式（文件读写、shell、联网搜索与工作区文件夹）、角色扮演角色、群聊托管模式、截图 OCR、剪贴板历史、本地语音合成识别与图像生成，权限分只读、自动编辑、全自动三级，数据存于 ~/.uiharu，采用 Apache-2.0 许可证，当前版本为 -alpha。
推荐理由：README 完整列出了本地推理、Agent 权限分级、群聊托管和快捷工具的实现方式，可按需评估是否引入。
MUSE-CODE-SPACE 发布 toolcall-rescue，一个零依赖的纯标准库 Python 包，用于在结构化 tool_calls 字段为空时，从 qwen2.5、Gemma、Kimi、MiniMax 等本地或小型模型以纯文本输出的消息内容中恢复工具调用，支持 Ollama、llama.cpp、vLLM、LM Studio 等 OpenAI 兼容端点。
推荐理由：这是一个可直接落地的本地小模型工具调用抢救库，安全模型讲得清楚，还交代了为何框架核心拒绝收编这一层的取舍。
开发者发布开源免费的 Windows 助手 Cephi，按 Ctrl+Alt+Space 即可语音或文字操控整台电脑，支持播放 Spotify 音乐、打开系统设置、划词翻译、截图提问和笔记管理。可接 Ollama 本地模型让数据不出本机，也可用自己的 Claude、Gemini 或 OpenAI 兼容 API 密钥，支持接入任意 MCP 服务器或用一个 JSON 文件添加自定义工具，MIT 协议开源。
推荐理由：开源 Windows 语音助手 Cephi，仓库把本地 Ollama、MCP 工具扩展和快捷键体系讲得相当完整，适合想自建本地 Agent 的人参考。
atrezonator 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 EfficientThink 无对齐版本，经 SFT 与 SimPO 后训练，拒答评测为 10 类 140 条提示中 4/140（2.9%）。同协议对比显示 SimPO 后 GPQA 升 3.54pp、LCB 升 5pp、MMLU 降 1.80pp；仓库提供 GGUF 六档、NVFP4、INT8-W8A8-QAT、AWQ-W4A16、静态 FP8 等多套量化包及 DFlash2/MTP draft，并附 DGX Spark 与 RTX PRO 6000 上的冻结实测成绩。
推荐理由：原文给出拒答率 4/140 的实测数据和 SimPO 前后 GPQA/MMLU/LCB 对比，读者可据此判断去对齐与能力保留的实际代价。
作者发布 WhisprFlow，一个在本地运行的 Windows 和 macOS 语音听写工具，按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色，无需账号和订阅；11 秒听写端到端约 1.7 秒（i5-13500HX + RTX 4050 实测），支持 Qwen3-ASR 处理多语言，词典从用户听写中学习术语拼写，代码 MIT 许可，macOS 代码路径保留但未测试。
推荐理由：原文给出实测延迟、模型选型对比和架构细节，读者可以据此评估这套本地语音听写方案是否适合自己复现。
nvkudva 发布开源 CLI 工具 omni，在 127.0.0.1:10000 用一个网关统一运行和代理本地模型，应用按 chat、decide、embed、image、video、stt、tts 等角色调用而非模型名，兼容 OpenAI 格式，改 base_url 即可用 OpenAI SDK 接入。各角色独立进程运行并带健康检查与自动重启，空闲 10 分钟自动卸载模型，可钉住常驻；Apple Silicon 上 chat 约 140 tok/s（qwen2.5:3b）、warm embed 0.03–0.15 s、tts 约 12 倍实时，还附带浏览器 playground 可查看每角色的实时请求日志。
推荐理由：原文给出完整的架构说明、各角色默认模型与 Apple Silicon 实测数据，读者可以据此评估这套单端口本地推理网关是否值得部署。
akapug 发布 homelab-atlas 仓库，用 2017 服务器、2019 工作站、Ryzen 桌面等四台旧机器实测本地大模型部署，如 DeepSeek V4.1 Flash（748B MoE）在 RTX 6000 + Optane 上解码 12.69 tok/s，GLM-5.3-Flash 在 3090 Ti 上达 26.69 tok/s。仓库提供 PATCHES.md 补丁索引、按硬件分类的复现命令、失败记录，以及浏览器端 Recipe Maker 规划工具，用于在下载权重前预判 MoE 模型在 VRAM、DRAM、PMem 上的布局与速度。
推荐理由：用二手服务器、老工作站和Intel冷门卡跑通大MoE模型，每个数字都附条件、命令和补丁来源，方法可直接照搬。
BlackoutOps 项目发布，目标在断网的边缘设备 Jetson AGX Thor 上全本地运行大模型推论与小型 RAG，做出能自主诊断修复 IT 故障的 Agent，开发验证机为 NVIDIA DGX Spark（GB10，128 GB unified memory）。2026-10-20 起正式推论引擎由 TensorRT-LLM 改为 vLLM，跑 Nemotron-3.5-Bolt-74B-A9B-24GB（Spark 舞台用 Nemotron-3.5-Lightning-30B-A3B-NVFP4，DSpark speculative decoding 下 decode 提速 27–49%）。
推荐理由：项目给出了完整的部署架构、故障目录规模和多轮实测数据，读者可据此了解全离线自我修复运维 Agent 的工程做法。
/u/Dodgy_Past 在 Reddit r/LocalLLaMA 发帖，自建包含 44 个真实 bug 的测试集，让 Qwen3.8 27B 与 Gemma 4 31B 在两张消费级显卡上多轮辩论修复方案，得分 38/44、5 个假通过，而两模型单独作答为 31 和 30 分，也超过了 Nemotron 3.5 Super VL 120B 等更大的 MoE。增益主要来自约六个两模型各自都解不对的案例，但假通过几乎未改善（从 6 降到 5）；作者还发现共享完整推理与只共享提案没有可测差异，每题约花 6 次模型调用和 5 分钟 GPU 时间。
推荐理由：作者自建44个真实bug的测试集，实测两个中型模型辩论修复比单独作答和更大的MoE都更准，并给出假通过率与成本数据。
orcarouter 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 去对齐（abliterated）版的 GGUF 量化权重，提供 Mix-256G（235.8 GB 内存占用）与 Mix-128G（114.0 GB）两种构建，基于 763B 参数 MoE 模型，含 197B 参数 Engram n-gram 表常驻 SSD。去对齐后 500 条有害提示拒绝率加权均值从 0.874 降至 0.074，过度拒绝从 0.069 降至 0.006，MMLU 保持 0.91 左右不变。
推荐理由：原文给出实测 KLD、拒绝率与 MMLU 前后对比，读者可据此判断这个去对齐版本到底去掉了多少、能力是否保留。