方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
作者更新其针对 Qwen3.8-27B 的 CUDA megakernel 引擎，单张 RTX 3090 上写代码速度 140 tok/s，对比 llama.cpp（含 MTP）的 73 tok/s 快约 1.9 倍。精度方面与 llama.cpp 的 KL 散度为 0.0009，1K 上下文困惑度 2.4274 对 2.4283，作者称无可测质量损失；投机解码为精确采样。仅支持 24 GB 以上 RTX 30/40/50 系列单卡，目前只在 3090 上调优，代码与基准见 https://github.com/L-Forster/open-jet/tree/master/megakernel。
推荐理由：作者补充了与 llama.cpp 的 KL 散度和困惑度对照数据，本地部署用户可据此评估这个 3090 单卡加速引擎的精度与速度取舍。
Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本，发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内，而自建的 112 次运行 agentic 编码基准（隐藏测试、AST 注入 bug）拉开差距：27B NVFP4 解题 77%，Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致（69% vs 82%，McNemar p≈0.007），OpenCode 等测试框架的选择对结果影响也很大，Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。
推荐理由：作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距，方法与数据都可复用。
开源项目 Latentry 发布，这是一个运行在本机的隐私优先图像生成 Web UI，可调用自带 diffusers 引擎或 A1111、ComfyUI、diffusers 后端，支持 txt2img、img2img、inpainting 和 3D 骨骼姿势控制。每张图保存时嵌入生成设置，图库支持按 prompt、model:、seed:、steps:>=30 等条件检索并回填参数，内置 WD14 打标签，无遥测、默认只监听 127.0.0.1，需 Node.js 22.19+，MIT 许可。
推荐理由：项目把生成、带嵌入设置的图库检索和 WD14 标签串成一套本地流程，隐私设计的具体做法对想本地跑图的人有参考。
Adolphsson 发布 DeepSeek-V4.1-Flash-UNCENSORED 的 GGUF 量化版本，基于 dealignai 对 deepseek-ai/DeepSeek-V4.1-Flash（552B MoE，1M 上下文）的权重级 abliteration 结果转换。提供 Q8_0（508 GB）、Q4_K_M（449 GB）、Q3_K_M（374 GB）三种量化及 BF16 视觉 projector，Q4/Q3 为从 Q8 两步 requant，敏感层用 Q5/Q6/Q8；模型推理电路已按 OrcaSAQ 风格做敏感度感知量化，完整 1M 上下文（KV 约 890 bytes/token）。
推荐理由：不只放出去对齐权重，还给出逐量化的拒绝率与 NIAH 实测和 CPU 部署配方，读者可据此评估质量损失。
GitHub 仓库 MaratG2/LocalAtelier 发布，提供 MIT 许可的本地创作工作台，在自有 NVIDIA GPU 上组织项目并生成图像、带纹理 3D 物体和带立体声的视频。集成 Qwen-Image-2.1（INT8，约 17.3 GB）、HiDream O1（SDNQ 4-bit，约 10.7 GB）、TRELLIS.2 图生 3D（Q8，约 10 GB）和 VDN-H3/MiniMax H3 视频生成（约 56.7 GB），支持 GLB/glTF/OBJ 等导出；目标机器为 RTX 5060 Ti 16 GB 配 32 GB 内存，图像模型安装约需 55–65 GB 空间，队列为单任务运行、最多接受四个任务。
推荐理由：仓库 README 给出各模型磁盘占用、硬件要求和队列限制等具体细节，想在自己 GPU 上跑图像、3D 与视频生成工作流的读者可以据此评估。
dadwritestech 发布开源工具 LlamaForge（MIT 许可），在浏览器中驱动 llama.cpp 官方 llama-server，提供模型加载、VRAM 适配评估、全部 200+ 服务器参数的界面化管理。支持一键安装（Windows/Linux/macOS）、llama-tts 语音、MCP server 接入 Claude Code 等智能体，并提供与 LM Studio、Ollama 的功能对比表；目前为早期预览，Windows + NVIDIA 是测试最充分的路径。
推荐理由：作者讲清了它如何驱动官方 llama.cpp 路由器、覆盖全部服务器参数，并与 LM Studio、Ollama 逐项对比，方便判断是否适合需要掌控感的本地部署用户。
OpenMOSS 在 Hugging Face 发布 MOSS-Image 系列的基座文生图模型 MOSS-Image-Base，支持自然语言提示词、标签序列和 JSON Layout 控制文字与物体排布，权重和推理代码以 Apache 2.0 许可开放。正文给出 diffusers 快速上手代码（transformer 与文本编码器用 bfloat16，VAE 用 float32，捆绑 FLUX.2 small 解码器的 VAE）、默认采样设置（Flow-matching Euler、50 步、CFG 3、负分支跳过第 22 层），并对比了 Base 与 SFT 版本在同一示例上的文字分组与白板排版差异；另提供 ComfyUI 原生插件和面向 agent 的提示词增强 skill。
推荐理由：原文给出了完整的推理代码、采样参数和 Layout JSON 格式，读者可以直接在本地复现这个文生图基座模型的用法。
h1neolzr7f 发布 Manga-NAI-GPT，一个基于 Manga Editor Desu 的漫画编辑器，把改字幕、去字、抠图、分层、换角色、画一页等常见工作做成按 1-2-3 操作的任务卡。文字识别与去字等在本机 CPU 免费运行，换角色和 AI 生图需自行配置 OpenAI 兼容图像服务与 NovelAI，所有修改以新图层保存并支持 Ctrl+Z 撤销。项目以 GPL-3.0 许可开源，已知限制包括复杂多人画格换角色不稳定、本机 AI 首次人物识别需 20-60 秒。
推荐理由：README 写清了每项任务所需的本机或云服务、三步安装方式和已知限制，想离线改漫画的人可以按需判断是否适用。
开发者 shreyvijayvargiya 开源 TubeLog，将 YouTube 频道或单个视频的字幕抓取为本地 Markdown 文件，文件系统即数据库，不经托管存储。同步可从公开频道页与 Innertube 续拉视频，内置 100 个科技、编程、AI 等分类频道，每轮默认归档 20 条新视频且幂等去重；可选通过 OpenRouter 生成教育博客（默认模型 google/gemini-2.5-flash）、六图 Instagram 轮播，以及翻译加 AI 配音并用 ffmpeg 合成本地配音视频，提供 Vite + React 仪表盘、Hono HTTP API 与 CLI 三种入口。
推荐理由：README 完整给出命令、API 路由和架构说明，想搭本地 YouTube 知识库的读者可以照着直接跑通全流程。
EchoMuse 在 GitHub 发布，可把二手 Amazon Echo Dot 2 代刷成 Home Assistant 的本地语音卫星，无需 Amazon 账号、Alexa 或云服务，麦克风、扬声器、LED 环和按键均可用。需先用 R0rt1z2 的 amonet-biscuit 解锁，控制器以 Home Assistant add-on 或 Docker 运行，支持唤醒词、barge-in、多 Dot 协同、自定义唤醒词和 WiFi OTA 更新。目前仅支持 Echo Dot 2 代，Echo Dot 3 等型号移植中；作者说明项目大部分代码由 Claude 协助编写。
推荐理由：把闲置的 Echo Dot 2 代改成本地语音助手，硬件门槛、解锁步骤和已知问题都写得具体，动手前可以先看。
Reddit用户/u/Ok-Breadfruit-3523用4张单价不到$100的BC-250矿卡板、通过llama.cpp加Vulkan和RPC组成本地推理集群，跑Next Flash IQ3_XXS在100k上下文下维持约60-70 tok/s，或同时跑2个Qwen3.6-35B-A3B实例达约145 tok/s、可用上下文约258K。借助Claude Code做的优化包括MTP草稿头的投机解码链、Vulkan图录制重放、针对架构的定制kernel与上下文checkpoint本地复制，整体功耗负载下600-900W，下一步计划给每块板加装AIO水冷。
推荐理由：作者完整记录了4张矿卡集群的优化路径、实测速度与功耗，方法可迁移到类似多板推理部署场景。
开发者在 GitHub 开源了 Hetu，一个本地优先的 AI 知识与 Agent 工作区，Markdown 笔记、聊天和编码会话共用一个存储，配合向量索引、知识图谱、长期记忆与任务工作流。支持基于 Git worktree 的隔隔离编码会话、MCP 工具接入、知识图谱抽取与 Dream 记忆整理，数据与模型调用全部留在本机，可用 SQLite + sqlite-vec 或 PostgreSQL + pgvector 存储，并提供 Tauri 2 桌面端，采用 Apache License 2.0。
推荐理由：项目把笔记、对话、代码会话和长期记忆放进同一个本地知识库，可直接部署复现，适合关注本地优先 Agent 工作流的人参考。
GitHub 上开源的 perf-agent-lab 是一套 agentic 性能测试流水线：每晚拉取目标应用最新代码，先做健全性测试，失败时由 LLM 智能体修复 Locust 脚本（最多 3 次），再跑 1 分钟 250 并发负载测试，并把延迟尖峰和错误关联到日志、源码和最近提交，报告发布到 GitHub Pages。8 步中 6 步为纯代码，无新提交即跳过，默认用 Groq openai/gpt-oss-20b，任意 OpenAI 兼容端点均可；示例在 JPetStore 上发现 POST /order/new 并发下的非原子读增序列竞态。
推荐理由：开源了一套夜间自动性能测试流水线，8 步里 6 步不调模型，读者可借鉴其按需调用 Agent 和证据驱动分析的做法。
gyang274 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 FP8 量化版，权重为 FP8 E4M3、128×128 分块，保留 MTP head 和 vision tower，检查点 28.75 GiB。与官方 Qwen3.8-27B-FP8 对比只有 70/1,606 张量不同，且全部是写入残差流的 rank-1 编辑；SGLang v0.5.21 评测中 HumanEval 95.7%（官方 98.2%），GSM8K 前 200 题 94.5%（官方 97.5%），15 条易拒 prompt 中 0 拒绝（官方 2 partial），单流解码约 62 tok/s。完整笔记与脚本见 github.com/gyang274/ms-Qwen3.8-27B。
推荐理由：作者量化了去对齐模型并给出与官方权重的逐张量对比和评测数据，读者可以看到去对齐编辑的具体痕迹和性能代价。
Reddit 用户 /u/somthing_tn 发布了 Linux 本地语义文件搜索工具 Recall（MIT 协议，https://github.com/pdstn12/Recall），可索引 PDF、Office 文件、扫描件、截图、音视频并按内容检索。EmbeddingGemma 2 通过 llama.cpp 进程内运行（CUDA/Vulkan/CPU）将文本、图像、视频帧和 30 秒音频窗口嵌入同一向量空间，检索采用向量相似度加 SQLite FTS5 混合排序，OCR 用 PaddleOCR，引擎为 Rust、界面为 GTK 4，无 LLM 且模型下载后完全离线。
推荐理由：作者自建的本地语义文件搜索工具给出了完整技术栈和实测数据，方案思路可迁移到类似本地检索场景。
arthurbm 在 GitHub 发布 berth-ai，一个 local-first 移动应用，可在设备上下载并运行 GGUF 模型，通过 llama.rn 与 @react-native-ai/llama 做本地推理和持久化聊天，并把手机暴露为 OpenAI 兼容的 HTTP 推理端点，主契约是 /v1/responses，兼容 /v1/chat/completions。HTTP provider 目前仅 Android 可用，iOS 上本地聊天可用但 provider 仍为实验性；/v1/* 需 bearer token，应用依赖原生模块，不能在 Expo Go 中运行。
推荐理由：项目把手机做成可复用的本地推理端点而非单纯聊天应用，这种以 provider 为核心的架构思路对做本地部署的人有参考。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。
dealignai 以 CRACK 方式在权重层面去除 GLM-5.3-Flash FP8 版的拒绝行为，HarmBench-320 上 320/320 全部服从、0 拒绝，MMLU 87.33% 高于基座的 86.74%。模型为 320B 总参数、18B 激活的混合 MoE，支持 1M 上下文与视觉，H200 上原生 FP8 解码 163 tok/s（MTP 投机解码 211 tok/s，接受率 75.9%）。2026-08-28 更新修复了重复循环问题，需重新下载；reasoning-off 与 max 档完全去对齐，low 档保留部分拒绝；max 档需 max_tokens ≥ 6000 否则回复为空。
推荐理由：原文给出权重级去对齐的具体方法和 HarmBench-320、MMLU 前后对照数据，读者可据此判断消融效果与能力保留情况。
pierpaolo 在 Hugging Face 发布了 Swift-1.5-Qwen3.8-27B-NVFP4-Uncensored-MTP 的 GGUF 构建，基于 UkisAI Swift 1.5 对 Qwen3.8-27B 的微调，把安全拒绝方向从权重中投影移除，并从带审查的上游版本合并 MTP 头以支持 llama.cpp 的 --spec-type draft-mtp 推测解码。
推荐理由：作者给出了拒绝方向的投影方法、消融后拒绝率前后对比和 MTP 接受率数据，读者可据此判断这个去对齐版本的去对齐程度和性能代价。
SargeDev 在 Hugging Face 发布 JEV-27B-VL-Uncensored-NVFP4，将 AutoTrust 的 System-1 决策模块合并进 huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 底座（layers 18-51 ablated，视觉塔不动），再做 NVFP4 量化（文本塔 W4A4 + FP8 down_proj，视觉塔保留 bf16）。在 27,695 行测试集上，noul AUROC 从 0.9961 降至 0.992，choice 与 score top-1 分别下降 3.4 和 7.6 个百分点，未达原厂门槛；温度重校准后 ECE 全部达标，10 条提示词测试拒绝率为 0.0。
推荐理由：原文给出换用 abliterated 底座前后在 27,695 行测试集上的指标对照，能看清去对齐替换底座对决策能力与校准的实际代价。