新闻、仓库与研究，按时间排列。
vllm-project 发布 vLLM Metal 插件，让 vLLM 通过 MLX 作为主要计算后端在 Apple Silicon Mac 上运行大模型推理，统一 MLX 与 PyTorch 的 lowering 路径。v0.2.0 将统一 paged varlen Metal kernel 设为默认注意力后端，相比 v0.1.0 TTFT 提升 83x、吞吐提升 3.6x；2026/08 起利用 M5 NAX tensor 单元加速 MHA、GQA、MQA prefill，并支持 Qwen3.8（mlx-community/Qwen3.8-27B-8bit 可在单台 Apple Silicon 上运行 27B 混合 SDPA + GDN 线性模型）。
推荐理由：vLLM 官方插件让大模型在 Apple Silicon 上跑推理，给出了 v0.2.0 相对 v0.1.0 的 TTFT 和吞吐提升数据，可作本地部署参考。
Huihui-Qwen3.8-27B-abliterated 模型的官方 VAL-APEX-I 量化版 MiniPlus V2.1 发布，体积 15.33 GB（3.93 BPW），WikiText-2 困惑度 6.1466，较 BF16 仅上升 2.44%，达到 Q5_K_M/Q6_K 边界质量。该版本在 24GB GPU 上支持完整 256K 上下文，192 个 DeltaNet SSM 状态张量保持 F32 无压缩，输出头采用 Q6_K 保护。另有 11.90 GB 的 NanoPlus 版本可在 16GB 硬件上运行。
Huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 模型推出 VAL-APEX-I NanoPlus 量化版，体积仅 11.90 GB（2.85 BPW），可在 16GB GPU 上运行，并支持 24GB GPU 跑满 256K 上下文。WikiText-2 困惑度为 6.4238，较 BF16 基线仅升 7.06%，达到 Q4_K_M 质量档。全部 192 个 DeltaNet SSM 循环状态张量保持 F32 无压缩，输出头采用 Q6_K 保障语法稳定性。
作者开源了一套隐私优先的工厂机器日志分析系统 local-llm-manufacturing-analytics，用 SQL 计算精确的生产与质量指标，Isolation Forest 检测异常并给出根因解释，本地 Ollama 运行的 Llama 3 8B 仅负责解读数字，全程无云 API、无按次成本。项目源自作者 2026 年暑期在某制造公司研发部门的实习系统，曾在 50 万+ 真实日志记录上运行并获批内部使用与第二阶段开发，仓库版本以同结构合成数据重新实现。
推荐理由：作者把算术交给 SQL、解释交给本地 Llama 3，并给出索引前后基准数据，方案对预算和隐私敏感的部署场景可直接参考。
Reddit 用户 /u/oppoftemp27 发现，在四台 AMD 主机上，llama.cpp 官方 ROCm 预编译版（b11327）从未真正使用 GPU，服务启动正常、/health 显示绿色，实际一直在 CPU 上运行。原因是预编译版的 HIP 后端需要 libamdhip64.so.7 / libhipblas.so.3 / librocblas.so.5，而装有 ROCm 6.3.0 的 Ubuntu 主机只有 .so.6 / .so.2 / .so.4，后端库加载失败后 llama-server 静默改用 CPU，控制台无报错，-ngl 999 也无效。作者建议用同一提示词集在 CPU 版上对比每条耗时，比值约 1.0 说明在跑 CPU，远低于 0.5 说明 GPU 正常工作。
推荐理由：作者给出官方 ROCm 预编译版静默回退 CPU 的具体库版本原因，以及用 CPU 对照跑分检测该问题的可复用方法。
一位 Reddit 用户在本地运行 NVFP4 量化的 Qwen 3.8 27B，复刻了 "Opus 5.5 生成视频" 的代码渲染流程：模型编写自包含 HTML/Canvas 场景，每帧为时间的纯函数，由 headless browser 逐帧捕获并用 ffmpeg 编码成 MP4。全程无 API、无 GPU 租用，产出约 2 分钟 1080p 的 GPS 原理讲解视频，含确定性 Canvas 场景、TTS 旁白和 WebAudio 合成的背景音乐。
cnygaard 发布 GLQ，一套面向 LLM 权重的格与格编码后训练量化工具，支持 2–8 bits/weight，通过 vLLM 插件和 HF Transformers 集成服务，使用确定性融合 CUDA 内核，验证范围从 24 GB 3090 级 GPU 到 96 GB RTX PRO 6000 Blackwell。v0.7 起默认 trellis（QTIP 衍生 TCQ）码本，2 bpw 下 SmolLM3-3B PPL 11.94 优于格路径的 13.79（bf16 为 9.12）；单流解码达 bf16 水平（176 vs 180 tok/s），权重内存约三分之一。
hipfire 发布 v0.3.0，这是一个 Rust 原生、HIP/ROCm 直连的推理引擎，单二进制运行，覆盖 RDNA1–4、Vega/CDNA GPU 与 AMD APU 中的 XDNA NPU，支持多模态推理、embedding、rerank 与图像生成，主接口为 OpenAI Responses API。7900 XTX 上 Qwen 3.5 9B decode 132 tok/s，为 ollama Q4_K_M 的 1.71 倍；DFlash 推测解码在 27B HumanEval/53 达 218 tok/s 峰值（4.45 倍于 AR）。项目由 Kaden Schutt 主导，MIT/Apache-2.0 双许可，仓库地址 https://github.com/xynexus/hipfire。
推荐理由：原文给出 7900 XTX 上与 ollama 的逐模型 decode 对比和 DFlash 分题材数据，可据此评估这套 Rust 引擎在 AMD 消费卡上的实际收益。
infosave 在 Hugging Face 发布 Qwen-Image-2.1-Uncensored-CMF，这是面向 Cortiq 运行时的单文件图像生成模型，大小 12.745 GB、15.59B 参数，内含 DiT、文本/视觉编码器、VAE 和 tokenizer，支持 CPU、原生 Metal 和 Vulkan 路径。实测 RTX 4090 Vulkan f16 回退路径下 1024×1024、40 步端到端耗时 29.13 秒；上游 GGUF 版本无内置安全检查器，采用 Qwen 研究许可，仅限非商业研究用途。
Shellar 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的无审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored，提供 regular 与 MTP 两种 GGUF 量化。作者称 8bit 下 ARC-C 达 735、ARC-E 达 882，4bit 为 719，均高于原版 Qwen3.8-27B（8bit ARC-C 0.591），思考 token 减至原版的 1/2 到 1/10。
IsValorum 发布 nerkyor/Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 的官方 VAL-APEX-I MiniPlus V2.1 GGUF 量化版，针对混合线性-二次注意力架构采用 814 条细粒度张量规则。该版本有效位宽 3.93 BPW、文件 15.08 GB，目标 Q5-Q6 感知质量，8K 上下文全 GPU 卸载约需 14-16 GB VRAM，遵循 Apache 2.0 许可。
Hugging Face 上发布 Qwen3.8-27B EfficientThink Uncensored 的 VAL-APEX-I NanoPlus GGUF 量化版，采用混合线性注意力与二次注意力架构，按 814 条细粒度张量规则分层量化，有效位宽 2.85 BPW，文件 11.65 GB。模型遵循 Apache 2.0 许可，8K 上下文全 GPU 卸载约需 10-12 GB 显存，可部分卸载运行于 12-16 GB GPU。
作者微调 Qwen3-4B-Instruct-2507（QLoRA）处理德/英太阳能与热泵支持工单并输出校验 JSON，在 25 张真实工单上 CORE 准确率 0.76 对 Claude Sonnet 4.6 生产调用的 0.72，schema 有效率 100%，每千张工单成本 $0.29 对 $5.11，T4 上延迟慢约 1.4 倍。训练用约 3,500 张 Claude Haiku 4.5 生成的合成工单（约 $1.40），Unsloth + TRL 在免费 Colab T4 上跑 2 个 epoch，合并 fp16 后用 vLLM 部署；盈亏平衡点约每月 48,000-50,000 张工单，未调优的 Qwen 准确率仅 0.28 schema 失败率 28%。
MeKaustubh07 在 GitHub 开源了一个从第一性原理用 Python 编写的 LLM 推理引擎，预填充用 PyTorch GEMM、解码用手写 Metal kernel，在 Apple M2 8GB 上以 INT4 通过 OpenAI 兼容 API 服务 Qwen3.5-2B，支持连续批处理、paged KV cache 和打包分块预填充。基准显示单流解码 50 tok/s、batch-8 聚合解码 116 tok/s、HTTP 8 客户端 94 tok/s（TTFT p50 0.84 秒），对比 llama.cpp Q4_1 与 MLX-LM 4-bit，并与 HF transformers 校验精度（INT4 KL 0.045）。
推荐理由：作者从零实现并给出与 HF、llama.cpp、MLX-LM 的逐项对比和精度数据，方法与权衡都可复查。
pestopoppa 开源的 epyc-orchestrator 在单台 AMD EPYC 9655（96C/192T、1.13 TB DDR5-5600、无 GPU）上实现分层多模型本地 LLM 推理编排，跨 20 个 llama-server 端口路由任务。系统包含学习型路由分类器（98.7% 验证准确率）、自动升级、投机解码（2–4× 加速）、KV-cache 5× 压缩、MemRL 情景记忆及 AutoPilot 自主优化循环，采用 MIT 许可证。
jingamin 在 Hugging Face 上架 OpenAi-GPT-oss-20b-HERETIC-uncensored-NEO-Imatrix-gguf 量化模型，提供 Q5_1 等版本。
Lygodactylus 在 Hugging Face 上传了 Qwen3.8-27B-Uncensored 的 exl3 5bpw 量化模型，采用 Safetensors 格式，模型规模为 10B 参数，张量类型为 BF16、F16、I16。该模型目前没有模型卡，也未部署到任何 Inference Provider，用户可申请提供推理支持。
jingamin 在 Hugging Face 上发布 abliterated 去审查版 GPT-oss-20b 的 GGUF 量化模型，提供 Q5_1 等量化版本。该模型可通过 llama.cpp 本地运行，支持启动 OpenAI 兼容服务器和终端推理，也可在 Ollama、LM Studio、Docker Model Runner、Lemonade 等工具中使用。
GitHub 开源项目 SynthLab 是一个本地优先的合成数据生成平台，将确定性数学采样与生成式 AI 文本增强严格分离，避免 LLM schema 幻觉和数据漂移。
作者开源 SLM-agent-Lab，用 4 个确定性工具、300 个精确答案任务和 13 类失败分类法评测小型工具调用模型。在 150 任务子集上 Granite 4.0 350M 达 58.0%、Qwen2.5 0.5B 仅 31.3%，多步链式任务两者都接近崩溃（8% 和 4%），OOD 任务使 Granite 从 65.5% 跌至 29.0%。
推荐理由：实测给出 Granite 4.0 350M 与 Qwen2.5 0.5B 的工具调用失败分布，并量化到 int4 时格式保真才是精度下限。
Reddit 用户在 5060 Ti 16GB + 32GB 内存上以默认配置（n_ctx = 65k）运行 qwen3.8-flash-next-coder-iq1_m，prompt 处理约 1k5 tok/s，生成平均 55 tok/s。
szibis 在 GitHub 发布 MLX-Flash v0.7.0，一个面向 Apple Silicon 的本地推理工具，通过 SSD 流式读取加内存感知缓存。
推荐理由：README 给出了 M3 Max 36GB 上的实测对比，Qwen3-30B 在内存压力下从 3 tok/s 提到 82 tok/s，并如实标注了模型放得下时收益有限的情况。
Hugging Face 上架 jingamin/OpenAI-36B-Brains20x-Uncensored-IQ4_NL.gguf 量化模型（IQ4_NL）。该模型为 36B 参数的无审查版本，可通过 llama.cpp 的 llama serve 或 llama cli 直接加载，支持本地 OpenAI 兼容服务器、终端推理、预编译二进制、源码编译及 Docker 运行。
Hugging Face 上架 jingamin/OpenAI-gpt-oss-20B-GPT5.1-5.2-DISTILL-Heretic-Uncensored-MXFP4.i1-Q5_K_M.gguf 模型，为 gpt-oss-20B 的无审查蒸馏量化版本。
Hugging Face 上架 jingamin/OpenAI-20B-NEOPlus-Uncensored-Q5_1.gguf:Q5_1 量化模型，提供 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式。
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版本，以 GGUF 格式提供，仅对部分层（如 22 至 52 层）做 abliteration 处理，其余层保持不变，并推出 Swift、Ternary、GSQ-RCO、UD-DW 等多个系列。
openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF（llama.cpp）量化版，原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体，官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样，成为首个可无损流畅端侧运行的开源 MoE 模型，在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s；Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：官方说明了 LES 预取、分层量化与投机采样如何配合，让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。
网友在 RTX 3060 12GB + RTX 3070 8GB 双卡、48GB DDR4 的 Windows llama.cpp 环境下，用 Glimmer 30B IQ4_XS 主模型搭配 Glimmer 30B DFlash Q4_0 草稿模型实测推理速度。
作者 /u/ricyoung 发布了 Bev，一个基于 Qwen3.5-9B 微调、故意选最差答案的决策模型，在 324 个保留决策上正确率仅 1.9%，平均置信度 96%。
面壁的 MiniCPM-V 4.7 系列新增 1B 版本，Instruct 模式下基础能力超越 MiniCPM-V 4.6，并在综合得分与推理效率上大幅超过 Qwen3.5 0.8B。该模型采用 LLaVA-UHD v4 的 intra-ViT 早压缩技术，支持 4x/16x 视觉 token 混合压缩，可部署于 iOS、Android 和 HarmonyOS，并提供 SGLang、vLLM、llama.cpp、Ollama 推理支持及 GGUF、BNB、AWQ、GPTQ 与 FP8 量化版本。
GitHub 开源项目 tracord 是一款集旅行记录、AI 行程规划与智能记账于一体的移动端应用。它用 Qwen3.5-0.8B LoRA 微调模型加 llama.cpp 本地推理，通过槽位填充与自研 DFS 规划引擎，把"上海去杭州玩4天，预算3000"一句话生成含逐项费用的时间轴行程单，并支持地图点亮城市、自然语言记账和基于 Chroma 向量检索的攻略问答。
kacakto 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式，其中 Q4_K_M 约 4.60 GB，被推荐为体积与质量的最佳平衡。
huihui-ai 基于 Aleph-Alpha/Kolibri-1 制作了去审查（abliterated）版本，完全用 llama.cpp 的 GGUF 完成，不依赖 Transformers。
作者在 AMD Ryzen AI MAX+ 395（Radeon 8060S iGPU、128 GB LPDDR5X 统一内存）一台机器上汇总了 42 个模型的生成速度实测数据。
推荐理由：作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度，并给出各引擎配置和测量口径，便于横向比较本地部署方案。
一位 Reddit r/LocalLLaMA 用户在升级 GPU 时纠结选 9070 XT 还是 5080，询问是否有用户实际体验过 Qwen 3.8 27B 的 Q3 量化版本，想了解其本地编码质量。发帖者指出 5080 因带宽优势更适合本地 AI 编码。
llama.cpp 仓库提交 PR #29535，为 K2 Horizon 增加 dense 与 MoVA 支持。该模型上月曾在 r/LocalLLaMA 被讨论，此 PR 由 bitalov 提交。
BrendanJamesLynskey 在 GitHub 发布本地 LLM 部署系列讲稿，含 11 篇已上线内容，覆盖 Ollama、vLLM、llama.cpp。
推荐理由：作者把 Ollama、vLLM、llama.cpp 等本地部署方案整理成带交互工具的系列讲稿，覆盖量化、多卡并行与生产模式，可按需查阅。
Reddit r/LocalLLaMA 用户 jjusko20 表示将在训练 alice 的 SFT 运行间隙，为社区票选的模型制作 GGUF 动态量化版本（如 Q5 K XL），按不同 tensor 类型的影响进行量化。他称不会达到 unsloth 水平，但可做出质量不错的版本，也接受微调、论文实现等其他需求，以提升求职曝光度。
Google DeepMind 开放 EmbeddingGemma 2 嵌入模型权重，总参数 740M，将文本（含代码）、图像、视频和音频统一映射到 768 维向量空间。
QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化，提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式，其中 Q4_K_M 约 4.60 GB，被推荐为体积与质量的最佳平衡。该版本无内置安全检查器，可直接生成 NSFW 等敏感图像；配套 qwen3vl_8b 文本编码器与 VAE 文件，可在 ComfyUI 中通过 ComfyUI-GGUF 加载，文本编码器卸载到内存可节省 9–17 GB 显存。