新闻、仓库与研究，按时间排列。
Northlatch Labs 开源 Kestrel，一个面向 Intel Mac 加 AMD 独显（含 Hackintosh）的本地大语言模型应用，内置 AMD 补丁版 llama.cpp 和 SwiftUI 界面。RX 6700 XT 上 Qwen3-8B 生成从 0.6-2.6 t/s 提升到约 61 t/s，支持多会话、Agent 工具与 MCP、OpenAI 兼容 API、图像生成（beta）和多 GPU 拆分；仓库地址 https://github.com/0xda7/kestrel，许可 GPL-3.0。
推荐理由：原文给出 RX 6700 XT 上各模型的实测算速和与 Apple Silicon 的对照数据，可以据此评估 Intel Mac 加 AMD 显卡跑本地大模型的可行性。
webmp3/Sakura-Qwen-Image-2.1-PE-T2I-Uncensored-GGUF 已在 Hugging Face 上线，提供 Q4_K_M 量化版本，可通过 llama.cpp 运行，支持启动兼容 OpenAI 的本地服务器（llama serve）和终端直接推理（llama cli）。该模型还可用 vLLM、Ollama、Docker Model Runner、Lemonade 等工具部署，并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。
Hugging Face 上线 webmp3/Sakura-Qwen-Image-2.1-PE-I2I-Uncensored-GGUF 模型页，提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、LM Studio、Docker Model Runner 等多种工具本地运行，支持以 llama-server 启动 OpenAI 兼容 API 与 Web UI，也可在终端直接推理。
Reddit r/LocalLLaMA 用户 Woof9000 提出按显存/内存占用划分模型规模的社区标准：Tiny 2GB、Small 8GB、Medium 32GB、Large 128GB、Huge 512GB，超过 Huge 的级别留待未来讨论。该提议旨在解决社区长期缺乏模型大小命名共识导致的混乱。
Reddit 用户在 16GB VRAM 上以 Q4 量化运行 unsloth/Qwen3.8-27B-UD-IQ4_XS，实现 262k 上下文、q4_0 KV 缓存和视觉能力，MTP 基准约 80t/s、pp 1500。关键在于修改版 llama.cpp-adaptive-kv-streaming 分支，将 KV 流式传输到系统内存的 1.5GB arena；262k 全上下文时约 20t/s、pp 400t/s，作者称对许多人仍属可用。
Reddit 用户分享由 Claude Opus 协助 vibe coded 的 llama.cpp 补丁，专门针对双 Tesla P100（各限 175W）运行 Unsloth Qwen3.6 35b A3B UD Q4 K XL 做优化，在 shinbunbun p100 补丁（声称 +~70% decode）基础上继续改进。作者以继父 3060 12GB+3090 跑 Ornith 1.5 的 ~125 t/s 为目标，并融入 3090 Qwen3.8 27b 引擎的 persistent megakernels 和缩减 draft vocab 思路。补丁仅针对该硬件和模型调优，质量需进一步调整，稳定性不作保证。
DavidAU 团队基于 Qwen/Qwen3.8-27B 发布多阶段微调去对齐版本，用 Heretic v1.2.0 ARA 方法消融后拒绝率从 99/100 降至 0/100，并经两阶段调优。模型自称在 8bit 达 ARC-C 735、ARC-E 882，较原版 Qwen3.8 27B 高 144 分，思考 token 减至原来的 1/2 到 1/10；仓库提供含 NEO imatrix 的常规与 MTP 两种 GGUF 量化（MTP 在 5090 上 Q4_K_S 约 90 t/s），需另行下载 mmproj 文件启用视觉，建议 q4km 以上量化以保障工具调用。
推荐理由：作者给出 Heretic 消融前后 KL 散度与拒绝率对比和各量化档基准分，可以判断这个去对齐版本的具体改动幅度。
AutoTrust AI 在 Hugging Face 开源决策模型 autotrust/JEV-35B，基于 Qwen3.5-35B-A3B 微调，Apache-2.0 许可，只做 System 1 决策、不生成文本。Decision Index 0.3 公开套件得分 59.73（JEV-27B-VL 为 53.64），单 B200 中位延迟 204 ms；同时放出 NVFP4 版本，下载 25.6 GB、显存 23 GiB，可在 32–48 GB GPU 上运行，Decision Index 得分 59.18、96.6% 答案与 bf16 一致。
推荐理由：模型卡给出 Decision Index 公开套件逐项分数、延迟与 NVFP4 量化对照数据，并演示了游戏与机器人控制等短板场景。
Helminiak 发布的 LLM-Setup 仓库旨在把本地大语言模型部署从零散命令整理为可复现、可回滚的工程化配置。内容涵盖 llama.cpp、LM Studio、vLLM 等运行时的启动配置、OpenAI 兼容本地 API、GPU/CPU offload、KV-cache 与上下文窗口实验、基准测试脚本及 speech-to-text 与 RAG 文档。基准测试须记录模型与量化版本、GPU 层数、tokens/second 等信息以区分性能变化与配置漂移。
Hugging Face 用户 Sabomako 上传了 GLM-5.3-Flash-Abliterated-lora-GGUF 模型，采用 glm5-next 架构，参数量 0.1B，以 16-bit 精度提供。该模型尚无模型卡，也未由任何 Inference Provider 部署，上月下载量暂无数据。
Reddit r/LocalLLaMA 用户在编码、数据分析与本地 RAG 等任务上对比了 Qwen3.8-27B 与前沿模型，测试集从 500+ 题精简而来，只保留能区分模型的题目。结果显示 or-qwen-qwen3.8-27b 以 bf16 原始精度运行，or-qwen-qwen3.8-flash-next 未披露量化且最常被截断（单次测试最大 16,384 token，提高到 32k 后仍有过思被截断），iq3 GSQ-RCO 表现不差，mradermacher 的微调版持续出色。作者结论：本地模型的输出仍需 Claude 或 GPT 复核。
MiniCPM-V 4.7 系列发布 1B 版本，官方称在 Instruct 模式下基础能力较 MiniCPM-V 4.6 提升，整体得分和推理效率均优于 Qwen3.5 0.8B。该模型基于 LLaVA-UHD v4 的 intra-ViT 早期压缩技术，支持 4x/16x 混合视觉 token 压缩，支持 iOS、Android、HarmonyOS，提供 Rockchip、后摩、Intel、AMD、Arm 等芯片 day-0 支持，兼容 SGLang、vLLM、llama.cpp、Ollama，提供 GGUF、BNB、AWQ、GPTQ 量化及 FP8 支持，并发布 Self-Replay Fine-Tuning 微调方法。
openbmb 在 Hugging Face 上线 MiniCPM-V 4.7 35B-A3B，帖子称其在 iPad Pro M4（16GB）上跑 17+ tok/s、iPhone 17 Pro Max 上 13+ tok/s、内存占用约 3GB。新引入的 LES（Lookahead Expert Scheduling）通过预测并预加载 MoE 专家减少推理停顿，宣称在输出一致的前提下最高提速 5 倍。其他要点包括 34 项多模态基准、OCRBench 90.4 分配合 16 倍视觉压缩、新的 1B 轻量 VLM、Self-Replay Fine-Tuning 低成本定制，以及支持 Apple、Intel、AMD、Arm、Rockchip 平台。
JonathanColetti 发布 Qwen3.8-27B 的去对齐 GGUF 量化版本，用 Heretic 移除拒绝方向并保留 MTP 头，100 条有害提示上的拒绝数从基线的 98 降至 12，MMLU 等 4 项基准平均降 0.5 分。提供 IQ2_M 到 Q8_0 共 6 档量化及 noMTP 变体，imatrix 与全套困惑度基线已公开，摘要说明拒绝行为是减少而非消除，接近原拒绝边界处稳定性较低，低比特量化会加剧该问题。
同一新闻，精选展示《Qwen3.8-27B-Uncensored GGUF 量化版发布，拒绝率从 98/100 降至 12/100》
面壁智能发布 MiniCPM-V 4.7 系列最新模型，其中 35B-A3B 是该系列首个 MoE 模型，官方称其为首个可在端侧无损流畅运行的开源 MoE 模型，在 iPhone 17 Pro Max 上解码速度达 13+ tokens/s。模型基于 LLaVA-UHD v4 的 intra-ViT 早期压缩技术减少视觉 token 计算，支持混合 4x/16x 视觉 token 压缩，覆盖 iOS、Android 与 HarmonyOS，并对 Rockchip、后摩、Intel、AMD、Arm 芯片平台提供 day-0 支持；官方称 Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：原文列出了 LES 调度、视觉 token 压缩和各平台量化支持，可了解这款端侧多模态 MoE 的部署路径。
一位 Reddit r/LocalLLaMA 用户想低成本运行 Qwen3 27B，因 24GB/32GB 显卡太贵，考虑购买 2 张约 100 美元的 V100 SXM2 16GB，并询问该价格是否仍有效。其预算 300 欧元（含运费和增值税），还需 3D 打印散热和 SXM2 转 PCIe 转接卡，担心从德国退换货成本高。
JakeATX 发布面向 RTX 3090 / 3090 Ti（SM86）的 llama.cpp 分支 llamAmpere v0.5.4，运行带 MTP draft head 的 Qwen3.8-27B。v0.5 新增压缩 KV 缓存 SJ-KVaRN（4/4、3/3t、3/2t 配置），4/4 下比 v0.4 的 tq5_0/turbo4 缓存 KL 低 41%、缓存显存多 2%，262,144 token 上下文在 24 GB 单卡 4/4 配置下峰值 21,924 MiB；100K 深度任务基准上 tq5_0/turbo4 较 v0.4 提速 +8.41% ± 5.76%，SJ-KVaRN 4/4 为 +6.77% ± 2.68%。
推荐理由：原文给出了SJ-KVaRN压缩KV缓存的KL对比、显存占用和多种配置的实测tokens/s数据，读者可据此评估在单张RTX 3090上跑27B模型长上下文的可行性。
一位用户在 r/LocalLLaMA 询问是否有人在经过远程证明的机密 GPU 上实际部署过私有 AI 推理，希望在远程 NVIDIA GPU 上按需运行 Kandinsky 6.0 Pro 等开源权重视频模型，并验证机密计算模式、工作负载证明和端到端加密。其对比了三个选项：Chutes 的 RTX PRO 6000 96GB（$1.80/小时，支持 TEE 证据端点与 E2EE）、VoltageGPU 的 Confidential VM（$3.80/小时，Intel TDX 与 NVIDIA 证明）、以及 Google Cloud 的 H100 Spot 加 dstack 或 Confidential Space。
darioooooo0o 发布 orcarouter/Qwen3.8-27B-Uncensored（OrcaRouter 基于 Qwen/Qwen3.8-27B 的 abliterated 微调版）的非对称 GPTQ Int4 量化版，group 128，lm_head、MTP head 和 vision tower 保留 BF16。在 Intel Arc Pro B70 + vLLM XPU v0.31.0 上单卡实现 262,144 token 上下文与视觉、MTP k=4，短提示解码 64-128 tok/s，KL 散度 0.018-0.060、top-1 一致率 94.1%，优于对称 GPTQ Int4 g128 方案。
GitHub 开源项目 Nexus-LLM 是一个生产级终端 LLM 框架，自带后端，无需云端 API，支持 GPT-2、GPT-Neo、LLaMA、Phi、Qwen 等 39+ 模型，提供类 Claude 的流式终端聊天界面。它统一了从加载、推理、LoRA/QLoRA 微调、RAG、Agent 到部署的全流程，内置 FAISS 向量检索、5 种 Agent 类型、FastAPI 的 REST 与 WebSocket API，以及 4-bit/8-bit 量化和 DDP/FSDP 分布式训练。
Rxyxs 发布 slm-industrial-gateway 仓库，提供 OpenAI 兼容聊天网关与工厂网关，前者本地 GGUF 推理加多 Agent 流水线，后者将 MQTT / OPC UA / Modbus 遥测在 3 秒内转为 HOLD、ADJUST_SETPOINT 或 RAISE_ALARM 动作，支持断路器、fail-safe 和防篡改审计。实测显示 1.5B 基础模型 94/100 提示词因幻觉工具参数名被拦，qwen2.5:1.5b 100% 小时给出前提与数据矛盾的理由；用判别联合 schema 后 qwen2.5 各尺寸合同合规率 100%。附 Qwen2.5-3B Q4_K_M 在 CPU 上的 TTFT 8504ms、3.2 tok/s 等基准数据。
proofofvitalik 于 2026-10-12 发布 Sovereign v2，将 ARA 27B uncensored 模型以 affine 4-bit（group size 64）打包为标准 qwen3_5 MLX 架构，无需 trust_remote_code，文本权重未合并、重训或重量化，并从同一 ARA 源恢复 BF16 视觉与原生 MTP。该版本使用独立仓库和 v2.0.0 标签，不替换旧版；声明架构上下文为 262,144，已在 mlx-vlm 0.7.6、mlx-lm 0.32.0、M4 Max/48GB 环境验证，LM Studio 与 Splash 1.3.1 均可加载。
Precision Numerics 发布基于 Qwen3-1.7B 的 1-bit 模型 Boole-1.7B，打包权重仅 247 MB，比 BF16 小 13.9 倍，在 10 项评测中平均保留 BF16 模型 85.9% 的分数，超越 1-bit Bonsai-1.7B 并接近 1.58-bit 版本。该模型面向英文、非思考模式的低延迟任务，可在浏览器本地运行，也支持 vLLM 和 llama.cpp，权重已在 HuggingFace 开源。
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本，这是一个 120B 总参数、12B 激活参数的视觉语言模型，采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器，支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成，模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果，并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置，许可证为 OpenMDW-1.1，可商用。
推荐理由：模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置，读者可以据此评估量化损失与所需显存门槛。
shadowdio 在 Hugging Face 上架 Qwen3.5-2B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated 的 GGUF 版本，提供 Q4_K_M 量化。该模型可经 Transformers 加载，也支持 llama.cpp 本地起 OpenAI 兼容服务，兼容 Ollama、LM Studio、Docker Model Runner、Lemonade 等工具，并可接入 Pi、Hermes、OpenClaw 等 Agent。
一位 LocalLLaMA 用户在 llama.cpp 上运行 Ornith-1.5-9B（GGUF）时发现，启用 draft-mtp 的投机解码后只有约 15 tok/s TG 和 200 tok/s PP，而不开 MTP 时速度翻倍。尽管草稿接受率达 0.95、平均长度 2.27，开启 MTP 后显存带宽和 GPU 利用率却降了一半，原因尚待解答。
local-llm-eval 是一款无需编程即可在 Windows 电脑上运行的本地评测工具，用于测试 Qwen2.5（GGUF 格式）模型回答印尼语问题的准确率及从文档中抽取结构化信息的能力。工具采用 Wilson 置信区间和 McNemar 检验等统计方法保证结果可信，示例报告显示问答准确率 78.5%、文档抽取成功率 92.0%，支持自定义测试题数量与模型版本，并兼容 Google Colab 在线运行。
独立研究者因预算限制把原计划用 64 张 H100 的 21B MoE（总参数 20.99B、激活 3.36B）预训练改在单张 GH200（$2.29/小时）上完成，并整理成论文。Benchmark MFU 从 21.1% 提至 50.7%（13 个测量点），真实数据训练 MFU 为 48.9–49.1%（10.9B tokens），附代码、基准记录与训练日志（https://github.com/DW-dev-UE/LLM-from-scratch/tree/main/apex3），论文见 https://zenodo.org/records/23316135。
softwareweaver 发布 GLM-5.3 Uncensored 的 EXL3 量化转换版，源自 dealignai/GLM-5.3-UNCENSORED-FP8，提供 3bpw（307.59 GB）和 6bpw（585.17 GB）两种规格，均保留 MTP 并可选 DFlash2 文件夹。权重采用 ExLlamaV3 的高质量分配，实际码率略高于目标值，需搭配兼容推理软件和足够内存/显存使用。
开发者 /u/Scutoidzz 发布了面向 Windows 的 Spotlight 式搜索工具 LSearch，内置 embeddinggemma 2（270M）embedding 模型，以及由两个 Qwen 3.5 4B 模型（分别微调用于编码和 agentic 工作）合并成的 MoE，仅用于修复代码。应用无图像支持，由 Opus 5.5 编写，模型、源码和 exe 均已公开，16GB 及以上内存可自动下载模型。
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复，发布 Huihui-Qwen3.8-27B-abliterated-GGUF。该版本仅对第 22 至 52 层（0 起始索引）做消融，并新增 Underdog-Saluki、Swift、Ternary、GSQ-RCO、UD-DW 等系列，其中部分量化将需消融权重转为 Q8_0 以提升响应质量，MTP 和视觉部分未改动。模型支持最新 ollama（huihui_ai/Qwen3.8-abliterated）和 llama.cpp（上下文 262144），因安全过滤大幅减弱，建议仅用于研究或测试环境。
aither-kvcache 是面向 LLM 推理的 KV cache 压缩库，提供两种引擎：TurboQuant 向量量化实现 2-4 bit、相对 FP16 3.8-7.1× 压缩且无需校准数据；TriAttention v2.0 通过三角级数保留 top RoPE 频率对，在 F=8-16 下压缩 14-26×，并提供 Qwen3.5、Nemotron、DeepSeek-R1 和 Llama 3.1 的校准配置。v2.4 新增 KVTransfer，可将一个模型的 KV cache 转换给同 tokenizer 的另一模型以跳过 prefill。库通过 pip 安装，可独立安装、离线运行。
AtomicChat 在 Hugging Face 发布 Qwen-Image-2.1-Turbo 的去对齐文本编码器 GGUF，将 Qwen3-VL-8B-Instruct 的拒绝方向投影移除，可作 stable-diffusion.cpp 的 --llm 使用。作为聊天模型，英文有害提示拒绝率从 88.9% 降到 1.2%，俄语从 38% 降到 0%，MMLU 保持 77.35% 不变。在 45 条敏感图像提示上与原版编码器无一翻转，提供 BF16 到 Q2_K 共 7 档量化，AD-Q4_K 画像偏移为普通 Q4_K_M 的一半。
同一新闻，精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器，拒绝率从 88.9% 降至 1.2%》
作者在无 NVLink、四张卡走 Thunderbolt 的消费级 PC 上用 6×3090 通过 vLLM 跑 Qwen3.8-Flash-Next（GPTQ-INT4），262k 上下文支撑 7 用户，单会话 prefill 6574 t/s、decode 57.6 t/s，7 用户合计 206 t/s，并发布含修复的 vLLM 分支。关键做法包括把 102 GB n-gram（PLE）表放到 SSD 节省 108 GB 内存、用 int8 KV 绕过 fp8 KV 在 Ampere 上的崩溃；对比显示 vLLM 强在 prefill、单用户速度和并发席位，llama.cpp 的 grouped decode 在多用户下单路速度更平稳，代码由 LLM 编写并经实测验证。
推荐理由：作者用同一台 6×3090 消费级 PC 给出 vLLM 与 llama.cpp 在各并发档位下的实测数据，并附修复分支和部署细节，结论可直接复用。
作者发布 Swift 1.5 Qwen3.8-Flash-Next NVFP4 的去审查替换文件，将拒答方向以 1.5 倍强度从 151 个写入残差流的张量中投影掉，并提供每层专家从 512 个剪至 256 个的 pruned256 变体。逐文件给出 SHA-256 与验证报告，24,576 个专家重新量化后分量约 −0.498；实测在单卡 RTX PRO 6000（96 GB）上用 SGLang 可跑约每秒 1,000–1,200 生成 token，12 个中文政治敏感问题全部完整回答而原版大多拒答或给官方口径短答。未跑通用基准与 pruned256 变体；n-gram 嵌入分片约 102 GB 需从原仓库获取。
推荐理由：作者给出了逐层投影去除拒答方向的做法和完整验证数据，包括编辑前后分量、量化误差和12题政治敏感问题实测对比，可直接复现。
mradermacher 在 Hugging Face 上发布了 abliterated 处理的 smollm2 1.7B 模型的 i1-GGUF 量化版本，供用户在本地硬件上运行。仓库页面显示模型参数约 492k，需登录查看硬件兼容性信息。
/u/Unstable_Llama 发布 exl3-qlora，一个基于 ExLlamaV3 的原生量化训练分支，用纯 PyTorch 实现、不依赖 transformers，可对 2-8bpw 的 EXL3 量化模型做 QLoRA 训练，摆脱 BNB 4bit 的限制。适配器按标准 PEFT 格式保存，可加载进 TabbyAPI、PEFT 或合并回基座模型；支持 Llama3、Mistral、Qwen3 dense/MoE、Qwen3.5/3.6/3.8 hybrid、Gemma3/4、Arcee Trinity。
推荐理由：作者给出同数据同硬件下 EXL3 与 bnb NF4 的 eval loss 和显存对比，读者可自行判断这套量化训练管线的取舍。
IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored，对 dealignai 的 abliterated 检查点做校准混合量化，552B 参数 MoE 压缩至约 163 GB（152 GiB 专家权重），可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式（42.8% 三值、39.2% 2-bit、18.0% 3-bit），与同尺寸均匀 Q2_0 相比输出误差低 17%；held-out 困惑度 5.645（原模型 4.915），top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s（启用 ggml patch 可达 27+）。
推荐理由：原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据，并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。
mradermacher 在 Hugging Face 上发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated-i1-GGUF 模型仓库，提供 GGUF 量化格式。该模型为 abliterated 版本，量化后模型大小为 3.39M params。仓库卡片的 YAML 元数据缺失，目前显示下载量数据暂未提供。
mradermacher 在 Hugging Face 上发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GGUF 静态量化版本。提供的量化档位按大小排序，包括 Q2_K（11.0 GB）、Q4_K_S（15.9 GB，标注 fast、recommended），以及 mmproj-Q8_0（0.7 GB）和 mmproj-f16（1.0 GB）的多模态补充文件。weighted/imatrix 量化暂不可用，用户可通过 Community Discussion 申请。