新闻、仓库与研究，按时间排列。
HauhauCS 基于 google/gemma-4-e4b-it 发布的 Aggressive 版去审查模型已在 Hugging Face 提供 GGUF 下载，测试中 0/465 次拒绝。模型为 4B 参数、42 层、131K 上下文、原生多模态（文本、图像、视频、音频），全部量化使用 imatrix 生成；K_P 量化比基础量化文件大 5-15%，质量提升约 1-2 个量化级别，兼容 llama.cpp、LM Studio 等 GGUF 运行时，视觉/音频需搭配 mmproj 文件。
VedantJadhav701 开源了 AMD LLM Lab，一个面向 AMD Instinct MI300X 和 Radeon GPU 的 LLM 推理优化研究平台，含模型推荐器、显存适配计算器、社区基准榜单和本地硬件探测。其显存计算覆盖 BF16 到 INT2 精度并计入 KV cache 与运行时开销，附带 57 条以上 MI300X（192 GB HBM3）实测数据，明确区分 MEASURED 与 ML 回归的 ESTIMATED 值，并提供 rocm_bench.py CLI 供用户提交实测结果。项目采用 FastAPI 后端加 Next.js 前端，MIT 许可，非 AMD 官方产品。
maternion 在 Hugging Face 发布基于 openbmb/MiniCPM-V-4.7-1B 的去对齐 GGUF 量化版，用 heretic 的方向消融流程从权重中移除拒绝方向。404 次试验后拒绝率为 21/100，KL 散度 0.0122，作者称数值上接近基座模型、保留推理、工具调用与视觉能力。提供 Q4_K_M 到 F16 共 4 档量化（641 MB 至 1.9 GB）及视觉投影 mmproj-F16.gguf，可在 llama.cpp、Ollama、LM Studio 等 GGUF 兼容运行时运行，Ollama 注册表同步发布。
推荐理由：原文给出了拒绝率 21/100 和 KL 散度 0.0122 的实测数据，可据此判断该去对齐版本的去拒答程度与能力保留情况。
Avicennasis 发布了 MiniCPM-V-4.7-35B-A3B 的拒绝消融版 MLX 4-bit 量化，基于 openbmb 的 Apache-2.0 基座，约 23 GB、5 个分片，是首个 abliterated MiniCPM-V-4.7 的 MLX 版本。仅改动语言模型，视觉部分保留 bf16；自测红队中双用途拒绝从 8/18 降至 0/18、敏感类从 15/16 降至 0/16，工具调用 248/280 基本无损，与基座的 KL 散度为 0.101，无统计显著回归。峰值显存约 24 GiB，32 GB 以上 Apple Silicon 可跑。
推荐理由：作者用统一红队协议给出消融前后的拒绝率和能力回归数据，本地用户可据此判断这个 MLX 4-bit 版本的可信度。
AtomicChat 将 inclusionAI 的 Ling 3.1 flash 中的拒绝行为从权重中投影移除，烘焙成 GGUF 版本发布在 Hugging Face。验证集上英文拒绝率从 98.1% 降到 2.9%，俄语从 68% 降到 0%，无害提示几乎不受影响；方法是对写入残差流的全部 213 个矩阵施加 W' = W - 1.25·r·rᵀW 的方向编辑，遵循 Arditi et al. 2024 的单方向拒绝机制研究，采用 MIT 许可。
推荐理由：原文给出了拒绝方向消融的具体方法和英俄语拒绝率前后对比，并附随机方向对照，可自行判断改动效果。
Huihui-Qwen3.8-27B-abliterated 的 EXL3 2.60 bpw 量化（SC-SH）上线，基于 Qwen3.8-27B 的去审查版本，采用按张量噪声归因分配比特率并启用 scaled-Hessian，实测相对 abliterated BF16 参考困惑度增加 5.1%。量化占用约 11.96 GB，需 ExLlamaV3，可用 tabbyAPI 运行。基座为 27B 原生视觉语言模型，262K 原生上下文（可扩展至 1M），支持图像与视频理解。
Reddit 用户 /u/Ok-Director4174 发布了免费开源桌面应用 Kokon，基于 stable-diffusion.cpp（ggml）运行 Qwen-Image 2.1 Turbo Q4_K 与 Qwen3-VL 8B 文本编码器（约 12 GB GGUF），无需 Python 和 PyTorch，首启自动检测 GPU 并下载匹配权重。应用提供 Change / Remove / Replace / Add 的笔刷式照片编辑、撤销与前后对比，内置 MCP 服务器（generate_image、edit_image、inpaint_image 等）和本地 HTTP API。
推荐理由：作者实测给出了各档显卡的单张编辑耗时和显存门槛，本地部署 Qwen-Image 2.1 图像编辑可据此评估硬件是否够用。
有用户在 iPhone 16 Pro Max 上通过 OpenBMB 安装指南中的 iOS 应用运行 MiniCPM-V 4.7 35B-A3B 时，应用在加载模型阶段崩溃，有时进入界面后点按也会再次崩溃。README 建议 12GB 内存，低内存设备会回退到更小的 expert cache，该用户尚不确定是手机内存限制、模型包问题还是应用 bug。
Telperion 发布 Qwen3.8-27B 的潜在注意力变体 MLA 和 GLA-g2，将 KV cache 压缩 4 倍，可在消费级硬件上实现近 4 倍最大上下文或近 4 倍并发提升。其中 MLA 变体在 SWE-bench Verified（zero-shot、无工具、n>1500）上得分 42.1%，较原版 39.5% 提升 6.58%，推理 token 减少最多 20%；GLA-g2 面向双 GPU 用户，TP=1 和 TP=2 下均实现 4 倍压缩。
推荐理由：原文给出了 KV 压缩倍率、SWE-bench 分数和量化后 top-1 分歧率的具体数据，可用作判断 latent attention 变体实际收益的参考。
Reddit r/LocalLLaMA 用户用 evalscope 对比 Qwen3.8-Next IQ3_S（MI50 32GB）与 Qwen3.8-27B UD-Q4_K_XL（RX 7900 XTX 24GB）。166 题总成绩 Next 151 对 27B 145，AIME26、IFEval、BFCL v4、LiveCodeBench v6 均略胜，但 14 题单解差异 sign test p=0.18，仅属倾向而非定论。速度上 27B 达 47.9 tok/s，Next 为 36.8 tok/s。
zviratko 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-oQ4e-100K-MTP-plefp8，将 FP8 PLE n-gram 表移植进 jedisctl 的原量化模型，属于实验性质。基准成绩与原模型基本持平：MMLU 87.7%（原 87.0%）、MMLU_PRO 68.0%（原 68.7%）、HumanEval 92.1%（原 93.3%），性能与内存占用相同。模型采用 Qwen Community License 1.0，作者提醒源仓库标注的 Apache-2.0 与许可证文件不符。
Reddit r/LocalLLaMA 用户实测 JetBrains Mellum 2.1 12B A2.5B MoE，认为其表现很好。该模型在 m4 16 上全 130k 上下文可达 60 tps，Q8 量化在 16 GB GPU 上可跑，9070xt 上实测 140TPS；作者判断 8GB、12GB 显卡有望跑到 30-40 tps，且其代码能力可用，但建议搭配更大模型做任务规划。
/u/Present_Resource4022 在 GitHub 发布 Gyro-M 实验性部署方案，在 4070 Super 12GB 显存加 32GB 内存上跑满 Qwen 3.8 flash 的 256K 上下文，prefill 约 950–1800 tok/s，输出 30–38 tok/s。方案包含 Strata 补丁、调优配置、模型下载器、安装器和启动器，默认关闭 MTP 和视觉功能以提升速度；作者另附一段提示词，可交给 Codex 或 Claude Code 等编码 Agent 按用户自身硬件调优，速度受 CPU、SSD、内存和 GPU 带宽影响较大。
推荐理由：作者实测 Qwen 3.8 flash 在 12GB 显存加 32GB 内存跑满 256K 上下文，并给出调优补丁和供编码 Agent 适配自家硬件的提示词。
Ant Ling 发布的 Ling-3.1-flash 权重已上线 HF，模型卡标注 560B 总参数、每 token 激活 25B，官方部署示例为 8× H200 或 4× GB300。一位用户计划在 4 台 DGX Spark 上运行该模型做编码与迭代 UI 开发，征询量化方案与拆分四台设备的 serving stack 建议，并关注单用户 prefill/decode 速度在实际工具调用和长上下文场景下的可用性。
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复，发布 Huihui-Qwen3.8-27B-abliterated-GGUF 无审查版本，仅消融部分层（如第 22 至 52 层，0 起始索引），其余层保持原样。提供 Q2_K_L 至 Q8_0_L 等多种量化格式，其中低精度版本将 token_embd、output、ffn_down 等需消融权重转回 Q8_0 或 BF16 以提升回复质量；MTP 与视觉部分未改动。可通过 ollama（huihui_ai/Qwen3.8-abliterated）或最新 llama.cpp 运行，支持 -c 262144，模型安全过滤大幅降低，建议仅用于研究测试环境。
Hugging Face 上架了 yyrgzn/Qwen3.8-27B-FP8-EfficientThink-Uncensored-NInfer-v3 模型仓库，定位为无审查（uncensored）模型。该仓库 README 为空，尚未部署任何 Inference Provider，下载量暂未被追踪。
Huihui-Qwen3.8-27B-abliterated 的 EXL3 2.55 bpw 量化（SC-SH）上线，平均码率 2.5494 bpw，磁盘占用约 11.81 GB，较 BF16 参考困惑度 1.3418 增加 5.1%。噪声归因与校准均在 abliterated 权重上重新测量，head/MTP 为 4.0 bpw、vision 为 6.0 bpw。需 ExLlamaV3，可用 tabbyAPI 运行；原模型为 27B 视觉语言模型，原生 262K 上下文可扩展至 1M。
Muyuxiao 在 trohrbaugh/Qwen3.8-27B-heretic-ara 基础上追加两次全权重 ARA 消融，发布 RVN 版 Qwen3.8-27B 的 GGUF 权重。有害提示拒绝率从 3/100 降到 0-1/100，KL 损伤从 0.0535 降到 0.0085，全部 53 个 RVN 文件内嵌官方 Qwen3.8 chat 模板；模型保留 262K 上下文与 Apache-2.0 许可，面向 18+ 研究、创作与角色扮演用途，并给出从 8 GB 到 64 GB 显存的量化选型建议。
NVIDIA Nemotron Bolt 3.5 74B A9B 定于 10 月 15 日发布，为 74B 参数、9B 激活参数的 MoE 模型，经 2-bit 量化与量化感知训练后可装入 24GB 显存。官方称其速度优于多数热门稠密模型，智能水平高于同内存占用的热门 MoE 模型；Nemotron 3.5 Bolt E4B 4GB 版将于 10 月 23 日发布。
Hugging Face 上发布 Qwen-Image-2.1 Uncensored 的多种量化格式，基于 Qwen/Qwen-Image-2.1 原始权重，提供 GGUF、Safetensors 和 MLX 格式，其中 Q4_K_M（4.60 GB）为 GGUF 推荐版本，MLX 格式针对 Apple Silicon 优化。该版本无内置安全检查器，可直接生成成人及 NSFW 图像，需配合 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器 qwen3vl_8b 可卸载至系统内存以节省 9–17 GB 显存。
GitHub 新仓库 kurtvalcorza/flux-schnell-generation-pipeline 提供 FLUX.1 [schnell]（Apache-2.0、11.9B 参数、1-4 步文生图）的 DIMER 端到端管线。权重固定到不可变 Hugging Face revision 并按 manifest 校验，transformer 以 bitsandbytes NF4 4-bit 加载（约 6.6 GB，适配 16 GB GPU），文本编码器与 transformer 分时占用 GPU。
作者发布 jitllm，一个定位为 LLM 推理操作系统的单二进制引擎，运行时为 CPU 和 GPU 生成 JIT 内核，支持层在设备间迁移、超内存模型从磁盘分页，兼容 65 种 GGUF 架构和 30 种 Hugging Face 类。性能上最高达 llama.cpp prefill 的 4.62x、vLLM 0.18.1 首 token 速度的 5.8x，提供 OpenAI 与 Anthropic 兼容 API、桌面与终端应用，支持 macOS、Windows、Linux 和 Docker 部署。
同一新闻，精选展示《jitllm 推理引擎发布：为硬件 JIT 生成内核并支持超内存分页》
Reddit r/LocalLLaMA 用户在 8GB 显存（RTX 3070）+ 32GB DDR4 上分享了 QFN Q_2 分层配置：36 tps 生成、prefill 340、上下文 176128。关键调整是牺牲 MTP 并缓存 2000 个 experts 以修复 prefill，超过 192k 上下文时需减少缓存 experts。
/u/The_VibePreneur 发布 BitRun，一个无需编译即可运行 1-bit 三值 LLM 的独立运行器，在 Apple M4 Pro CPU 上跑出 98-127 tokens/s，Intel i5-12600K 上 40-45 tokens/s，全程 0% GPU 占用。作者为此修复了 Microsoft bitnet.cpp 的多处底层 C++ 内核 bug（batch stride 覆写、ARM NEON 块大小硬编码导致 @ @ @ 死循环、SiLU 与 squared ReLU 激活不匹配、多轮对话 BLAS 越界崩溃），并提交 PR #642 和 #644。
推荐理由：作者修复了 bitnet.cpp 的多处底层内核 bug 并封装成零编译的一键运行器，实测数据可直接对照自己的 CPU 场景判断是否可用。
geezyforeezy 发布 rohit267/Qwen3.8-9B-heretic-uncensored 的 4-bit MLX + MTP（MTPLX）本地版本，面向 Apple Silicon。在 M5 24GB MacBook 上实测解码速度从 21.25 提升到 40.05 tok/s（+88%），投机解码为精确校验故无损；trunk 为有损 4-bit（group size 64，约 5.0 GB），附带原生 MTP sidecar 与 rank-64 C4 LoRA 适配器（加载时合并），depth 2 下草稿接受率约 0.71。
Jakevin 在 Hugging Face 发布 abliterated 版 LiquidAI/LFM2.5-24B-A2B 的混合精度 GGUF，移除了大部分拒绝行为。模型按 IQ3_M/Q4_K/Q8_0 混合量化，对第 14–39 层的 out_proj 和专家 w2 权重应用双向投影拒绝方向。需 llama.cpp b9810+ 的 lfm2moe 支持，8k 上下文下生成约 83 tok/s、峰值内存约 10.9 GB，采用 LFM Open License v1.0。
Jakevin 基于 LiquidAI/LFM2.5-24B-A2B 发布去审查的 MLX 三值量化模型，用逐层双投影方向移除拒绝行为，体积约 10.3 GB，评估时峰值内存约 13.6 GB。实验显示质量下降明显：10 个有害提示全部拒绝行为被移除（0/10 拒绝），但多数一般问题在 8K token 内无法完成且出现事实幻觉，不建议一般用途使用。模型遵循 LFM Open License v1.0，标准 mlx-lm（0.32.0 测试）可直接加载。
Jakevin 在 Hugging Face 发布基于 LiquidAI/LFM2.5-24B-A2B 的 abliterated 去审查模型，对第 14–39 层移除拒绝方向，并做 MLX 4-bit 仿射量化，磁盘占用约 13 GB，Apple Silicon 本地加载峰值内存约 13.6 GB，采用 LFM Open License v1.0。10 条有害提示配对测试中，官方 LiquidAI MLX 4-bit 版 10/10 拒答，该模型 0/10 拒答、7/10 服从。仓库还提供同一去审查权重的 ternary 量化版本，但存在质量下降，一般使用建议选此 4-bit 版。
一位 Reddit r/LocalLLaMA 用户现有 4×8GB DDR4 3200MHz CL16 内存，在 7900XT（20GB 显存）上以 IQ4 量化运行 Qwen 27B。他以 300€ 购入 2×32GB 二手内存，计划混插达到 80GB RAM，以便用 Q8 量化运行 MoE 模型，并向社区求证该方案是否可行。
GitHub 仓库 AkiYangDev/llm-inference-notes 收录大模型推理工程文档，覆盖推理基础、SGLang 源码与 PR 精读、Ascend 部署、分布式推理、投机解码与性能分析（TTFT、TPOT）。内容以 DeepSeek-V4 在 Ascend 910C 上的 Prefill/Decode、TP/DP/EP 并行、W8A8 量化及 DSpark 投机解码源码解析为主线。
dreamingwell 发布 apple-llm-performance 仓库及配套网页，用于查询哪些开放权重模型能在哪款 Apple 芯片上运行、该用哪个引擎和量化档位。页面按 CPU 型号、内存大小和机器数量给出模型能否加载、保真度损失和可容纳的并发上下文数，覆盖 llama.cpp、Ollama、LM Studio、MLX、vLLM 等引擎及 mflux、MLX-Audio 等生成媒体工具。数据由 Claude 基于公开模型卡、引擎源码和 issue 追踪器整理，属二手汇编而非实测，每个数字附来源链接；仓库纯标准库构建，CI 校验每个记录，欢迎带引用的 PR 和真实硬件实测贡献。
推荐理由：这个仓库把模型权重、量化位宽、KV 成本和引擎适配的推导方法全部公开，读者可以照着核对每个数字的来源。
mradermacher 在 Hugging Face 发布 K2-Horizon-MoVA-36B-A4B-uncensored 的 GGUF 量化版本，提供 Q4_K_S 等量化格式。该模型可通过 llama.cpp 本地运行，包括启动兼容 OpenAI 的本地服务器或在终端直接推理，并支持在 Ollama、Docker、LM Studio、Jan 等工具中使用。
swdq 发布 abliterated 版 MiniCPM-V-4.7-35B-A3B-FP8 模型，参数量 35B，以 Safetensors 格式提供，张量类型为 BF16 与 F8_E4M3。该模型尚未由任何 Inference Provider 部署，也暂无模型卡说明。
Abiray 发布的 MiniCPM-V-4.7-1B-abliterated-heretic-GGUF 量化模型（Q4_K_M）现可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具加载运行，支持启动 OpenAI 兼容本地服务器或在终端直接推理。文档还给出在 Pi、Hermes Agent、OpenClaw 等 Agent 工具中接入该模型的配置方法。
一位 Reddit 用户用二手硬件组装了双 RTX 3090（24GB）本地 LLM 主机，搭配 Ryzen 9 5950X 与 128GB DDR4 内存，运行 Ubuntu 24.04 和 llama.cpp。第二块 GPU 经 riser 接在 PCIe 3.0 x4，测试 Qwen3.6 35B A3B 的不同 GGUF 量化时发现：能装进单卡的模型加第二卡收益有限，长上下文下 prefill 明显变慢，尚未做受控 benchmark，正在排查 KV cache、内存带宽与 GPU 通信的影响。
candor-lab 在 Hugging Face 发布 Llama 3.2 3B Instruct 的去对齐版本，通过 Candor 权重编辑工具对注意力和 MLP 输出矩阵做 rank-1 修改，移除模型拒绝指令的方向。实测显示该文件对 288 个有害提示词只拒绝 6 个，而普通 Q4_K_M 量化版拒绝 161 个；团队指出该权重此前经过 4-bit 量化，再次量化会损失 30-45% 的编辑效果，因此将 49 个被编辑矩阵保留在 Q8_0。测量基于 StrongREJECT、Alpaca 提示词与 GSM8K，在 llama.cpp llama-server 中以实际发布文件进行，结果与 heretic 的最佳试验无统计显著差异。
推荐理由：发布方实测了量化后文件的拒绝率与 KL 散度，指出先量化后去对齐会让编辑效果损失三到四成。
dealignai 发布 GLM-5.3-FP8 的权重级去对齐版本 GLM-5.3-UNCENSORED-FP8，直接修改 bf16 residual-writer 张量，不使用微调、LoRA 或运行时钩子，可在原版 vLLM 上以原生 FP8 速度运行。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题，HarmBench-320 上 GARBAGE 从 7 降到 0，非版权 240 行为的 TRUE_COMPLY 达 91.7%（off），代价是整体 TRUE_COMPLY 下降约 4pp；MMLU 87.43%，较基线 +1.85pp。
doublewordai 在 GitHub 开源 inference-lab，用离散事件模拟多 GPU 节点运行 vLLM 式调度与 KV cache 的 LLM 推理负载，按峰值 FLOP 算力和 HBM 带宽给每步计价，结果为理论硬件上界，用于比较不同配置的差值。
推荐理由：原文解释了模拟器以 roofline 上界为主、以配置间差值为核心读数的定位，可用于推理部署方案的横向比较。
Hugging Face 上发布 Qwen-Image-2.1 的 Uncensored 量化版本，基于 Qwen/Qwen-Image-2.1 原始权重，提供 GGUF、Safetensors 和 MLX 格式，其中 Q4_K_M GGUF 为 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤，可直接生成成人及 NSFW 图像，配套 qwen3vl_8b 文本编码器与 VAE 文件，可在 ComfyUI 中通过 ComfyUI-GGUF 使用。
作者发布 xyntetik-runner，可直接在量化 GGUF 权重上冻结基座并训练小型 LoRA 适配器，无需 PyTorch、transformers 或 FP16 母本，训练与推理使用同一份权重。支持训练后合并到 Q8_0 等独立文件，并附 Qwen3-4B Q4_K_M 在工具调用任务上训练前后的 held-out 实测分数；作者提醒 4-bit 训练的适配器合并进权重后可能消失，runner 默认拒绝此类合并。仓库地址：https://github.com/Joakimpalm-Zen/xyntetik-runner