AI 周报 · 2026 年第 41 周 · 10.05 — 10.11
麦式AI情报站
本周去对齐模型发布密集，GLM-5.3-Flash、Swift 1.5、Qwen3.8-27B 等多个模型的去拒绝量化版集中出现，部分附逐块去拒向量并给出拒绝率实测。工程与部署方面工具链活跃，出现多个 Rust 或纯 C 的本地推理引擎，以及无 NVLink 六卡跑 Qwen3.8-Flash-Next 的补丁。论文方面，NVIDIA 的 Nemotron 3 经微调在 IMO 2026 与 IOI 2026 达到金牌水平。
Ternary Bonsai 2 27B Abliterated v2 GGUF 发布，修复思考预算耗尽问题
timfromhcs 发布 Ternary Bonsai 2 27B Abliterated v2 的 PQ2_0 GGUF 权重，通过修改输出层一行让模型在答案写完后关闭推理，避免 v1 把答案写进推理导致预算耗尽出空白回答。在 StrongReject 150 条有害请求、16,384 token 预算测试中得分 0.941（151 中空白 7 次），优于 Hikari07jp 0.738、OS-Software Heretic 0.723 等其他消融版本；SimpleSafetyTests 拒绝率 0%，MMLU 相比原版降 0.56 点，是同类中代价最小的。
无对齐模型发布/更新
本版导读去对齐手段以投影移除拒绝方向和运行时消融向量为主，量化版本普遍照顾消费级显存并保留 MTP 头。
BoldingBuilds 发布 AREX-2 Abliterated GGUF 去对齐版本
BoldingBuilds 发布 BAAI AREX-2（基于 Qwen3.8 的 27B agent 微调）的去对齐 GGUF 版本，将拒绝方向从 64 个权重张量（第 8-39 块）投影移除。
GLM-5.3-Flash abliterated EXL3 2.4bpw 混合量化发布，附逐块去拒向量
作者发布 GLM-5.3-Flash 的 EXL3 混合量化（gate/up 2 bit、expert down 3 bit，约 2.4bpw，98.1 GB），并附 2.2 MB 的逐块去拒向量，运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文（77% 专家驻留 VRAM），256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝，原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个；带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959，需配合作者自己的 exllamav3 fork 使用，许可证 MIT。
GLM-5.3-Flash 去拒绝向量版发布：EXL3 2.05bpw 量化加运行时消融
作者 alesha-pro 发布 GLM-5.3-Flash 的去拒绝版本，复用 turboderp 的 EXL3 2.05bpw 量化权重，仅新增一个 2.2 MB 的逐块向量文件（44 个块各 3 个方向）并在自研 exllamav3 fork 中运行时减除。在 4x RTX 3090 上以 256K 上下文、视觉、工具调用和 MTP 达 75 tokens/s；438 条 AdvBench 与 JailbreakBench 请求中，加向量后拒绝数从 222 降至 0（严格二分类判定为 1/438），代价是 KLD 从 0.1219 升至 0.1318。作者同时提供 2.4bpw-mix 与 GGUF 版本，并列出仅有单一硬件、无人工标注等限制。
jakeatx 发布 Swift 1.5 Qwen3.8-27B 无审查版 2.3bpw GGUF 量化，面向 12 GB 显卡
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
Qwen3.8-27B-Uncensored GGUF 量化版发布，拒绝率从 98/100 降至 12/100
作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本（IQ2_M 到 Q8_0），用 Heretic 移除拒绝方向，保留 MTP 头，拒绝行为显著减少但未消除，从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加（相对约 0.7%），MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测（n_max 1 时约 1.19x-1.28x 加速）。
Swift-1.5-Qwen3.8-27B 无对齐 GGUF 版发布，合并 MTP 头并附拒绝率实测
pierpaolo 在 Hugging Face 发布了 Swift-1.5-Qwen3.8-27B-NVFP4-Uncensored-MTP 的 GGUF 构建，基于 UkisAI Swift 1.5 对 Qwen3.8-27B 的微调，把安全拒绝方向从权重中投影移除，并从带审查的上游版本合并 MTP 头以支持 llama.cpp 的 --spec-type draft-mtp 推测解码。
MiMo-V2.6-Distill-Qwen-9B 发布 abliterated 版，拒绝率从 78.1% 降至 9.4%
作者 Hadi 对 XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B（MIT 许可）做拒绝消融，在 Hugging Face 发布 Flexingmeow/MiMo-V2.6-Distill-Qwen-9B-Abliterated（D 激进变体），拒绝率从 78.1% 降到 9.4%，数学推理准确率保持 100%，困惑度变化小于 0.03 NLL。因 qwen3_5 混合注意力架构不被现有工具支持，作者自写了基于 transformers 的管线，全程 CPU 完成。关键发现是拒绝方向必须从生成的回复区提取，在提示词末 token 提取的方向消融后无效（KL ≈ 1e-7，拒绝率不变）；作者也提示评测集较小且微调可能重新引入拒绝。
工程与部署
本版导读本地推理工具链趋向轻量自研，MoE offload、Agent 会话记忆、对话压缩与微调工具都有更新，并补充了 AMD 双卡实测。
GitHub · 灵魂体仓库10.08mcp-zeromem 开源：零 token 开销的 Agent 会话记忆 MCP 服务
cubicecho 在 GitHub 发布 mcp-zeromem，一套基于 MCP 的 Agent 会话记忆方案，按 Zero-Mem 论文（arXiv:2607.29377）以 Rust 干净室重写，写入与召回不经过 LLM，维护记忆零 token 开销，检索只花模型读取返回内容的 token。所有轮次存入单一 SQLite 库，召回融合 lexical、entity、dense、recent 四路视图，Node MCP 服务器暴露六个 MCP 工具加 REST API。项目给出性能与评测数据：50k 轮次冷启动打开 281 ms，recall p50 83 ms；bge-small-en-v1.5 在 large 语料 recall@5 0.98、MRR 1.00。
GitHub · 去对齐工具与仓库10.06bloomery 0.2.1 发布：面向 MoE 模型 offload 的 Rust 推理引擎
midagedev 发布 bloomery 0.2.1，一个用 Rust 从 HTTP 服务器写到 CUDA kernel 的 MoE 推理引擎，兼容 llama-server 的 HTTP API 与 GGUF 文件，OpenAI 客户端无需改动。
GitHub · 灵魂体仓库10.07agentlore v0.9.0 发布：把编码 Agent 的记忆提交进仓库并用 CI 门禁校验真伪
Rudra5417 发布 agentlore v0.9.0，一个把编码 Agent 的决策、死路和规则记录到 .memory/ 的仓库记忆工具，编译进 AGENTS.md 并在 CI 里做 18 项检查，包括检测已被本次变更推翻的死路记录。整个工具是一个 84 KB、无依赖的 Python 标准库单文件，支持 GitHub Action、vendored、PATH 和 pip/pipx/uv 四种安装方式；作者同时给出诚实状态表，注明记忆能否提升 Agent 工作质量等宣称尚未验证，bench/ 中是真实零结果。
GitHub · 灵魂体仓库10.08kr4ckhe4d 发布本地 LLM 基准：RX 9070 XT 加 R9700 双卡实测 llama.cpp
kr4ckhe4d 在 GitHub 公布消费级 AMD GPU 上的本地大模型实测数据，硬件为 RX 9070 XT 16GB 与 Radeon AI PRO R9700 32GB（均为 RDNA4/gfx1201），在 Linux 下用 ROCm 7.2 与 llama.cpp b11434 测得。双卡后 MoE 预设去掉 CPU offload，生成速度提升 38-183%；Qwen3.8-27B UD-Q6_K + MTP 达 57 tok/s、KLD 0.0020，并在 Claude Code 中与 Q8_0 相当且快 12%；Gemma 4 26B-A4B + MTP 在 128K 上下文下达 143 tok/s。
GitHub · 灵魂体仓库10.06JuL 开源 Python 库发布：本地运行类型化文本决策，对标 Jev 托管 API
JuL 是一个开源 Python 库，对文本回答类型化问题（Choice、Noul、Score）并附带概率，答案直接从模型隐藏状态读出，无需推理轨迹，Mac 上单次决策 55 ms。
Qwen3.8-Flash-Next 无 NVLink 六卡部署补丁发布，250k 上下文 prefill 提速 8-10 倍
/u/flynth92 发布 llama.cpp 性能分支 llama.cpp-multigpu，在六张 3090 纯 PCIe（无 NVLink、无 P2P）上跑 Qwen3.8-Flash-Next，250k 上下文 prefill 从 263 提到 2111 t/s（8 倍），六张 4090 上为 10 倍；单会话 250k decode 提速 2.3-3.3 倍，五会话各 250k 时从 2.3 提到 27.3 t/s。补丁基于上游 df03399b8，提供 CUDA 12.9/13.4 tarball 和 ghcr 镜像，通过环境变量开启；附 n-gram 推测解码，代码改写场景再提速 2-2.5 倍。作者说明仅在 CUDA、该单一模型上测试，代码经 LLM 编写并以实测验证，未向上游提 PR。
GitHub · 去对齐工具与仓库10.06SparkInfer 发布面向 Blackwell GPU 的 C++/CUDA 推理运行时
gittensor-ai-lab 在 GitHub 开源 SparkInfer，一个面向 Blackwell GPU 的原生 C++/CUDA MoE/LLM 解码运行时，2.5 MB 二进制、无 Python 栈，一条 docker 命令即可起 OpenAI 兼容端点。
GitHub · 去对齐工具与仓库10.07xyntetik-runner 1.0.2 发布：单文件 C 本地模型运行器
Joakimpalm-Zen 发布 xyntetik-runner 1.0.2，一个纯 C 编写的单文件本地推理引擎，支持 Linux、macOS 和 Windows，兼容 GGUF 与 OpenAI、Anthropic API，Apache 2.0 开源。工具可仅读模型文件前几 MB 判断是否装得下，在 72 次测试中 70 次命中真实 GPU/CPU 分层且从不乐观；--kv k8v4 将上下文缓存压到约 41%，空闲时 63 GB 模型仅占 35 MB 内存（llama-server 为 60.8 GB）；被截断的工具调用仍可解析，LoRA 可直接在量化文件上训练，Qwen3-4B 4-bit 工具调用准确率从 0.69 升至 1.00。
GitHub · 去对齐工具与仓库10.07Soup CLI 发布：一条命令完成 LLM 微调，8B 模型可在 4 GB 笔记本 GPU 上训练
开源工具 Soup 发布，用一条命令和一份 YAML 配置完成 LLM 微调与后训练，支持 SFT、DPO、GRPO 等任务，无需 SSH 或云服务。其层流式（layer streaming）功能在 RTX 3050 Laptop 4 GB 上以 QLoRA 训练 Llama-3.1-8B-Instruct，峰值显存 3.32 GB、119.6 tok/s，并在 H100 上以 113.00 tok/s 独立复现（均为 v0.72.2 测量，重测待 issue #361）。v0.75.0 修复 MLX 后端静默丢弃已验证配置项的问题，未知配置键现在会报错拒绝加载，验证损失开始被记录和展示，并要求 torch>=2.6.0。
GitHub · 灵魂体仓库10.09roleplay-slim 发布：保护人格前缀的对话 token 压缩库与代理
GitHub 上的 roleplay-slim 项目发布 v0.4，提供 Python 库和 OpenAI Chat Completions 兼容代理，用于压缩持久角色机器人的对话历史，同时保证人格前缀逐字节不变以维持 provider 前缀缓存命中。基准显示 500 轮对话从 37,176 tokens 压到 19,545 tokens（省 47.4%），默认规则压缩省 16.5%，可自带 summarizer 进一步省 92% 以上；安装包小于 5 MB，支持 DeepSeek 等前缀缓存 provider，本地代理运行在 127.0.0.1:8791，无需改代码。
GitHub · 去对齐工具与仓库10.05PXA v2026.10.2 发布：面向 P100/V100 的推理引擎与 PXQN 量化格式
poisonxa16 发布 PXA v2026.10.2，为 Tesla P100、V100 和 GTX 10 系列提供 PXQN 量化格式、tensor split、MTP 投机解码与一键 PXA Control 网页控制台。
论文研究
Nemotron 3 微调后达到 IMO 2026 与 IOI 2026 金牌水平
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。