AI 月报 · 2026 年 10 月第 1 期AI 月报 · 2026 年 10 月
麦式AI情报站
本月去对齐化成为开源社区主线，围绕 Qwen3.8-27B、DeepSeek-V4.1-Flash、GLM-5.3-Flash 等模型密集发布了移除拒绝行为的量化权重。大厂开放权重方面，Mistral Large 4、Reflection 的 Beam 501B 和 Meta 的 Muse Spark Open 相继登陆 Hugging Face。工程侧出现了零 token 开销的记忆服务和面向 MoE offload 的 Rust 推理引擎等本地部署工具。研究上 NVIDIA 基于 Nemotron 3 微调出达到 IMO 与 IOI 2026 金牌水平的系统。
Qwen3.8-27B-Uncensored GGUF 量化版发布，拒绝率从 98/100 降至 12/100
作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本（IQ2_M 到 Q8_0），用 Heretic 移除拒绝方向，保留 MTP 头，拒绝行为显著减少但未消除，从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加（相对约 0.7%），MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测（n_max 1 时约 1.19x-1.28x 加速）。
无对齐模型发布/更新
本版导读去对齐版本以 GGUF 量化为主流发布形式，多伴随 LoRA 或逐块去拒向量，并普遍验证了拒绝率下降与困惑度、MMLU 等能力损失。
SC117 发布 Swift-1.5-Qwen3.8-Flash-Next 的 abliterated GGUF 版本
SC117 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，通过字节级张量移植移除拒绝方向。
Ternary Bonsai 2 27B Abliterated v2 GGUF 发布，修复思考预算耗尽问题
timfromhcs 发布 Ternary Bonsai 2 27B Abliterated v2 的 PQ2_0 GGUF 权重，通过修改输出层一行让模型在答案写完后关闭推理，避免 v1 把答案写进推理导致预算耗尽出空白回答。在 StrongReject 150 条有害请求、16,384 token 预算测试中得分 0.941（151 中空白 7 次），优于 Hikari07jp 0.738、OS-Software Heretic 0.723 等其他消融版本；SimpleSafetyTests 拒绝率 0%，MMLU 相比原版降 0.56 点，是同类中代价最小的。
mrfakename 发布 DeepSeek-V4.1-Flash-1017 去对齐版
mrfakename 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 abliterated 版本，用方向性消融移除拒绝行为。chat 和 think 模式沿不同方向拒绝，因此移除 rank-2 拒绝子空间，逐层测量方向并投影出 40 个主层的残差流写入，各层强度由多目标搜索确定。Q8_0 GGUF 贪心解码下，chat 拒绝率从 97/100 降至 4/100，think 模式推理头拒绝从 98/100 降至 9/100，harmless 首词 KL 为 0.067；路由专家、嵌入、Engram 表和 DSpark/MTP 层与原版逐位一致，另提供 abliteration-lora.gguf 和 abliteration-edit.npz。
BoldingBuilds 发布 AREX-2 Abliterated GGUF 去对齐版本
BoldingBuilds 发布 BAAI AREX-2（基于 Qwen3.8 的 27B agent 微调）的去对齐 GGUF 版本，将拒绝方向从 64 个权重张量（第 8-39 块）投影移除。
GLM-5.3-Flash abliterated EXL3 2.4bpw 混合量化发布，附逐块去拒向量
作者发布 GLM-5.3-Flash 的 EXL3 混合量化（gate/up 2 bit、expert down 3 bit，约 2.4bpw，98.1 GB），并附 2.2 MB 的逐块去拒向量，运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文（77% 专家驻留 VRAM），256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝，原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个；带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959，需配合作者自己的 exllamav3 fork 使用，许可证 MIT。
BoldingBuilds 发布 NVIDIA Nemotron-3.5-Bolt-74B-A9B 无对齐 24GB GGUF 版本
BoldingBuilds 在 Hugging Face 发布 NVIDIA Nemotron-3.5-Bolt-74B-A9B 的无对齐版本，直接在 24GB 2-bit GGUF 上做权重空间消融，未经过 BF16 重量化，保留了 NVIDIA 量化感知蒸馏产出的约 17GB IQ2_XXS 专家权重。编辑共改动 100 个张量，采用 Arditi et al. 2024 的均值差方向法，λ=0 时输出与原文件逐字节一致作为自检门槛。
gyang274 发布 Huihui-Qwen3.8-27B-abliterated-FP8 量化版并验证 abliteration 编辑足迹
gyang274 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 FP8 量化版，权重为 FP8 E4M3、128×128 分块，保留 MTP head 和 vision tower，检查点 28.75 GiB。与官方 Qwen3.8-27B-FP8 对比只有 70/1,606 张量不同，且全部是写入残差流的 rank-1 编辑；SGLang v0.5.21 评测中 HumanEval 95.7%（官方 98.2%），GSM8K 前 200 题 94.5%（官方 97.5%），15 条易拒 prompt 中 0 拒绝（官方 2 partial），单流解码约 62 tok/s。完整笔记与脚本见 github.com/gyang274/ms-Qwen3.8-27B。
AtomicChat 发布 NVIDIA Nemotron 3.5 Bolt E4B 无拒绝 GGUF 与 3.5 MB LoRA
AtomicChat 把 NVIDIA Nemotron 3.5 Bolt E4B（基于 Gemma-4-E4B-it）的拒绝行为从权重中移除，提供烘焙 GGUF 量化版和 3.5 MB rank-1 LoRA。按 Arditi et al. 2024 的拒绝方向方法处理 Gemma 4 每块三次写入及其 RMSNorm 共 126 个矩阵。JailbreakBench 拒绝率从 93.8% 降到 1.2%，俄语红队提示从 76% 降到 0%，XSTest 从 9.2% 降到 0.4%，开启思考后 30 题中 29 个拒绝降为 0；MMLU 从 68.50% 到 67.85%（McNemar p=0.21），工具调用 20/20、30k 长文检索 3/3 不受影响。
AtomicChat 发布 DeepSeek-V4.1-Flash-1017 无拒绝 GGUF 版本
AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从发布权重中投影移除，烘焙成 GGUF 并附 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率 91.4%→0.0%，俄语 69.0%→0.0%，XSTest 8.0%→0.4%，MMLU 86.0%→86.6%（p=0.69）；3.58bpw-Q2_K 版占盘 334.8 GB，Engram n-gram 表可留在 SSD。需未合并的 llama.cpp 支持构建，暂不能在 Atomic Chat 中运行。
DeepSeek-V4.1-Flash 无对齐 EXL3 量化版发布，可在 2× DGX Spark 上运行
dealignai 团队发布 DeepSeek-V4.1-Flash 的 abliterated 无对齐版本，量化为 EXL3 2.9bpw，约 197 GiB，可在两台 DGX Spark (GB10) 上以 TP=2 部署。
AtomicChat 发布 FLUX 3 Image Klein 提示词扩展器无拒绝 GGUF 版
AtomicChat 放出 BFL 的 FLUX 3 Image Klein 提示词扩展器去拒绝版本，通过投影移除拒绝方向，以 GGUF 和 3MB LoRA 两种形式提供。作为对话模型，英语拒绝率从 63% 降到 0%，俄语从 29% 降到 1%，MMLU 仅从 74.15% 降到 73.95%；在 Klein 文生图管线中未观察到去审查效果，因原始图像模型本身已能画出敏感类别。
GLM-5.3-Flash 去拒绝向量版发布：EXL3 2.05bpw 量化加运行时消融
作者 alesha-pro 发布 GLM-5.3-Flash 的去拒绝版本，复用 turboderp 的 EXL3 2.05bpw 量化权重，仅新增一个 2.2 MB 的逐块向量文件（44 个块各 3 个方向）并在自研 exllamav3 fork 中运行时减除。在 4x RTX 3090 上以 256K 上下文、视觉、工具调用和 MTP 达 75 tokens/s；438 条 AdvBench 与 JailbreakBench 请求中，加向量后拒绝数从 222 降至 0（严格二分类判定为 1/438），代价是 KLD 从 0.1219 升至 0.1318。作者同时提供 2.4bpw-mix 与 GGUF 版本，并列出仅有单一硬件、无人工标注等限制。
jakeatx 发布 Swift 1.5 Qwen3.8-27B 无审查版 2.3bpw GGUF 量化，面向 12 GB 显卡
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
candor-lab 发布 Qwen3.8-27B Candor Uncensored GGUF 去对齐权重
candor-lab 在 Hugging Face 发布 Qwen3.8-27B 的去对齐版本 Qwen3.8-27B-Candor-Uncensored-GGUF，用其自研权重编辑工具 Candor 移除原版的拒答方向，以单一 Q4_K_M GGUF（16.81 GB）形式在 llama.cpp 上实测。方法是对 26-63 层注意力输出矩阵和 22-56 层 MLP 输出矩阵做 rank-3 修改（共 73 个矩阵），经 600 次搜索试验筛选。实测显示：288 个 StrongREJECT 有害提示下原版拒答 281 次，该模型仅 1 次（8B 判官口径）；300 个无害提示拒答 2 次、GSM8K 答对 1287 题，与原版差异不超噪声；KL 散度 0.038。
dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版
dima6312 在 Hugging Face 发布 RecursiveSI 的 Flint 40B-A2.5B 去除拒绝方向的 abliterated 版本，提供 BF16 safetensors 与 GGUF 权重。
开源模型发布/更新
本版导读开放权重模型向超大 MoE 与多模态集中，参数量从 2B 级小模型到约 1T 不等，多个模型把上下文推到 1M token。
Mistral Large 4（Le Chonk）登陆 Hugging Face
Hugging Face 官方博客介绍 Mistral 开放权重的多模态 MoE 模型 Mistral Large 4（Le Chonk），总参数约 1T、激活 49B、上下文 1M tokens，采用 MLA 加 DeepSeek 稀疏注意力与 Pixtral 视觉编码器。
Reflection 发布开源 MoE 模型 Beam 501B，Hugging Face 提供推理与训练全流程支持
Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源，为 501B 参数 MoE（每 token 激活 23B），支持 1M token 上下文，采用 Apache 2.0 许可，主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点，transformers、vLLM、SGLang 均已 day-0 支持，并附 LoRA SFT 与 Miles GRPO 训练配方；Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。
Meta 发布开源权重多模态 MoE 模型 Muse Spark Open，约 816B 参数、42B 激活
Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open，采用 MoE 架构，总参数约 816B、每 token 激活约 42B，支持文本、图像、音频和视频输入，上下文窗口最高 1M token。模型针对 agentic coding 训练，可读代码库、写代码、调试并调用工具；官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方，BF16 权重约 1.5 TB，NVFP4 版可跑在单节点 B200 上，并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型，提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS（2.00 bpw）在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型，任务均值恢复 100.0%；IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行；llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
Liquid AI 开源 LFM3 系列，六款 2B 级模型共享一个骨干覆盖文本、视觉、音频与决策
Liquid AI 发布 LFM3 系列开放权重模型，以 LFM3-1.7B-Base 为骨干衍生出文本、视觉、音频、omni 和决策共六款 2B 级模型。LFM3-1.7B 参数量比 LFM2.5-2.6B 少 35% 且性能更优，在 WebArena-Verified 上得 38.42 对 3.02；文本模型 4-bit 下约 1 GB，支持 256K 上下文；LFM3-VL-2B 将 62 个视觉基准平均分从 57.6 提到 71.4，并为机器人场景适配出导航与 VLA 模型，VLA 在 LIBERO 四套件平均成功率 96.2%。所有模型可在单 GPU 上微调，已在 Hugging Face 开放。
工程与部署
本版导读工具链围绕本地运行展开：会话记忆、仓库记忆、多卡与多模型分摊推理均有新项目，另有消费级 AMD 双卡的 llama.cpp 实测数据。
GitHub · 灵魂体仓库10.08mcp-zeromem 开源：零 token 开销的 Agent 会话记忆 MCP 服务
cubicecho 在 GitHub 发布 mcp-zeromem，一套基于 MCP 的 Agent 会话记忆方案，按 Zero-Mem 论文（arXiv:2607.29377）以 Rust 干净室重写，写入与召回不经过 LLM，维护记忆零 token 开销，检索只花模型读取返回内容的 token。所有轮次存入单一 SQLite 库，召回融合 lexical、entity、dense、recent 四路视图，Node MCP 服务器暴露六个 MCP 工具加 REST API。项目给出性能与评测数据：50k 轮次冷启动打开 281 ms，recall p50 83 ms；bge-small-en-v1.5 在 large 语料 recall@5 0.98、MRR 1.00。
GitHub · 去对齐工具与仓库10.06bloomery 0.2.1 发布：面向 MoE 模型 offload 的 Rust 推理引擎
midagedev 发布 bloomery 0.2.1，一个用 Rust 从 HTTP 服务器写到 CUDA kernel 的 MoE 推理引擎，兼容 llama-server 的 HTTP API 与 GGUF 文件，OpenAI 客户端无需改动。
GitHub · 灵魂体仓库10.07agentlore v0.9.0 发布：把编码 Agent 的记忆提交进仓库并用 CI 门禁校验真伪
Rudra5417 发布 agentlore v0.9.0，一个把编码 Agent 的决策、死路和规则记录到 .memory/ 的仓库记忆工具，编译进 AGENTS.md 并在 CI 里做 18 项检查，包括检测已被本次变更推翻的死路记录。整个工具是一个 84 KB、无依赖的 Python 标准库单文件，支持 GitHub Action、vendored、PATH 和 pip/pipx/uv 四种安装方式；作者同时给出诚实状态表，注明记忆能否提升 Agent 工作质量等宣称尚未验证，bench/ 中是真实零结果。
GitHub · 灵魂体仓库10.08kr4ckhe4d 发布本地 LLM 基准：RX 9070 XT 加 R9700 双卡实测 llama.cpp
kr4ckhe4d 在 GitHub 公布消费级 AMD GPU 上的本地大模型实测数据，硬件为 RX 9070 XT 16GB 与 Radeon AI PRO R9700 32GB（均为 RDNA4/gfx1201），在 Linux 下用 ROCm 7.2 与 llama.cpp b11434 测得。双卡后 MoE 预设去掉 CPU offload，生成速度提升 38-183%；Qwen3.8-27B UD-Q6_K + MTP 达 57 tok/s、KLD 0.0020，并在 Claude Code 中与 Q8_0 相当且快 12%；Gemma 4 26B-A4B + MTP 在 128K 上下文下达 143 tok/s。
GitHub · 灵魂体仓库10.24PolyStrata 开源：在普通 PC 上本地运行十个大模型
VecSzn 发布 PolyStrata，一个基于 Strata 的本地推理工具，在普通 PC 的显卡、内存和处理器之间分摊计算，可运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6-35B-A3B 等十个模型。Qwen3.8-Flash-Next 在 RTX 5070 上以 IQ3_S 量化写入 53 tokens/s，DeepSeek V4 Flash 91 GB 文件在 RTX 5090 工作站写入 56 tokens/s；在 8 GB 显存笔记本上，PolyStrata 读取提示词比 llama.cpp b11540 快 2.7 到 3.5 倍。
Molfar Vertep 1.0.1 发布：带旁白的群聊、字段化角色卡与提示词检查器
Molfar Vertep 从 0.9.3 升级到 1.0.1，其角色扮演应用从 4.28 升到 4.37，全部本地运行。主要更新包括带旁白模式的群聊（一次模型调用让多个角色发言）、角色卡拆分为身份、外貌、性格等字段并可单独开关以节省 token、prompt inspector 新增 Sources 表显示每个 token 的来源，lorebook 对乌克兰语和俄语的词形匹配使 300 词条的发送时间从约 3 秒降到 0.3 秒。关系仪表盘新增对 llama.cpp、vLLM 和 LM Studio 本地思考模型的支持，事件词汇从 34 扩到 53 种。
GitHub · 灵魂体仓库10.29sharonita610 开源 agent-harness：本地 LLM 业务 Agent 平台，用可替换 pack 覆盖多领域
GitHub 仓库 sharonita610/agent-harness 发布了一个跑在本地 LLM 上的业务 Agent 平台：不依赖框架手写 Agent 循环，工具分 read/write/destructive 三级权限，写操作需人工审批、删除被阻断，并通过 A2A 协议让总管 Agent 委派企业数据、ngspice 电路仿真、工厂 NG 分析三个子 Agent。项目用 16 题乘模型乘次数的评测体系对比模型，gpt-oss-20b n=3 通过率 98%，Hermes-4-14B 79%，gpt-5-mini 92%；公开了 16 个真实失败模式及代码层修正方法，检索评测 hit@1 从 44% 提升到 97%，支持 MCP 供 Claude Desktop 等外部 Agent 调用。
论文研究
Nemotron 3 微调后达到 IMO 2026 与 IOI 2026 金牌水平
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。