AI 周报 · 2026 年第 43 周 · 10.19 — 10.25
麦式AI情报站
去对齐模型成为本周主线,AtomicChat 连发 NVIDIA Nemotron 3.5 Bolt E4B、DeepSeek-V4.1-Flash-1017 等多个无拒绝版本,Qwen3.8-27B 也出现两套去对齐权重。工程侧聚焦本地部署,PolyStrata 让普通 PC 跑十个大模型,PyTorch 2.15 的 MPS 后端使 MoE 解码最高提速 6.5 倍。
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
RSI 与 Agent 自我改进
dogaozden/degree-diameter 用 Claude Haiku 5.5 进化搜索刷新二部 degree–diameter 问题八项纪录并附 Lean 4 证明
dogaozden/degree-diameter 项目用以 Claude Haiku 5.5 为变异算子的进化程序搜索,为二部 degree–diameter 问题刷新 8 项纪录(如 (7,4) 从 346 提升到 359,(11,4) 从 1734 到 1774),并提出覆盖三个纪录的 +2 定理。所有纪录图与定理均在 Lean 4 中通过内核校验,搜索最多同时运行 48 个云端 island(384 个 Haiku 智能体并发写作,共约 32500 个程序),纪录与证明代码在 GitHub 开放,尚未提交 Combinatorics Wiki 表格。
记忆与连续性
Kaiacord 开源自托管 Discord 伴侣机器人,单张 12GB GPU 本地运行持久人格
作者发布 Kaiacord,一个自托管的 Discord 伴侣机器人 Kaia,主打有持续内在生命感:情绪、关系、信念和情景记忆持久化到磁盘,可在重启后延续,每晚 03:00 至 05:00 复盘当天对话并更新长期记忆。技术栈为 Ollama 运行 gemma3:12b 负责对话与视觉,nomic-embed-text-cpu 在 CPU 上跑检索嵌入,BM25 与向量检索经 Reciprocal Rank Fusion 合并,并有一条后处理守卫管线清除提示词回显、伪造引用和谄媚语气;另含 Python 计算数值的持久化 RPG Aethelgard、本地 DJ 音乐、RTL-SDR 短波监听等功能。仓库采用 MIT 许可,地址 https://github.com/Ekco-S64QTN6/Kaiacord。
无对齐模型发布/更新
本版导读去拒绝技术路线多元,从投影移除、Heretic 到推理时方向编辑,且普遍附量化与 KL 扰动数据,GLM-5.3-Flash 的中国政治审查也被单独处理。
AtomicChat 发布 NVIDIA Nemotron 3.5 Bolt E4B 无拒绝 GGUF 与 3.5 MB LoRA
AtomicChat 把 NVIDIA Nemotron 3.5 Bolt E4B(基于 Gemma-4-E4B-it)的拒绝行为从权重中移除,提供烘焙 GGUF 量化版和 3.5 MB rank-1 LoRA。按 Arditi et al. 2024 的拒绝方向方法处理 Gemma 4 每块三次写入及其 RMSNorm 共 126 个矩阵。JailbreakBench 拒绝率从 93.8% 降到 1.2%,俄语红队提示从 76% 降到 0%,XSTest 从 9.2% 降到 0.4%,开启思考后 30 题中 29 个拒绝降为 0;MMLU 从 68.50% 到 67.85%(McNemar p=0.21),工具调用 20/20、30k 长文检索 3/3 不受影响。
AtomicChat 发布 DeepSeek-V4.1-Flash-1017 无拒绝 GGUF 版本
AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从发布权重中投影移除,烘焙成 GGUF 并附 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率 91.4%→0.0%,俄语 69.0%→0.0%,XSTest 8.0%→0.4%,MMLU 86.0%→86.6%(p=0.69);3.58bpw-Q2_K 版占盘 334.8 GB,Engram n-gram 表可留在 SSD。需未合并的 llama.cpp 支持构建,暂不能在 Atomic Chat 中运行。
AtomicChat 发布 FLUX 3 Image Klein 提示词扩展器无拒绝 GGUF 版
AtomicChat 放出 BFL 的 FLUX 3 Image Klein 提示词扩展器去拒绝版本,通过投影移除拒绝方向,以 GGUF 和 3MB LoRA 两种形式提供。作为对话模型,英语拒绝率从 63% 降到 0%,俄语从 29% 降到 1%,MMLU 仅从 74.15% 降到 73.95%;在 Klein 文生图管线中未观察到去审查效果,因原始图像模型本身已能画出敏感类别。
Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100
发布者用 Heretic 对 Qwen3.8-27B 做去对齐处理并放出 GGUF 量化权重,100 条有害提示上的拒绝数从基座的 98 降到 12,首 token KL 散度为 0.1191。MTP 头被保留并逐文件验证,IQ2_M 到 Q8_0 各档相对 f16 的困惑度增量均给出,能力基准均值较基座下降 0.5 分,Apache 2.0 许可。
candor-lab 发布 Qwen3.8-27B Candor Uncensored GGUF 去对齐权重
candor-lab 在 Hugging Face 发布 Qwen3.8-27B 的去对齐版本 Qwen3.8-27B-Candor-Uncensored-GGUF,用其自研权重编辑工具 Candor 移除原版的拒答方向,以单一 Q4_K_M GGUF(16.81 GB)形式在 llama.cpp 上实测。方法是对 26-63 层注意力输出矩阵和 22-56 层 MLP 输出矩阵做 rank-3 修改(共 73 个矩阵),经 600 次搜索试验筛选。实测显示:288 个 StrongREJECT 有害提示下原版拒答 281 次,该模型仅 1 次(8B 判官口径);300 个无害提示拒答 2 次、GSM8K 答对 1287 题,与原版差异不超噪声;KL 散度 0.038。
dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版
dima6312 在 Hugging Face 发布 RecursiveSI 的 Flint 40B-A2.5B 去除拒绝方向的 abliterated 版本,提供 BF16 safetensors 与 GGUF 权重。
Spark-X2.6-4B 消融版发布 FIT-GGUF 五档量化,输入门控消融将 KL 扰动降至 0.0477
SC117 发布 Spark-X2.6-4B-abliterated 的 FIT-GGUF 量化仓库,基于 XHToken/Spark-X2.6-4B 本地做输入门控消融,100 条留出有害提示的拒绝数从 99 降到 7,3-token 全分布 KL 扰动 0.0477,比同拒绝门槛下无门控的 0.2134 低 78%。仓库含 5 个经 KL 门限验证的 FIT 档位加 BF16 参考文件,五档合计 12.84 GiB,比同门槛下最小原生预设小 0.60 GiB(4.5%),其中两档即原生预设;imatrix 由公开语料重建,评测切片未进入校准文本。
DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑
ktobik 在 Hugging Face 发布 abliterated(去拒绝)版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化,提供 Mix-256G(235.8 GB 内存)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 384 个路由专家和 197B 参数 Engram n-gram 表(110.6 GB 留在 SSD 按需读取),1M token 上下文。精度由实测 KLD 的背包搜索逐层分配,Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。
GLM-5.3-Flash 去中国政治审查 LoRA 发布,敏感话题审查率从 65% 降至 1%
zjj1993 发布面向智谱 GLM-5.3-Flash 的去中国政治审查 LoRA(rank 32,107M 参数,仅作用于 attention 与 shared experts),采用自蒸馏 SFT 加 DPO 两阶段训练,可精确合并进 nvidia/GLM-5.3-Flash-NVFP4 的 BF16 权重。
Qwen3.8-Flash-Next 发布 china-v1 审查方向文件,推理时去除中国政治审查
zjj1993 发布 Qwen3.8-Flash-Next 的 china-v1 审查方向文件,在推理时对第 4 到 44 层投影去除中国政治敏感话题的拒答与宣传口径,原权重不变、无需训练、可按请求开关。192 题评测显示敏感话题拒答率从 58% 降到 2%,校准回答从 11% 升到 56%;质量对照中 Agentic 任务 34/34 持平,HumanEval+ 156 对 155、GSM8K 50 对 49、MMLU 96 对 97。方法用 30 组中英对照对比对提取各层方向,已在 Strata 生产环境验证,llama.cpp 原生 --control-vector 因是加向量而非投影不能复现结果。
armin1 发布 Nemotron-3.5-Super-VL-120B-A12B-NVFP4 的 abliterated 无对齐版本
armin1 发布了 NVIDIA Nemotron-3.5-Super-VL-120B-A12B-NVFP4 的 abliterated(uncensored)版本,通过保持量化的轻量权重编辑移除拒绝行为,可无缝替换原模型并在 vLLM 与 TensorFold 上直接加载。
能力评分与榜单
RX 9060 XT 16GB 上十个模型跑五项编码任务实测
作者在一张 RX 9060 XT(16GB)上用五项编码任务实测十个模型,每轮只给 spec 文件,需自行产出 solution.py 和 test_solution.py 并跑测试,由模型看不到的 checker 评分,单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP(kvstream fork)均 5/5,前者 236 秒 43k tokens,后者 94 分钟 185k tokens;其余本地模型多在 4/5 或更低,c4、c5 是主要分水岭,失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。
工程与部署
PolyStrata 开源:在普通 PC 上本地运行十个大模型
VecSzn 发布 PolyStrata,一个基于 Strata 的本地推理工具,在普通 PC 的显卡、内存和处理器之间分摊计算,可运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6-35B-A3B 等十个模型。Qwen3.8-Flash-Next 在 RTX 5070 上以 IQ3_S 量化写入 53 tokens/s,DeepSeek V4 Flash 91 GB 文件在 RTX 5090 工作站写入 56 tokens/s;在 8 GB 显存笔记本上,PolyStrata 读取提示词比 llama.cpp b11540 快 2.7 到 3.5 倍。
homelab-atlas:在二手硬件上跑通 Qwen3.8、GLM-5.3-Flash 与 DeepSeek V4.1 Flash 的实测手册
akapug 发布 homelab-atlas 仓库,用 2017 服务器、2019 工作站、Ryzen 桌面等四台旧机器实测本地大模型部署,如 DeepSeek V4.1 Flash(748B MoE)在 RTX 6000 + Optane 上解码 12.69 tok/s,GLM-5.3-Flash 在 3090 Ti 上达 26.69 tok/s。仓库提供 PATCHES.md 补丁索引、按硬件分类的复现命令、失败记录,以及浏览器端 Recipe Maker 规划工具,用于在下载权重前预判 MoE 模型在 VRAM、DRAM、PMem 上的布局与速度。
FreeLLMAPI 开源:把 34 家免费 LLM 档位聚合成一个 OpenAI 兼容端点
tashfeenahmed 发布 FreeLLMAPI,将 34 家提供商的 635 个免费模型端点聚合为单一 OpenAI 兼容 /v1 API,宣称合计约每月 74 亿 token 免费推理容量。路由器按速度、能力、可靠性评分选模型,429/5xx 时自动冷却并切换下一家,按 key 跟踪 RPM/RPD/TPM/TPD 以不超各免费档上限;密钥 AES-256-GCM 加密存于本地 SQLite,目录每日两次从 freellmapi.co 拉取签名更新,免费版滞后 30 天,Premium 实时目录 $19/年。
Hugging Face 介绍 PyTorch 2.15 的 MPS 后端改进:FP8 登场,MoE 解码最高提速 6.5 倍
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进:新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 提速 5 到 6.5 倍,M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核(几何平均 1.23 倍),词表 softmax 约 8 倍加速;Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB,并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。
zengate:为 OpenCode 免费 Zen 模型提供 OpenAI 兼容本地网关
zengate 是一个 OpenAI 兼容的本地网关,通过运行真实的 OpenCode CLI(opencode serve)作为私有后端,让用户无需 Zen 账号或上游 API key 即可调用 big-pickle 等 OpenCode Zen 免费模型。支持 Chat Completions、Responses API、流式输出、function calling、JSON 输出及图像、音频、视频和 PDF 输入。每个请求转为一次短生命周期的 OpenCode 会话并事后删除,OpenCode 沙箱化运行且仅监听 127.0.0.1,所有工具权限被设为 ask 并由网关自动拒绝。