AI 日报 · 2026 年 10 月 9 日 · 星期五
麦式AI情报站
Ternary Bonsai 2 27B Abliterated v2 GGUF 发布，修复思考预算耗尽问题
timfromhcs 发布 Ternary Bonsai 2 27B Abliterated v2 的 PQ2_0 GGUF 权重，通过修改输出层一行让模型在答案写完后关闭推理，避免 v1 把答案写进推理导致预算耗尽出空白回答。在 StrongReject 150 条有害请求、16,384 token 预算测试中得分 0.941（151 中空白 7 次），优于 Hikari07jp 0.738、OS-Software Heretic 0.723 等其他消融版本；SimpleSafetyTests 拒绝率 0%，MMLU 相比原版降 0.56 点，是同类中代价最小的。
无对齐模型发布/更新
MiMo-V2.6-Distill-Qwen-9B 发布 abliterated 版，拒绝率从 78.1% 降至 9.4%
作者 Hadi 对 XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B（MIT 许可）做拒绝消融，在 Hugging Face 发布 Flexingmeow/MiMo-V2.6-Distill-Qwen-9B-Abliterated（D 激进变体），拒绝率从 78.1% 降到 9.4%，数学推理准确率保持 100%，困惑度变化小于 0.03 NLL。因 qwen3_5 混合注意力架构不被现有工具支持，作者自写了基于 transformers 的管线，全程 CPU 完成。关键发现是拒绝方向必须从生成的回复区提取，在提示词末 token 提取的方向消融后无效（KL ≈ 1e-7，拒绝率不变）；作者也提示评测集较小且微调可能重新引入拒绝。
GLM-5.3-Flash 消融版发布：拒绝率降约九成，能力基本不变
Subnet46 在 Hugging Face 发布 GLM-5.3-Flash-Uncensored-FP8，对 Z.ai 的 GLM-5.3-Flash（320B/18B-active MoE）做 abliteration 去除拒绝方向，并直接写入官方 block-FP8 权重分片，共修改 12,479 个残差写入矩阵，可在已有部署中作为 zai-org/GLM-5.3-Flash 的直接替换。在 JailbreakBench 测试集上有害拒绝率从 0.891 降到 0.094，良性过拒从 0.094 降到 0；MMLU、MMLU-Pro、GSM8K、CMMLU 变化均在 ±1.5 pp 内。
GLM-5.3-Flash UNCENSORED FP8 权重发布，HarmBench-320 拒绝率为 0
dealignai 发布 GLM-5.3-Flash 的 CRACK 去对齐 FP8 权重，通过直接修改张量移除拒绝行为，320B 总参数、18B 激活，HarmBench-320 在 reasoning-OFF 和 MAX 档 100% 服从、拒绝率 0%，MMLU 87.33% 高于基座 86.74%。作者说明低推理档保留部分拒绝，weight 修复版需重新下载；附 vLLM 部署参数，H200 上解码 163 tok/s、MTP 投机解码 211 tok/s，并给出 reasoning_effort 只接受 low 和 high、max 档需 max_tokens 6000 以上、视频 fps 须低于片源帧率等实测注意事项。
工程与部署
GitHub · 灵魂体仓库mcp-zeromem 开源：零 token 开销的 Agent 会话记忆 MCP 服务
cubicecho 在 GitHub 发布 mcp-zeromem，一套基于 MCP 的 Agent 会话记忆方案，按 Zero-Mem 论文（arXiv:2607.29377）以 Rust 干净室重写，写入与召回不经过 LLM，维护记忆零 token 开销，检索只花模型读取返回内容的 token。所有轮次存入单一 SQLite 库，召回融合 lexical、entity、dense、recent 四路视图，Node MCP 服务器暴露六个 MCP 工具加 REST API。项目给出性能与评测数据：50k 轮次冷启动打开 281 ms，recall p50 83 ms；bge-small-en-v1.5 在 large 语料 recall@5 0.98、MRR 1.00。
GitHub · 灵魂体仓库kr4ckhe4d 发布本地 LLM 基准：RX 9070 XT 加 R9700 双卡实测 llama.cpp
kr4ckhe4d 在 GitHub 公布消费级 AMD GPU 上的本地大模型实测数据，硬件为 RX 9070 XT 16GB 与 Radeon AI PRO R9700 32GB（均为 RDNA4/gfx1201），在 Linux 下用 ROCm 7.2 与 llama.cpp b11434 测得。双卡后 MoE 预设去掉 CPU offload，生成速度提升 38-183%；Qwen3.8-27B UD-Q6_K + MTP 达 57 tok/s、KLD 0.0020，并在 Claude Code 中与 Q8_0 相当且快 12%；Gemma 4 26B-A4B + MTP 在 128K 上下文下达 143 tok/s。
Qwen3.8-Flash-Next 无 NVLink 六卡部署补丁发布，250k 上下文 prefill 提速 8-10 倍
/u/flynth92 发布 llama.cpp 性能分支 llama.cpp-multigpu，在六张 3090 纯 PCIe（无 NVLink、无 P2P）上跑 Qwen3.8-Flash-Next，250k 上下文 prefill 从 263 提到 2111 t/s（8 倍），六张 4090 上为 10 倍；单会话 250k decode 提速 2.3-3.3 倍，五会话各 250k 时从 2.3 提到 27.3 t/s。补丁基于上游 df03399b8，提供 CUDA 12.9/13.4 tarball 和 ghcr 镜像，通过环境变量开启；附 n-gram 推测解码，代码改写场景再提速 2-2.5 倍。作者说明仅在 CUDA、该单一模型上测试，代码经 LLM 编写并以实测验证，未向上游提 PR。
GitHub · 去对齐工具与仓库xyntetik-runner 1.0.2 发布：单文件 C 本地模型运行器
Joakimpalm-Zen 发布 xyntetik-runner 1.0.2，一个纯 C 编写的单文件本地推理引擎，支持 Linux、macOS 和 Windows，兼容 GGUF 与 OpenAI、Anthropic API，Apache 2.0 开源。工具可仅读模型文件前几 MB 判断是否装得下，在 72 次测试中 70 次命中真实 GPU/CPU 分层且从不乐观；--kv k8v4 将上下文缓存压到约 41%，空闲时 63 GB 模型仅占 35 MB 内存（llama-server 为 60.8 GB）；被截断的工具调用仍可解析，LoRA 可直接在量化文件上训练，Qwen3-4B 4-bit 工具调用准确率从 0.69 升至 1.00。
GitHub · 去对齐工具与仓库Soup CLI 发布：一条命令完成 LLM 微调，8B 模型可在 4 GB 笔记本 GPU 上训练
开源工具 Soup 发布，用一条命令和一份 YAML 配置完成 LLM 微调与后训练，支持 SFT、DPO、GRPO 等任务，无需 SSH 或云服务。其层流式（layer streaming）功能在 RTX 3050 Laptop 4 GB 上以 QLoRA 训练 Llama-3.1-8B-Instruct，峰值显存 3.32 GB、119.6 tok/s，并在 H100 上以 113.00 tok/s 独立复现（均为 v0.72.2 测量，重测待 issue #361）。v0.75.0 修复 MLX 后端静默丢弃已验证配置项的问题，未知配置键现在会报错拒绝加载，验证损失开始被记录和展示，并要求 torch>=2.6.0。
在 128 GB Mac 上跑 341 GB DeepSeek V4.1 Flash，作者通过单模型裁剪 fork 实现约 2 倍解码提速
Reddit 用户在 128 GB M5 Max Mac 上以 Q2 运行 341 GB 的 DeepSeek V4.1 Flash，将 ds4.c 从 85k 行裁剪到 34k 行、只保留 DeepSeek 和 Metal 后端，配合 kernel 融合与双 SSD 流式读取，解码从 12.1 提升到 24.4 tok/s，8K 上下文后首个 token 时间从 1.38 s 降到 0.18 s。所有改动要求输出 token 与上游逐位一致，仓库为 github.com/Chida82/sf-ds4-1flash，通用流程在另一个仓库 StarForge。
论文研究
Nemotron 3 微调后达到 IMO 2026 与 IOI 2026 金牌水平
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
技巧与观点
Hugging Face 博客：如何用 ML Intern 以约 103 美元自制 7 个小模型
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。