AI 日报 · 2026 年 10 月 16 日 · 星期五
麦式AI情报站
Meta 发布开源权重多模态 MoE 模型 Muse Spark Open,约 816B 参数、42B 激活
Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M token。模型针对 agentic coding 训练,可读代码库、写代码、调试并调用工具;官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方,BF16 权重约 1.5 TB,NVFP4 版可跑在单节点 B200 上,并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。
无对齐模型发布/更新
AtomicChat 发布 NVIDIA Nemotron 3.5 Super VL 120B-A12B 无拒绝 GGUF 版
AtomicChat 将 NVIDIA Nemotron 3.5 Super VL 120B-A12B 的拒绝行为从权重中移除,发布 Atomic Dynamic GGUF 量化版本。JailbreakBench 拒绝率从 95.1% 降到 0%,俄语红队提示从 76% 降到 2%,MMLU 保持 85.05% 到 85.10% 基本不变;方法基于 Arditi et al. 2024 的单一方向拒绝机制,对写入残差流的 128 个矩阵做投影编辑,提供 AD-Q4_K_S、AD-IQ3_XXS、AD-Q2_0_L 三档量化,上游 llama.cpp 可直接运行。
Pragmatism0220 发布 Qwen3.8-Flash-Next 拒绝方向控制向量 GGUF
Pragmatism0220 在 Hugging Face 发布单文件 GGUF 控制向量,提取 huihui-ai 对 Qwen3.8-Flash-Next 去对齐版本所移除的拒绝方向,可在基础模型任意 GGUF 量化上运行时加载并自行调节强度。该文件 483,520 B,含 47 层 F32 方向张量;实测显示 huihui 的发布只编辑 96 个写入残差流的矩阵,v2 以约 1.78 倍 v1 的强度使用同一方向,与 v2 量化权重的方向偏差 3.3×10⁻⁶ 低于测量噪声底。支持 llama.cpp 的 --control-vector 加载,-1.0 近似 v1、-1.78 近似 v2;仓库未包含拒绝率等行为评测。
AtomicChat 发布 Ternary-Bonsai-2-9B 去对齐 LoRA(GGUF)
AtomicChat 在 Hugging Face 发布 rank-1 投影 LoRA,通过移除 Ternary-Bonsai-2-9B-gguf 残差写入路径(attn_output、ssm_out、ffn_down)的拒绝方向实现去对齐,基础权重不变,以适配器形式发布。拒绝率从 100.0% 降至 0.0%,无害提示误拒从 1.9% 降至 0.0%,MMLU(n=300)从 76.0 降至 71.7;推荐 scale 1.0(1.5 开始退化),残差泄漏约 1e-4,作者标注为研究级产物,许可证继承基座模型。
LFM2.5-24B-A2B 去对齐 GGUF 版发布,附拒绝率与能力实测
alexwkleung 用 Heretic 对 LiquidAI/LFM2.5-24B-A2B 做方向性消融,改动 926 个权重张量以降低拒绝行为,并转成 GGUF 量化发布。在 44 题独立有害集上,开启思考模式下 stock 版 44/44 拒绝,去对齐版约 34 顺从、9 偏转、1 干净拒绝;GSM8K 配对测试 n=100 两者均 98/100,KL 0.169。作者还发布 5 个量化文件与自算 imatrix,并提醒 LFM Open License 对年收入超 1000 万美元实体限制商用。
开源模型发布/更新
DMAD 发布:把分布匹配蒸馏改写为对抗蒸馏,4 步生成 MiniMax-H3 音视频
Texas A&M 与 ByteDance 团队发布 DMAD(Distribution Matching as Adversarial Distillation)仓库及论文(arXiv:2610.02188),将分布匹配蒸馏重构为分类问题,用共享骨干上的两个判别头直接学习 log-density ratio,免去 DMD 所需的辅助扩散模型。基于 MiniMax-H3(33B,文生音视频)训练的 rank-128 LoRA 可将 50 步 teacher 压缩为 4 步生成 1344x768、124 帧、32 kHz 立体声视频;4 步 student 在人类偏好上对 DMD2 达 79.1%、对 rCM 达 84.6%(不含平局)。
工程与部署
aiyinyuedejustin 发布中文 agent 工程知识库 agent-engineering-fundamentals
aiyinyuedejustin 在 GitHub 发布中文 agent 工程知识库 agent-engineering-fundamentals,讲把 LLM agent 从能跑做到能上线运营所需的组件与设计决定。内容含一篇按 15 类责任展开的 Agent harness 与 loop 长文、10 个专题章节和 8 份推荐阅读,资料核对截至 2026-10-14,附 581 项分类来源与 23 项补充核验,来源包括官方契约、OpenAI Codex、LangGraph、vLLM 等开源项目源码及作者一手实践;只收隐含工程知识与影响设计决定的内容,以 CC BY 4.0 许可发布。
三台 4x R9700 本地推理机实测:单机约 $10.7k、共 384GB VRAM,附完整配置与 vLLM 吞吐数据
Reddit 用户 /u/NickReese 分享了三台 4x ASRock Radeon AI PRO R9700(32GB)本地推理机的搭建与实测,单机含税运费约 $10,733.91,采用 $127.17 的二手 EPYC 7452 替代 Threadripper,三台共 384GB VRAM,用于其枪械行业信息业务 USA Arms 的数据抽取。推理栈为 vLLM-Radiance 1.0.387(vLLM 0.30.0、ROCm 7.14),每台跑两个 TP=2 引擎运行 Qwen3.8-27B-FP8,FP8 KV cache 加 MTP 8 draft tokens;16 用户 MT-Bench 聚合 484 tok/s,32K 上下文预填充 6,696 tok/s。
z80dev 开源 Lemon:常驻后台的编码智能体运行时
z80dev 发布开源编码智能体 Lemon(MIT 协议,pre-1.0),以 Elixir/OTP daemon 形式常驻本机,会话、记忆、技能、定时任务和子智能体都在受监督的运行时内,关掉终端后任务继续运行。终端 TUI、浏览器、CLI、Telegram 和 Discord 连接同一运行时,可从手机接手任务;支持 /plan、/rewind、审批、checkpoint、git worktree 并行任务、跨会话记忆与技能草稿,可接入 ChatGPT/Claude 订阅或 Anthropic、OpenAI、Gemini、DeepSeek、Qwen 等 API 及本地模型。仓库还含 LemonSim,用于以可回放验证的方式对比模型行为。
论文研究
OpenTWBench 发布:面向大语言模型的台湾领域知识评测套件
Liang-Hsun Huang 在 arXiv 发布 OpenTWBench,一套评测大语言模型台湾领域知识的开放套件,含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据,含 148 科目共 255,854 道四选一题,剔除 2,180 道依赖图片的题目后用 253,674 题计分;后者含 1,696 道关于台湾日常与当代生活的精选题,以冻结的七模型池校准至及格边缘(46.9-74.6%,中位约 54%),leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型,22 个超过该区间上限,最好成绩 91.6%。
Latent Compaction:用测试时训练压缩 KV cache 并保持检索精度
Yingfa Chen 在 arXiv 发布 Latent Compaction 方法,通过测试时训练学习文档级紧凑 KV cache,模型权重全程冻结,训练只用关于文档的通用提示词、不接触下游问题与答案。在 RULER 上 32 倍压缩达到 96.7% 准确率,对比 KVZip+ 的 40.0%;在 RULER、LongBench 和 Phonebook Lookup 上均超过预算匹配的压缩基线,并在 Qwen3 与 MiniCPM5 两个模型上取得检索提升。代码已开源。
技巧与观点
Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers
Black Forest Labs 发布 FLUX.3 Image Klein,开放蒸馏版(16 步、无 CFG)和 base 版(50 步、CFG)两个权重,首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制,蒸馏版在 H100 上约 2 秒生成 1024×1024 图像,提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。
- Black Forest Labs 发布 FLUX 3 Image Klein 的 ComfyUI 重打包权重Hugging Face · 趋势模型
快讯
- Apertus 1.5 发布:8B 与 70B 开放权重模型新增多模态与思考模式Hugging Face Blog
- NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB 视觉语言模型Reddit · r/LocalLLaMA
- AtomicChat 发布 Ternary-Bonsai-2-2B 去对齐 LoRA 适配器(GGUF)Hugging Face · 新模型:uncensored
- OS-Software 发布 llm-jp-4.1-32b-a3b-thinking 的去对齐 GGUF 版本Hugging Face · 新模型:uncensored
- Engram 开源 AI Agent 持久记忆层,LongMemEval 达 78.1%GitHub · 灵魂体仓库
- comfyui-lan-image-server 开源:用手机浏览器远程控制 ComfyUI 生成GitHub · 3D 生成新仓库
- capy-flash 发布:在双 16GB 消费级 GPU 上以 NVFP4 运行 Qwen3.8-Flash-Next 125B MoEReddit · r/LocalLLaMA
- Hermes 插件 Bot Forge 发布:一句话生成带 SOUL.md 的完整 BotGitHub · 灵魂体仓库
- dayjob 开源:为软件工程全流程设计的 agent skills 集合GitHub · 灵魂体仓库
- mergegate 开源:面向多 AI 编码智能体的本地代码审查中枢GitHub · 去对齐工具与仓库