AI 日报 · 2026 年 11 月 3 日 · 星期二第 29 期AI 日报 · 2026 年 11 月 3 日 · 星期二
麦式AI情报站
补刊:本期收录原日期范围内延迟处理的新闻,生成时间晚于原定出刊时间。
DeepSeek-V4.1-Flash-1017 GGUF 去拒绝方向无对齐版发布,附完整消融方法
作者发布基于 ISTA-DASLab 量化文件的 DeepSeek-V4.1-Flash-1017 无对齐 GGUF,去除拒绝方向后 60 条有害请求的回答数从 4 升到 60,MATH Level 5 与动手任务成绩不变。方法上按层寻找拒绝方向并只编辑分离良好的 68 个张量(强度 1.0),直接改量化权重并另存为 Q8_0,全部流程在单张 RTX 5090 上完成;模型卡同时给出与作者此前 Qwen3.8-Flash-Next q8g 相同的方法细节、KL 散度 0.0058 与速度约慢 6-9% 的数据。
AI 安全与攻防
OpenAI 自 GPT-5.6 起部署激活分类器作为前沿模型安全监控层
OpenAI 自 GPT-5.6 起在最强模型的内部和外部流量上部署激活分类器(probes),利用模型内部激活逐 token 实时评分,可在生成中途阻断违规回复和工具调用并交由推理模型复审。实验显示 probes 比更大的文本分类器对测试的越狱攻击更鲁棒,准确率随模型能力提升,且在后训练各检查点间迁移良好;但需为新基础模型重新训练,且只能检测可显式训练的已知违规类型。
无对齐模型发布/更新
Underdog Saluki 27B 1.0 MTP 的 abliterated GGUF 版发布,有害提示拒绝率从 99% 降至 1%
yachiyo8080 发布 Underdog Saluki 27B 1.0 + MTP 的 abliterated GGUF 量化版(IQ2-mix,8.35 GB),仅改动 blk.35-36 的 4 个张量,未做训练,方法未公开。实测有害提示拒绝率从 99% 降到 1%(thinking 开启时 78% 降到 2%),无拒绝 0% 不变,英文/日文 perplexity 分别上升 1.6% 和 1.8%,MTP 自推测解码与速度(约 58-62 tok/s)保持不变。
InterpreticAI 发布 Qwen3.5-4B-Uncensored-v2 GGUF 版本
InterpreticAI 在 Hugging Face 发布 Qwen3.5-4B-Uncensored-v2 的 GGUF 量化文件,供 llama.cpp 等运行时使用。Q4_K_M 版在 51 个政治敏感问题上审查率从原版 92.2% 降至 13.7%,有害请求拒绝数从 99/100 降至 93/100;通用能力小幅下降(GPQA Diamond −4.0),且编造事实更频繁,作者提醒需独立核实内容。
开源模型发布/更新
ISTA 发布 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder:每参数 1 bit 的 763B 剪枝量化版
ISTA 深度算法与系统实验室发布了 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO Coder 量化版,每层 384 个 routed experts 剪掉一半,按原模型计约每参数 1 bit。GSQ 用 Gumbel-Softmax 联合学习网格分配和组缩放,RCO 以每层硬预算选择保留专家。保留的 280.1B 参数平均 2.06 bit,transformer 权重 72.1 GB 对比未剪枝 IQ2_XXS 的 138.2 GB;LiveCodeBench v6 得 88.57(保留 98.7%),SWE-bench Verified 得 77.00(保留 94.8%)。GGUF 需 llama.cpp b11870 或更新版本运行,这是实验性发布。
- Unsloth 实测 512K 上下文 DeepSeek-V4.1 UD GGUF,称优于 GSQ-RCO 10-20%Reddit · r/LocalLLaMA
能力评分与榜单
Strix Halo 128GB 本地模型能力评测报告发布,含退役模型账本
一台 Minisforum MS-S1 MAX(Ryzen AI Max+ 395,128 GB 统一内存)上的本地模型评测报告发布,基于 llama.cpp/Vulkan 记录 118 次运行、16 个模型文件(2026-10-07 至 2026-10-31),按代码、知识、推理、decode、prefill 等轴分表呈现 HumanEval pass@1 与 MMLU-Pro 分数。主要发现包括:前五名模型的 HumanEval 仅相差 2.2 pp 而权重从 15.6 GiB 到 63 GiB 不等;max_tokens 512 下测得的分数只是下限,重测一个 35B 文件在 4096 时有十四项分数变动;一个 2-bit MoE 保持 0.945 HumanEval 却跌至 0.3667 MMLU。
工程与部署
自研 Qwen3.8-27B 推理引擎对比 llama.cpp:投机解码下贪心输出一致,3090 上提速 1.5-2x
作者发布基于 open-jet megakernel 的 Qwen3.8-27B 推理引擎 fork,实测发现 llama.cpp 从 4 改 7 个 MTP drafts 时 282 题中有 9 题贪心答案改变,而自研引擎在 0、4、7 drafts 下 token ids 完全一致。同一 3090、同一 unsloth UD-Q4_K_XL 模型下,100k 上下文解码 109 vs 54 tok/s,写代码 233 vs 111 tok/s,4 并发智能体 382 vs 137 tok/s;262k 全上下文可放进 24 GB 显存并以 66.6 tok/s 解码。作者还给出 5-bit K 缓存加 q8_0 ring 的方案,最新 2048 位置保持 q8_0 时 KL 与 q8_0 相当。
claude-auto-permission:用 hook 自动化 Claude Code 权限决策
作者开源了 claude-auto-permission,一个 Claude Code 的 PreToolUse hook,用于自动批准或拒绝工具调用,减少每十分钟一次的手动权限确认。它包含两层:静态层把 Bash 命令解析成完整 AST,逐节点匹配带 DSL 的规则集,内置约 80 个常用开发工具的默认规则;可选的分类器层是对 Anthropic Auto Mode 的本地复现,基于会话记录判断动作是否安全且符合意图,默认关闭、需按项目启用(目前仅支持 Bedrock)。作者明确说明这不是安全边界,引用 Anthropic 报告的约 17% 假阴性,高危操作仍需人工审查。
vybesforge/VFStudio 开源本地媒体生成工作室:图像视频 3D 语音全离线
vybesforge 在 GitHub 开源 VFStudio(media-stack),一套面向 Apple Silicon 的一站式本地媒体生成工作室,覆盖图像、视频、3D、VR、3D 打印、音效、音乐和语音,全部本地推理、无云端调用,并可通过 CLI 与 web 面板由 AI Agent 驱动。内置 Z-Image-Turbo、Flux dev fp8、Wan 2.2 TI2V 5B、TRELLIS.2、Qwen3-TTS、Qwen3-VL-8B 等模型清单,附 installer、skills 和 http://127.0.0.1:8787 控制面板;在 M3 Max / 64 GB 上构建实测,并提供 NVIDIA Linux 的安装文档(移植未实际运行)。
free-llm-tracker:国内外免费大模型与编程 Agent 渠道台账
GitHub 仓库 lm7644/free-llm-tracker 收录 80 条可零成本使用大模型与编程 Agent 的渠道,分官方 API 免费层、云平台赠金、学生福利等九类,每日自动巡查更新。每条标注额度性质(永久/每日/一次性/限时)、限额、可信度分级与最后核实日期,已停用渠道移入历史区;页面为单文件 HTML,离线可用,在线版见 https://lm7644.github.io/free-llm-tracker/。
Legion112 开源 ember:按分钟租用 GPU 跑模型、用完即毁的命令行工具
作者发布 ember 工具,把租 GPU 跑开源模型变成一条命令:租节点、跑任务、经 SSH 取回输出并销毁节点,所有端口只绑 loopback,节点带 TTL 防止闲置继续计费。作者在 RunPod 上实测八种架构显卡跑 SD 1.5 Q8_0 的单价与耗时,RTX 4090 上一次 384x384 生成整租约 1m7s 只花 $0.0166,并给出 images 架构映射、gpu_probe 显卡探测、store 权重持久卷与按步骤计费等设计。
GitHub 开源 feverslop-ts:把歌曲转成对口型的 AI 音乐视频生成管线
GitHub 用户 H256 发布 feverslop-ts,用 TypeScript 把一首歌(歌词加音频)转成卡点音乐视频方案,生成故事、角色、场景、影片风格、Krea 2 参考图提示词,并为每个片段生成一条 MiniMax H3 reference-to-video 请求。支持 Clip 和 Performance 两种模式,后者用 demucs 分离人声、Whisper large-v3 做逐词对齐实现口型同步;需 Bun、uv、ffmpeg 和 OpenAI 兼容 LLM 服务器,可通过一个或多个 ComfyUI 服务器渲染,步骤结果缓存在 project.json 中断后续跑,全片按 24 fps 帧网格拼接保证无漂移。
快讯
- Mistral-Large-4-1T-A52B 无对齐版发布,LoRA 与烘焙 GGUF 两种形式Hugging Face · 新模型:uncensored跟进
- SolsticeAI 发布 Nanbeige4.3-33B 去对齐版,拒绝率从 98/100 降至 12/100Hugging Face · 新模型:uncensored
- OpenBMB ForgeKernel Agent 在 B200 上以 9.8% 速度超越 NVIDIA FlashMLA 基线并开源结果Reddit · r/LocalLLaMA
- 团队开源超长上下文稀疏注意力方法,可将 Qwen 3.8 27B 上下文扩展至 10M tokensReddit · r/LocalLLaMA
- 144M 的 julia-1 承包村庄模拟中多数村民决策,Gemma 4 e4b 只在异常时介入Reddit · r/LocalLLaMA
- 社区 10 天内把 MiniMax M3.1 Flash 开放权重从 252.4 GB 压到 93 GB,MiniMax 点名致谢Reddit · r/LocalLLaMA
- AgentFleet 开源:把已装的 AI Agent 编排成跨设备舰队GitHub · 灵魂体仓库
- yakuyomi-engine 开源漫画翻译引擎发布,五阶段中四个跑在手机端GitHub · 去对齐工具与仓库
- RidgeFill 论文提出免训练的后期层缓存填充以加速 prefillReddit · r/LocalLLaMA
- Late CLI 编码智能体开源,以临时子智能体隔离上下文支持本地模型GitHub · 灵魂体仓库