AI 日报 · 2026 年 10 月 18 日 · 星期日
麦式AI情报站
mrfakename 发布 DeepSeek-V4.1-Flash-1017 去对齐版
mrfakename 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 abliterated 版本,用方向性消融移除拒绝行为。chat 和 think 模式沿不同方向拒绝,因此移除 rank-2 拒绝子空间,逐层测量方向并投影出 40 个主层的残差流写入,各层强度由多目标搜索确定。Q8_0 GGUF 贪心解码下,chat 拒绝率从 97/100 降至 4/100,think 模式推理头拒绝从 98/100 降至 9/100,harmless 首词 KL 为 0.067;路由专家、嵌入、Engram 表和 DSpark/MTP 层与原版逐位一致,另提供 abliteration-lora.gguf 和 abliteration-edit.npz。
记忆与连续性
腾讯混元发布 Hy-Memory-30B-A3B 专用长期记忆写入模型
腾讯混元发布 Hy-Memory-30B-A3B,一个约 3B 激活参数的长期记忆写入模型,可直接替换 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM。训练分两阶段,先做 Memory On-Policy Distillation 再做归因记忆强化学习,可零改动迁移到未参与训练的 EverMemOS。在固定 20% 基准子样本的四框架宏观平均分上得 55.49,超过 Claude Opus 5(54.62)和 DeepSeek V4.1 Flash(53.64)。权重、框架代码和技术报告均已开源。
Neptunia 开源本地 Discord 角色扮演机器人,带分层记忆与可替换人格卡
GitHub 项目 Neptunia 发布了一个本地运行的 Discord 机器人,通过 LLM 扮演一个可配置角色,像普通群成员一样聊天。它基于 Node.js 20+,仅依赖 discord.js,可接任何 OpenRouter 兼容端点,人格卡不改代码即可替换并热重载,支持按成员的态度值(-100 到 100)与 episodic 记忆、全服 lorebook、图片视觉、按需画图、DM 私聊独立记忆层,以及记录、归档与可选的向量语义召回。每个实例服务一个服务器和一个人格,附快速上手步骤、/nep 管理命令、dry-run 模式与 systemd 部署示例。
无对齐模型发布/更新
Qwen3.8-27B 去拒绝消融版 GGUF 量化发布,附各档量化实测对比
vedevpatel 发布 rajaykumar12959/qwen3.8-27b-abliterated 的 imatrix GGUF 量化,该模型移除了拒绝行为,可回答原版 Qwen3.8 拒答的请求,目标在 16 GB 显存上用 llama.cpp 运行。每个量化均与 BF16 原版对比:MMLU-Pro(4200 题、5-shot、thinking off)差异均在 95% 置信区间内不显著,BF16 为 79.60%;WikiText-2 KL 散度显示 IQ3_M 漂移比 4-bit 量化高 3.3–3.8 倍。
AtomicChat 发布 NVIDIA Nemotron 3.5 Bolt 74B-A9B 无拒绝 GGUF 版
AtomicChat 将 NVIDIA Nemotron 3.5 Bolt 74B-A9B 的拒绝行为从权重中投影移除,发布 Atomic Dynamic GGUF 量化版本。在留出的 JailbreakBench 提示上拒绝率从 97.5% 降到 0%,俄语红队提示从 70% 降到 0%,开启思考时 30 条全部不再拒绝;MMLU 从 81.35% 到 81.75%(McNemar p=0.29),工具调用和 30k 长上下文检索不受影响。
开源模型发布/更新
DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新
DeepSeek 发布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,在推理、编码、Agent 任务和视觉基准上大幅提升,同时缩短任务执行时间和输出长度,推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3(上一版 31.2),Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板,改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包,支持 1M tokens 上下文窗口、max_tokens ≥ 256K,推荐 temperature 1.0、top_p 1.0,采用 MIT 许可证。
工程与部署
hranicka 开源 llm-gateway:按需切换本地模型后端的 OpenAI 兼容代理
hranicka 在 GitHub 发布 llm-gateway,一个 OpenAI 与 Anthropic 兼容的代理,按请求中的 model 字段按需启动和关闭本地模型后端,用顺序切换解决消费级显卡 VRAM 只能装一个量化模型的问题。它支持 /v1/chat/completions、/v1/messages、/v1/responses、图像生成与编辑端点,可代理 llama-server、vLLM、ExLlamaV3、sd-server、ComfyUI 等后端,并利用 ROCm/CUDA/Metal 编译目标与 flash attention 等原生运行时参数。
igorsaevets 开源多模型独立评审工具 ai-second-opinion
igorsaevets 在 GitHub 开源 ai-second-opinion,把同一文档同时发给 GPT、Gemini、Grok 4.7、Kimi K3、Qwen 3.8 Max、DeepSeek V4 Pro、GLM 5.3 等多个互不可见答案的模型,展示分歧并机械核验每个引用链接是否存活、是否被真正打开,还能捕获静默拒绝和幻觉引用。工具为纯 Python 零依赖、MIT 许可,任何有终端权限的 Agent(Codex CLI、Cursor、Gemini CLI 等)均可安装,仓库带 AGENTS.md 供 Agent 自行运行评审;实测便宜面板每次约 $0.06,标准 12 模型面板约 $2.5,每个回答含 UNASKED 部分,作者建议在送审文档中植入已知错误以检验模型。
/u/panchovix 发布 NVIDIA VBIOS 编辑与免刷写加载工具,覆盖 RTX 30/40/50 系
Reddit 用户 /u/panchovix 发布三款开源工具,可在不刷写 VBIOS 的情况下修改并加载 NVIDIA 显卡自定义 VBIOS,支持调整功耗墙、电压、核心与显存偏移等。Windows 版通过补丁注册表在每次重启时加载副本,Linux 版(Fedora)通过补丁 GSP 固件并构建独立启动项实现。实测包括 RTX 5090 功耗从 600W 提到 800W、RTX 4090 提到 700W、RTX 6000 PRO MaxQ 电压从 0.9V 解锁到 1.1V 等;Ada 笔记本系列暂无法编辑,Blackwell 笔记本可部分编辑,Ampere 笔记本几乎全部可编辑。
self-hosted-ai-stack:Docker Compose 一键部署本地 AI 全栈
bernard8209 发布 self-hosted-ai-stack 仓库,用 Docker Compose 一键部署本地 AI 栈,集成 Ollama 推理、AnythingLLM 聊天界面、LiteLLM 网关、Whisper 语音转写、Kokoro TTS、Docling 文档解析和 MCP 工具等服务。默认密码保护并自动生成 API 密钥,支持 NVIDIA CUDA 加速与 linux/amd64、linux/arm64 双架构,另提供最低约 4.5 GB 内存的轻量组合,如 chat-only、rag-pipeline、voice-pipeline 等,并附部署、安全、备份与升级指南。
Qwen3.8-27B 在 16GB RX 9070 XT 上以完整 262k 上下文实现 80+ t/s 解码
作者为 llama.cpp 实现了自适应 KV 流式传输并移植到 ROCm/HIP,使 Qwen3.8-27B(IQ4_XS 权重、Q8_0/Q4_0 KV cache)在单张 16GB RX 9070 XT 上跑满 262,144 token 上下文,解码达 80+ t/s。完整 262k KV cache 约需 7.4 GiB,方案将完整缓存保留在主机内存,通过 PCIe SDMA 异步流式传输约 450 MiB(prefill)和约 2,100 MiB(decode)的工作集,并融合 stew675 的 RDNA 4 内核优化、兄弟激活复用、融合 RMSNorm、MTP 投机解码等改进。
Smite79 发布 ComfyUI 节点 MiniMax-H3-LongVideos,用单条提示词生成带同步音频的长视频
Smite79 在 GitHub 发布 ComfyUI 自定义节点 MiniMax-H3-LongVideos,可从单条提示词生成带同步音频的 MiniMax-H3 长视频。H3 单次渲染约 15 秒,该节点按镜头逐段渲染,每个镜头从上一镜头最后一帧开始,再拼接为一个视频和一条音轨。节点支持段落分镜、角色记忆、参考图片(最多 4 张)、语音与拟音两遍音频生成、基于 DWPose 的姿势检查,以及 FastH3 与 Hyperflow 加速;仓库标注 no-redistribution 许可,并声明 RealRebelAI 已被列入项目黑名单。
快讯
- distributedcognition 发布 Mellum2.1-12B-A2.5B-Thinking 的 abliterated 去对齐版本Hugging Face · 新模型:abliterated
- BoldingBuilds 发布 Muse Spark Open 816B 的无审查 GGUF 版本Hugging Face · 新模型:abliterated跟进
- SillyTavern 记忆扩展 Smart-Memory 开源发布GitHub · 灵魂体仓库
- universal-memory 开源自托管记忆系统发布GitHub · 灵魂体仓库
- koldfrontier 发布 Swift1.5-Qwen3.8-Flash-Next 的全量 abliterated 去对齐版本Hugging Face · 新模型:abliterated
- lin渊(linyuan-muse)开源手机端原生 Android AI 助手GitHub · 灵魂体仓库
- 开源本地 AI 助手 Cortex:Rust/Tauri 外壳加 dockerized Python 大脑,全状态本地存储GitHub · 灵魂体仓库
- Qwen2.5-32B-Instruct abliterated 去对齐版本发布Hugging Face · 新模型:abliterated
- Runner 开源:在真实终端中协同运行 Claude Code、Codex 等多个 CLI 编码 agentGitHub · 去对齐工具与仓库
- gguf2mlx 新增 Qwen3-VL-8B 文本条件编码器转换,支持 GGUF 转 MLXGitHub · 3D 生成新仓库