AI 日报 · 2026 年 10 月 7 日 · 星期三
麦式AI情报站
BoldingBuilds 发布 AREX-2 Abliterated GGUF 去对齐版本
BoldingBuilds 发布 BAAI AREX-2(基于 Qwen3.8 的 27B agent 微调)的去对齐 GGUF 版本,将拒绝方向从 64 个权重张量(第 8-39 块)投影移除。
无对齐模型发布/更新
grimlee 发布 Swift-1.5-Qwen3.8-27B-Abliterated 去对齐版本
grimlee 在 Hugging Face 发布 ukisai/Swift-1.5-Qwen3.8-27b 的去对齐衍生版本,采用 pos46/FULL/lambda=1.2 的拒绝方向投影,修改 131 个张量。
spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored GGUF 量化版
spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored 的 GGUF 量化版,把 yamz-labs 的运行时去审查编辑直接烘焙进权重,使其在任意 llama.cpp 运行时无需特殊引擎即可生效。
工程与部署
bloomery 0.2.1 发布:面向 MoE 模型 offload 的 Rust 推理引擎
midagedev 发布 bloomery 0.2.1,一个用 Rust 从 HTTP 服务器写到 CUDA kernel 的 MoE 推理引擎,兼容 llama-server 的 HTTP API 与 GGUF 文件,OpenAI 客户端无需改动。
JuL 开源 Python 库发布:本地运行类型化文本决策,对标 Jev 托管 API
JuL 是一个开源 Python 库,对文本回答类型化问题(Choice、Noul、Score)并附带概率,答案直接从模型隐藏状态读出,无需推理轨迹,Mac 上单次决策 55 ms。
SparkInfer 发布面向 Blackwell GPU 的 C++/CUDA 推理运行时
gittensor-ai-lab 在 GitHub 开源 SparkInfer,一个面向 Blackwell GPU 的原生 C++/CUDA MoE/LLM 解码运行时,2.5 MB 二进制、无 Python 栈,一条 docker 命令即可起 OpenAI 兼容端点。
runtape 开源:面向 AI 智能体的反事实调试与回归测试工具
runtape 在 GitHub 上开源,这是一个面向 AI 智能体的反事实调试工具:输入一次坏运行,它通过删除重跑定位导致错误决策的那段上下文,用统计检验确认原因,并自动生成 pytest 回归测试。示例中它把邮件助手误转发发票的行为追溯到供应商邮件 HTML 注释里的一句话,有该句 10 次重跑中 10 次转发,无则 0 次。在 AgentDojo 的 sarvam-105b 测试上,23 个注入攻击中它定位到 20 个,优于直接问模型(18)、leave-one-out(15);支持 OpenTelemetry、Langfuse 导入,兼容 OpenAI 和 Anthropic SDK、LangChain/LangGraph 及 Ollama、vLLM 等本地服务器。
Memoria 1.0.0 发布:面向本地 LLM 的模型无关记忆系统
作者 /u/kitkatz69 发布了 Memoria 1.0.0,一个本地优先、模型无关的记忆系统,可不依赖云端服务或 API key 运行。
论文研究
arXiv 论文:base 模型可借起始 token 线索触发推理,Olmo-3-7B MATH-500 从 42% 升至 78%
arXiv 论文(arXiv:2610.06851)研究训练数据如何在 base 模型回复的起始 token 与后续推理行为之间建立关联,发现固定特定起始 token 线索即可让 base 模型在数学和编码上接近其 RL 训练版本。
闭式轨迹权重手术:将 Qwen 3.5 4B 能力迁移到 0.8B 而无需数十亿 token
作者提出一种跳过反向传播的闭式轨迹匹配方法,用少量校准提示词和正则化最小二乘直接求解学生模型 MLP 权重,将 Qwen 3.5 4B 能力迁移到 0.8B。
- DynamicTune 0.8B 模型在 ARC-Challenge 上以 42.15% 超越 2B 基座Reddit · r/LocalLLaMA
MemStrata 论文:本地 Qwen 3.8 27B 读取器在 LongMemEval-500 达 95% 源感知准确率
论文提出源感知评分方法,由裁判先对照完整对话源再评判系统答案,并用本地 Qwen 3.8 27B Q4_K_M 读取器测试 MemStrata CL1。
研究视觉语言模型视觉定位输出的安全对齐缺口
arXiv 论文 2610.05637 系统研究了视觉语言模型(VLM)视觉定位输出的安全性,将 VLSU、BBQ-V、Asimov-2.0 三个安全基准改造成 15,401 对仅在输出形式上不同的匹配请求。
快讯
- a-memory:基于 SQLite 的四层 Agent 记忆系统开源GitHub · 去对齐工具与仓库
- R28 开源 Charter 声明式 AI 工具调用库,内置 15 个 API 共 557 个工具GitHub · 去对齐工具与仓库
- ljchang 开源 mecha:把本地开放权重模型变成个人助理的 Agent 框架GitHub · 灵魂体仓库
- Slotstream 让 16-64 GB 内存的 Mac 跑起 125B 参数的 Qwen3.8-Flash-NextGitHub · 灵魂体仓库
- little-chits 开源:可接入任意 LLM 的 AI 小人文明模拟器GitHub · 灵魂体仓库
- oMLX:面向 Mac 优化的本地 LLM 推理引擎开源GitHub · 灵魂体仓库
- ClawMetry 开源发布:一个面板监控 33 个 AI agent 运行时GitHub · 去对齐工具与仓库
- Claude Code 插件 lossless-compaction 实现无摘要压缩对话GitHub · 去对齐工具与仓库
- AgentOS 开源 TypeScript AI 智能体框架发布GitHub · 去对齐工具与仓库
- yetone 开源 magpie:统一管理 35 个 coding agent 的模型配置与路由GitHub · 去对齐工具与仓库