AI 日报 · 2026 年 10 月 10 日 · 星期六
麦式AI情报站
jakeatx 发布 Swift 1.5 Qwen3.8-27B 无审查版 2.3bpw GGUF 量化,面向 12 GB 显卡
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版,基于 UkisAI 的 Swift 1.5(构建于 Qwen3.8-27B)的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight,含 MTP 草稿层,面向 12 GB 显卡约 200K 上下文。
AI 安全与攻防
arXiv 论文提出白盒探针方法检测 LLM 智能体欺骗与破坏,SHADE-Arena 达 98.8% AUC
一篇 arXiv 论文展示白盒探针可扩展至前沿模型监控场景,通过迄今最大的欺骗数据集训练,并引入跨多层级与多 token 聚合信息的新型探针架构。探针在 SHADE-Arena 上达到 98.8% AUC,超过 Opus 5.5 文本监控基线;在内省式欺骗评测中区分模型真实隐藏目标的 AUC 最高达 99.7%,也能检测开源权重模型在政治敏感话题上的撒谎。作者发布了名为 FIBS 的训练数据集。
记忆与连续性
Lorekeel 开源:用确定性 Rust 引擎约束 LLM 跑团游戏主持人
betyourluck 在 GitHub 开源 Lorekeel,一款 TRPG 游戏主持人工具,用云 LLM 做叙述、确定性 Rust 引擎作为游戏状态的唯一真相来源,解决 AI Dungeon 式 LLM GM 的遗忘与矛盾问题。LLM 只提交 StateDelta 提案,引擎用纯函数裁决,非法操作整包拒绝并重新生成,因此廉价、免费或本地模型也能维持一致的游戏。
无对齐模型发布/更新
Qwen3.8-27B abliterated 版本发布,权重级消融将拒绝率从 99.3% 降至 0%
rajaykumar12959 在 Hugging Face 发布 Qwen/Qwen3.8-27B 的 abliterated 版本,用 difference-in-means 方向对每个残差写入权重矩阵做正交化,消融直接写入 checkpoint,无 runtime hook 和 LoRA,仅含语言模型部分(bf16,text-only,约需 55 GB 显存)。在 292 个 held-out 有害提示上拒绝率从 99.3% 降至 0%,覆盖全部 12 个类别;代价是 MMLU-Pro 从 65.1% 降至 61.8%(−3.3 pp),harmless 提示上的 KL 散度为 0.086 nats。
Kujira 发布 Underdog Saluki 27B 1.0 MTP 去拒答 GGUF 版
Kujira 在 Hugging Face 发布 Underdog-Saluki-27B-1.0-MTP 的 abliterated GGUF 版,仅改动第 35–36 层的 4 个张量,其余 862 个张量与原文件字节级一致,未做训练。有害提示词拒绝率从 99% 降到 1%(开思考时 78% 到 2%),英语困惑度上升 1.6%、日语上升 1.8%,速度和显存与 MTP 版相同,约 58–62 tok/s,12 GB 显卡可用 40K 上下文。消融方法未公开。
OrcaRouter Qwen3.8-Flash-Next-Uncensored 发布 GPTQ 量化 NVFP4 权重包
Maximilian228 在 Hugging Face 发布 OrcaRouter Qwen3.8-Flash-Next-Uncensored 的 NVFP4 (GPTQ) 量化包,供 Strata NVFP4 引擎在单张 12 GB 以上 VRAM 的 RTX 20-50 显卡加 64 GB 内存上运行这个 125B 混合 MoE 模型。模型为 abliterated 去对齐微调,权重中移除了拒绝方向,不拒绝有害请求。作者用 GPTQ 从 BF16 checkpoint 重量化全部路由专家, held-out 误差为 ModelOpt RTN 量化的 33.4%,48 层全部低于 RTN,解码速度与 ModelOpt 包基本持平(约 185.6 对 191.6 tok/s)。
工程与部署
roleplay-slim 发布:保护人格前缀的对话 token 压缩库与代理
GitHub 上的 roleplay-slim 项目发布 v0.4,提供 Python 库和 OpenAI Chat Completions 兼容代理,用于压缩持久角色机器人的对话历史,同时保证人格前缀逐字节不变以维持 provider 前缀缓存命中。基准显示 500 轮对话从 37,176 tokens 压到 19,545 tokens(省 47.4%),默认规则压缩省 16.5%,可自带 summarizer 进一步省 92% 以上;安装包小于 5 MB,支持 DeepSeek 等前缀缓存 provider,本地代理运行在 127.0.0.1:8791,无需改代码。
co:op 开源:在沙箱容器中关闭权限提示运行 Claude Code、Codex 等编码智能体
AndrewDryga 开源了 co:op,一个 Go 编写的沙箱工具,在容器内以关闭权限提示的方式运行 Claude Code、Codex、Gemini CLI 和 Grok。容器只挂载项目目录,SSH 密钥、云登录和 .env 均不进入盒内,过滤网络只放行 AI 提供商和已批准域名;提供任务队列 coop loop、fork 评审、多账号轮换、评估和 cosign 签名校验,支持 macOS 和 Linux(Docker),MIT 许可。
lora-kernel:基于 Gemma 4 E4B 的本地专用 Agent 记忆与路由系统
EvolvingAgentsLabs 发布开源项目 lora-kernel(Apache-2.0),将事实存放在可人工编辑的 markdown 笔记库中,仅用 LoRA 训练小模型导航检索,由微型路由器把超出专家范围请求转交前沿模型。实测包括 inbox triage 专家 0.989 对裸基座 0.345、wiki 多跳问答 38/40 对 19/40、改笔记后 17/17 返回新值且零重训;引用门控拦截 165 个错误答案中的 86 个、误拦 347 个正确值中的 43 个。项目在 16 GB MacBook Air M4 上经 llama.cpp 和 OpenClaw 实跑通过,但全部测量基于生成测试集与真实法规文档,尚无真实用户流量;未通过项记录于 docs/RECORD.md。
在 RTX 4090 上以 262K 上下文和约 130 tok/s 运行无审查版 Qwen3.8-27B(HauhauCS)
作者将 HauhauCS 发布的无审查 Qwen3.8-27B(GGUF 格式)转换为自研 C++/CUDA 推理引擎 NInfer 的格式,在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度(MTP3,70.8% 接受率)、9K 提示词下 3,591 tok/s 预填充,Perplexity 与官方产物差距在 1.3% 以内,视觉和工具调用仍可用,采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4,仓库为 ninfer。
- HauhauCS 发布 Qwen3.8-27B Aggressive 无审查 GGUF 量化版Hugging Face · 新模型:uncensored
作者在 16GB 内存机器上用 --moe-direct-io 把 Qwen 3.8 Flash Next IQ2_XS 跑到约 21 tok/s 且输出 bit-exact
/u/zyxciss 在 llama.cpp 中实现可选功能 --moe-direct-io,用 RTX 3060 12GB + 16GB DDR4 将 68GB 的 Qwen 3.8 Flash Next(125B MoE,512 专家)GSQ-RCO IQ2_XS 从原版 1.41–2.12 tok/s 提升到热缓存下 20–21 tok/s,部分运行达 24+ tok/s,输出与原版 bit-exact。方法靠预测下一 token 所需专家并预取,不剪枝专家;原版 mmap 模式每 token 有 1140–1565 次重大页错误、208–312 MB/token 的 SSD 读取,新方案页错误约 0。
论文研究
arXiv 论文提出语言模型作为 AI 研究世界模型(RWM)预测实验结果
Zijun Wang 等人在 arXiv 发表论文,研究语言模型作为 Research World Models(RWM)预测候选实验干预的结果。评测基于九个研究环境、2600 多条实验记录,涵盖预训练、后训练和推理,超过 171,000 H100 GPU小时;真实实验经验使 RWM 对同环境未见干预的预测提升 Spearman +0.27,OLMo3、Marin、Nanochait 预训练经验可将 Qwen3 环境的选择遗憾降低 78%,多轮 Autoresearch 固定预算下环境内与跨环境知识分别提升最佳收益 15.8% 和 11.6%;13 个模型的消融显示加入研究知识比换模型或增加推理力度更能改善干预排序。论文链接 https://arxiv.org/abs/2610.12235v1
快讯
- GLM-5.3 (753B) 权重级去审查版发布,NVFP4 量化附拒绝率与 MMLU 对比Hugging Face · 新模型:abliterated
- gpupool 开源:把多机零散 VRAM 池化成 OpenAI 兼容推理端点GitHub · 灵魂体仓库
- pytest-probability 发布:面向 LLM 非确定性代码的多次采样 pytest 插件GitHub · 灵魂体仓库
- Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布,为 12/16/24 GB 显卡保留原生 MTP 头Hugging Face · 新模型:uncensored
- no_human 开源 AI 编码工厂:计划、对抗审查与防篡改门禁GitHub · 灵魂体仓库
- urmzd 开源 mnemonist:面向 AI 编码工具的认知型双层记忆 CLIGitHub · 去对齐工具与仓库
- Qwen3.8-27B-Heretic RVN 消融版发布 GGUF 权重Hugging Face · 新模型:abliterated
- recall 开源:为 Claude Code、Codex 和 Cursor 提供跨工具共享记忆GitHub · 去对齐工具与仓库
- m-bench 开源本地 LLM 全栈基准工具,推荐 Qwen3.6-35B-A3B-NVFP4 加 vLLM 配置GitHub · 灵魂体仓库
- Ollama Herd 发布:用 mDNS 自动发现把多台设备组成 Ollama 本地推理集群GitHub · 灵魂体仓库