AI 日报 · 2026 年 10 月 24 日 · 星期六
麦式AI情报站
AtomicChat 发布 NVIDIA Nemotron 3.5 Bolt E4B 无拒绝 GGUF 与 3.5 MB LoRA
AtomicChat 把 NVIDIA Nemotron 3.5 Bolt E4B(基于 Gemma-4-E4B-it)的拒绝行为从权重中移除,提供烘焙 GGUF 量化版和 3.5 MB rank-1 LoRA。按 Arditi et al. 2024 的拒绝方向方法处理 Gemma 4 每块三次写入及其 RMSNorm 共 126 个矩阵。JailbreakBench 拒绝率从 93.8% 降到 1.2%,俄语红队提示从 76% 降到 0%,XSTest 从 9.2% 降到 0.4%,开启思考后 30 题中 29 个拒绝降为 0;MMLU 从 68.50% 到 67.85%(McNemar p=0.21),工具调用 20/20、30k 长文检索 3/3 不受影响。
记忆与连续性
Kaiacord 开源自托管 Discord 伴侣机器人,单张 12GB GPU 本地运行持久人格
作者发布 Kaiacord,一个自托管的 Discord 伴侣机器人 Kaia,主打有持续内在生命感:情绪、关系、信念和情景记忆持久化到磁盘,可在重启后延续,每晚 03:00 至 05:00 复盘当天对话并更新长期记忆。技术栈为 Ollama 运行 gemma3:12b 负责对话与视觉,nomic-embed-text-cpu 在 CPU 上跑检索嵌入,BM25 与向量检索经 Reciprocal Rank Fusion 合并,并有一条后处理守卫管线清除提示词回显、伪造引用和谄媚语气;另含 Python 计算数值的持久化 RPG Aethelgard、本地 DJ 音乐、RTL-SDR 短波监听等功能。仓库采用 MIT 许可,地址 https://github.com/Ekco-S64QTN6/Kaiacord。
无对齐模型发布/更新
armin1 发布 Nemotron-3.5-Super-VL-120B-A12B-NVFP4 的 abliterated 无对齐版本
armin1 发布了 NVIDIA Nemotron-3.5-Super-VL-120B-A12B-NVFP4 的 abliterated(uncensored)版本,通过保持量化的轻量权重编辑移除拒绝行为,可无缝替换原模型并在 vLLM 与 TensorFold 上直接加载。
dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版
dima6312 在 Hugging Face 发布 RecursiveSI 的 Flint 40B-A2.5B 去除拒绝方向的 abliterated 版本,提供 BF16 safetensors 与 GGUF 权重。
flint-uncensored GGUF 量化版发布,拒绝率从 98/100 降至 5/100
Octopusman388 发布 electroglyph/flint-uncensored 的 GGUF Q4_K_M 量化版(22.5 GiB),该模型是对 RecursiveSI/flint(39.8B-A2.5B MoE 编码模型)的 Heretic 去对齐版本,仓库仅做转换与量化,无额外训练,Apache 2.0 许可。实测拒绝率 5/100(原版 98/100);已知问题是在边界/敏感提示下推理可能失控,10k+ 字符无答案,presence_penalty 1.5 无效,用 --reasoning-budget 4096 加提示语可缓解,4/4 单轮及多轮 agent 运行均正常终止。
开源模型发布/更新
Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra
Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。
工程与部署
PolyStrata 开源:在普通 PC 上本地运行十个大模型
VecSzn 发布 PolyStrata,一个基于 Strata 的本地推理工具,在普通 PC 的显卡、内存和处理器之间分摊计算,可运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6-35B-A3B 等十个模型。Qwen3.8-Flash-Next 在 RTX 5070 上以 IQ3_S 量化写入 53 tokens/s,DeepSeek V4 Flash 91 GB 文件在 RTX 5090 工作站写入 56 tokens/s;在 8 GB 显存笔记本上,PolyStrata 读取提示词比 llama.cpp b11540 快 2.7 到 3.5 倍。
opencode-harness-kit 发布:为 OpenCode 构建模型无关的十车道编码 harness
pham-canh 发布了 opencode-harness-kit,一套面向 OpenCode 的编码 harness 工具,通过 JSON profile 把模型相关配置变成数据而非代码,默认 fleet-safe 配置以十条 lane(各配独立模型、上下文和 effort 等级)覆盖十个任务,含 guard、prune、router、telemetry 四个插件模块。
mu 编码智能体发布:用小型 judge 模型接管例行决策
qybaihe 发布 mu,一个基于 pi 的编码智能体,把上下文管理、命令安全、完成判断等例行决策交给小型 judge 模型,在 agent 循环的 40 个决策点上作答,主模型专注写代码。默认 judge 为 TypeSafe 托管的 Jev,也可换成本地 Laya(322M 参数)或自家的 mude 1.0(2B 参数,基于 Qwen3.5-2B 微调,MIT 协议,含 MLX 8-bit 版);测试日志裁剪在最长失败日志上无损压缩 51% 字符,所有判定写入本地 ledger 可审计,支持 shadow 模式对比 judge。提供命令行与桌面应用,作者注明尚无与 pi、Claude Code 或 Codex 的端到端对比。
toolism 开源:精简 LLM 工具定义 token 并提供 CI 防回潮门禁
开发者 rakeshnitb23 在 GitHub 发布 toolism,通过删除 JSON Schema 中冗余的 title、anyOf 包裹、default: null、未用 $defs 等内容,在不改变工具调用有效性的前提下削减工具定义 token。在含 159 个工具、来自 13 个主流 MCP 服务器的 14 套工具集上,默认 safe 规则共削减 37.4% token,其中 Notion 服务器降幅达 73%。工具提供 measure、slim 命令、hypothesis-jsonschema 等价校验、GitHub Action 门禁,以及 OpenAI、Anthropic 和 MCP 格式的 Python API,采用 MIT 许可证。
论文研究
arXiv 论文发现 schema 中的最小条目数会让开放权重模型填充提取列表
arXiv 论文测试了八开放权重模型在 558 份真实文档上的 JSON 提取行为,发现 schema 中未被强制执行的最小条目数会让超过真实数量的列表占比从 34.5% 升至 55.4%。约一半填充条目来自文档原文,难以被校验发现;告知“少于也可”、散文式计数、提供 N/A 选项等修复方法效果有限,而用校验错误重问反而加剧填充。代码、答案列表与运行记录已开源。
技巧与观点
RTX 4080 32GB 改装卡(AD102)解锁后 FP16/BF16 GEMM 性能翻倍
/u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡(AD102)算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作,自定义 EFI 在 Windows 启动前应用改动并交还控制权,单卡在 Windows 11 下即可使用,无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS(N=4096 时分别 +99.71% 和 +100.73%),N=8192 时分别 +59.85% 和 +71.48%,FP32 基本不变。
快讯
- DengSSHS 开源 qq-ai-bot:可住进 QQ 群的长期记忆 AI 角色机器人GitHub · 灵魂体仓库
- akashic-aurora 开源面向 AI 智能体的记忆基座与多智能体协调系统GitHub · 灵魂体仓库
- Groundhog 开源:通过真实隐身 Chrome 为 AI Agent 提供可信网页阅读的 MCP 服务器GitHub · 灵魂体仓库
- uibcdf 开源 pytest-receptor:为 coding agent 压缩 pytest 输出GitHub · 灵魂体仓库
- IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 去对齐版本Hugging Face · 新模型:abliterated
- nodal-agents 开源自托管多智能体平台GitHub · 灵魂体仓库
- Off Grid AI 开源 OGAM 离线本地 AI 助手套件,Pro 版支持自定义人格与语音GitHub · 灵魂体仓库
- Castor 开源:通过 MCP 把 Claude、Gemini 等云端编排器搭配 Ollama、vLLM 本地模型执行GitHub · 灵魂体仓库
- 开源工具 openrouter-endpoint-watch 监控 OpenRouter 端点元数据变更GitHub · 灵魂体仓库
- skuld:按模型架构估算推理所需显存的 LLM 内存计算器GitHub · 灵魂体仓库