AI 日报 · 2026 年 10 月 12 日 · 星期一
麦式AI情报站
gyang274 发布 Huihui-Qwen3.8-27B-abliterated-FP8 量化版并验证 abliteration 编辑足迹
gyang274 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 FP8 量化版,权重为 FP8 E4M3、128×128 分块,保留 MTP head 和 vision tower,检查点 28.75 GiB。与官方 Qwen3.8-27B-FP8 对比只有 70/1,606 张量不同,且全部是写入残差流的 rank-1 编辑;SGLang v0.5.21 评测中 HumanEval 95.7%(官方 98.2%),GSM8K 前 200 题 94.5%(官方 97.5%),15 条易拒 prompt 中 0 拒绝(官方 2 partial),单流解码约 62 tok/s。完整笔记与脚本见 github.com/gyang274/ms-Qwen3.8-27B。
AI 安全与攻防
ghostchars 开源检测代码与提示词中的隐形 Unicode 攻击
Anton Soloviev 发布 ghostchars 0.1.5,用于检测代码、文档和 LLM 提示词中双向控制符、tag 字符、variation selector、隐形字符和同形字等隐藏 Unicode。对 83,494 份公开提示词的普查发现 3 份文档藏有 tag 或 variation selector 隐写载荷,工具解码其中 2 份;另有 401 份文档报告 18,390 条发现,人工核查 53% 并非隐藏文本。工具提供库、CLI、GitHub Action、pre-commit 钩子和纯本地网页版,未发布的 checkout 新增 styled-text 规则与 --fix 修复。
记忆与连续性
Clankbrain 为 Claude Code 添加跨会话记忆系统
Clankbrain 项目为 Claude Code 提供跨会话记忆,用纯 Markdown 文件记录决策、错误、教训和被否决的方案,会话开始时读取、结束时更新,默认安装 19 个核心工作流(仓库共 36 个)。安装只需 npx clankbrain,约 30 秒,无需 API 密钥或数据库;还支持 /evolve 用失败记录重写技能步骤、与 Codex 和 Cursor 共享记忆,由作者在生产项目中日常使用 335 个会话打磨而成。
无对齐模型发布/更新
CCSSNE 发布 HauhauCS 去对齐版 Gemma4-31B QAT GGUF,附 MTP 投机解码加速
CCSSNE 在 Hugging Face 发布基于官方 QAT 权重的 HauhauCS 去对齐版 Gemma4-31B,实测 0/465 拒绝,数据集和能力不变。提供 Q4_K_M 主模型(18.7 GB)、mmproj 视觉文件(1.2 GB)和来自 Unsloth 的 MTP 投机解码头(280 MB),经 llama.cpp 测试生成速度约快 53% 且输出一致;支持 256K 上下文与图像输入,兼容 llama.cpp、LM Studio、Jan、koboldcpp 等 GGUF 运行时。
开源模型发布/更新
Qwen3.8-Flash-Next 剪枝版 GGUF 发布:每层保留 352 个路由专家,RTX 4050 笔记本跑 10.8 tokens/s
shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版,每层保留 512 个路由专家中的 352 个,未重量化或重训,基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s,全量 512 专家版为 9.0;代价是事实问答 NQ-open 得分 28.4%(全量 33.1%),greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平;相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB,附带 Strata 运行配置和专家档位文件。
Qwen3.8-27B-Uncensored-Cyber 的 agentic imatrix IQ4_XS GGUF 量化发布
balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化,用真实 agent 编码会话日志构建重要性矩阵,而非通用英文语料,保留 MTP 头与视觉塔。提供 IQ4_XS(含/不含 MTP,14.96/15.38 GiB)与校准矩阵文件,配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%,在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x,逐字抄写保真 7/7。该仓库只做量化,无微调或行为改动,上游为 philbert440 的 abliterated 去拒绝模型。
能力评分与榜单
Reddit 用户自建 agentic 基准实测 Qwen3.8 27B 各量化版本差异
Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本,发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内,而自建的 112 次运行 agentic 编码基准(隐藏测试、AST 注入 bug)拉开差距:27B NVFP4 解题 77%,Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致(69% vs 82%,McNemar p≈0.007),OpenCode 等测试框架的选择对结果影响也很大,Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。
工程与部署
KaletoAI 开源 anima-verse:LLM 驱动的活世界角色模拟器
KaletoAI 在 GitHub 开源了 anima-verse,一个 LLM 驱动的角色模拟器,AI 角色可聊天、按米制地图旅行、更换服装和活动,场景经图像生成后端渲染,并可在 Three.js 3D 客户端中行走。项目采用 Python/FastAPI 后端与 React 前端,支持多提供商 LLM 路由、分层记忆整合、意图系统、LoRA 库和 XTTS v2 等语音后端。项目处于 Alpha 阶段,由单人开发者以 vibe coding 方式构建,含成人内容能力但 NSFW 包单独分发,采用 source-available 非商业许可证。
4张$500矿卡BC-250集群跑Next Flash IQ3_XXS达70 tok/s与100k上下文
Reddit用户/u/Ok-Breadfruit-3523用4张单价不到$100的BC-250矿卡板、通过llama.cpp加Vulkan和RPC组成本地推理集群,跑Next Flash IQ3_XXS在100k上下文下维持约60-70 tok/s,或同时跑2个Qwen3.6-35B-A3B实例达约145 tok/s、可用上下文约258K。借助Claude Code做的优化包括MTP草稿头的投机解码链、Vulkan图录制重放、针对架构的定制kernel与上下文checkpoint本地复制,整体功耗负载下600-900W,下一步计划给每块板加装AIO水冷。
Scrapewright 开源:用自然语言把网页抓取需求变成可复用的 HTTP 服务
singhand-labs 开源了 Scrapewright,一个 LLM 驱动的网页抓取平台,用自然语言描述需求后由 AI 研究会话分析页面、生成并验证步骤图,部署为标准 HTTP 服务。它以 Chrome 扩展形式运行,复用已有登录态和真实浏览器指纹,运行时不调用 LLM、不消耗 token,脚本失败时 AI 会基于 DOM 快照自动修复,项目采用 GPLv3 协议,支持 OpenAI、Kimi、Anthropic、GLM 等 API。
OmniSeek 开源自托管 MCP 服务器,让 AI 智能体搜到网络搜索覆盖不到的信源
Battam1111 在 GitHub 发布 OmniSeek,一个自托管 MCP 服务器,通过一条连接让 AI 智能体搜索播客与视频转写、Bilibili 和 V2EX 等中文社区、论文引用图谱等 200+ 信源,兼容 Claude Code 和 Cursor 等客户端。音频本地转写支持英文和中文,可选开启读取登录后站点(默认关闭),跨语言检索依赖使用中积累的本地索引,官方声称的测试数据基于全新安装这一最冷启动场景。无云端、无遥测,索引和图谱均为本地文件。
技巧与观点
Kahvana 分享 Voyage v5 提示词实验心得:NPC 框架、正面表述与 markdown 召回
/u/Kahvana 发布 Voyage v5 并在 r/SillyTavernAI 十月提示词讨论帖中分享实验发现。基于 Anthropic J-Space 和 Functional Emotions 论文,作者发现 NPC 与 Character 的措辞需匹配 TTRPG 或小说框架,把模型、GM 与 NPC 分成三层可减少讨好行为并提高参与风险情节的意愿;将否定式提示改写为正面表述后,Gemma 4 31B 更连贯,Gemma 4 E2B QAT 也开始遵守反 slop 规则。作者还给出用 ## Rule 标题加 HTML 注释模拟 chatfill 召回的低 token 方法,并测评了 A-Life 与 Nemesis 等游戏系统的适用性。
快讯
- msuiche 发布 gemma-4-E4B-it 的 GLP 去拒绝控制向量Hugging Face · 新模型:abliterated
- msuiche 发布 gemma-4-E2B-it 的 GLP 拒绝方向控制向量,不改权重实现去对齐Hugging Face · 新模型:abliterated
- msuiche 为 google/gemma-3-1b-it 发布无权重修改的 GLP 去对齐投影向量Hugging Face · 新模型:abliterated
- msuiche 为 gemma-3-12b-it 发布 GLP 去拒绝控制向量Hugging Face · 新模型:abliterated
- msuiche 发布 Gemma 3 27B it 的 GLP 投影控制向量去拒绝方案Hugging Face · 新模型:abliterated
- Matt Suiche 发布 gemma-4-31B-it 的 GLP 投影转向向量(alpha 0.5)Hugging Face · 新模型:abliterated
- Matt Suiche 发布 gemma-3-4b-it 去对齐投影控制向量 GLPHugging Face · 新模型:abliterated
- msuiche 发布 gemma-4-26B-A4B-it 的 GLP 投影去对齐向量,alpha 0.5 附拒绝率验证Hugging Face · 新模型:abliterated
- DeepSeek-V4.1-Flash 无对齐版 GGUF 量化发布,支持 CPU 推理 1M 上下文Hugging Face · 新模型:uncensored跟进
- 用 GLM 5.3 实测三个预设的横向对比,附聊天记录截图Reddit · r/SillyTavernAI