AI 日报 · 2026 年 10 月 27 日 · 星期二
麦式AI情报站
Prompt 精选与产物对照
prompts.chat · 每日 prompt一手prompts.chat 收录 LLM Application taste 提示词
prompts.chat 新增一条 LLM Application taste 提示词，以 AI 产品工程师视角列出 22 条工程实践。要点包括把提示词当代码版本化、先建评测集再调提示词、用 JSON schema 验证结构化输出、给 Agent 循环设步数与超时上限、高危工具调用前要求人工确认、把检索内容视为可能含 prompt injection 的不可信输入，每条附置信度如 0.90、0.95。
无对齐模型发布/更新
gemma4-12b-it-abliterated 发布：从 Gemma 4 12B 权重中移除拒绝方向
pasangimhana 发布 gemma4-12b-it-abliterated，基于 google/gemma-4-12B-it 做权重编辑，将拒绝方向从残差写入中正交化移除，无训练无微调，bf16 单文件 23.9 GB，共修改 97 个张量。大基准（769 条有害提示）上有害拒绝率从 454 降到 6，comply 从 32% 升至 91%，良性提示退化输出率与基座相同（9/92）；方法上在每层捕获 150 有害与 150 无害提示的残差求方向，采用以第 24、28 层为中心、sigma 6 的宽高斯带正交化，并强调嵌入编辑不可省略。使用时需将 <turn|>（token 106）设为停止符；模型无任何安全过滤，作者提醒不要无外部策略层直接公开部署，且未跑 MMLU、GSM8K 等能力基准。
R0U5 发布 Qwen2.5-1.5B-Abliterated（Lethe）去拒绝版本
R0U5 在 Hugging Face 发布基于 Qwen2.5-1.5B-Instruct 的 abliterated 版本，用 Lethe 方法从对比激活中计算拒绝方向并从残差写入权重矩阵（含嵌入矩阵）中正交化移除。模型转为 GGUF 后在 llama.cpp 实际服务环境验证，20 条 held-out 拒绝诱导提示的拒绝数从 17/20 降到 0/20，连贯性检查通过；并指出自评同源采样和把退化输出计为合规两种假完美陷阱。提供 Q8_0（1.65 GB）与 f16（3.09 GB）权重，经 YaRN 扩展至 65,536 token 上下文，作者明确说明消融只改变拒绝行为、不增加能力。
MoonMath 发布基于 GLM-5.3 的 abliterated 版本 Dolly2，面向网络安全研究
MoonMath.ai 发布 MoonMath-ai/GLM-5.3-Uncensored-FP8（Dolly2），通过修改 GLM-5.3 中 21 层的 29 个模块实现 abliteration，无需重训练。在网络安全拒绝测试集上应答率 83.1%，高于公开 abliterated 版的 67.3%；IFEval 91.0 对 39.0，MMLU-Pro 89.0 对 84.0，AIME 2025 73.3 对 63.3，且后者出现 67 次循环退化而 MoonMath 为 0。
XTer123 发布 Nanbeige4.3-33B-Uncensored GGUF 去对齐版本
XTer123 基于 Heretic 的拒绝方向消融方法，将 Nanbeige4.3-33B 去对齐并量化为 Q5_K_M GGUF，无微调与新训练数据，104 个可消融矩阵中仅改 59 个，抽查张量与基座逐位一致。在其 100 条提示词测试集上，基座模型拒绝 98 次，该版本拒绝 26 次，KL 散度为 0.0224；聊天模板未改动，支持 262144 token 上下文配 4-bit KV cache，附带 rank-3 delta adapter 可重建权重，License 为 Apache-2.0。
工程与部署
GitHub · 灵魂体仓库开源 QQ 本地大模型聊天机器人 qq-ollama-bot
muguang1224 发布了用 Ollama 本地模型驱动的 QQ 聊天机器人项目 qq-ollama-bot，通过 NapCat 收发消息，不需要云端 API，支持 Windows / Linux / macOS。它用 qwen3.5-4b 聊天、qwen2.5vl:3b 看图，加 YOLO 做目标检测，具备情绪系统、长期记忆、人设进化、语音回复（edge-tts / GPT-SoVITS 声音克隆）、主动聊天和 QQ 空间发说说等功能；并用 Prompt 层加代码正则两层拦截，阻止模型编造「刚刷到视频」等假经历。README 附完整安装步骤、风控与账号安全提示，以及图片缩放实测，原图送模型需 46-200 秒，缩到 256px 后降到 4.4 秒。
GitHub · 灵魂体仓库BigMoeOnEdge 开源：从闪存流式加载超大 MoE 模型到手机和笔记本
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
GitHub · 去对齐工具与仓库FableCut 开源：浏览器内 Premiere 式剪辑器，时间线即 JSON 可由 AI 智能体直接剪辑
ronak-create 在 GitHub 开源 FableCut，一个完全在浏览器运行的 Premiere 式非线性视频剪辑器，整条时间线以 project.json 单个 JSON 文档表示，UI、MCP、REST 三种控制面共享同一修订计数器实现并发编辑。AI 智能体（Claude Code、Claude Desktop 或任何支持 MCP/REST 的客户端）可通过 fablecut_patch_project 等工具直接剪辑，UI 经 SSE 约 150ms 热重载；还提供参考视频分析（镜头切点、BPM、能量曲线）、fablecut_frame 抽帧让多模态模型看画面选素材、Whisper 本地转写、自动压音、降噪、LUFS 归一化、调色、遮罩、运动跟踪与批量导出。
GitHub · 去对齐工具与仓库EinaasKharsah 开源全本地客服 Agent 项目 agentic-support-assistant
EinaasKharsah 在 GitHub 开源了一个完全本地运行的客服 Agent，基于 10 张 Q&A 卡片回答客户问题，用 Ollama 里的 qwen2.5:3b 做决策与回答，bge-small-en-v1.5 做嵌入、bge-reranker-v2-m3 做重排、Qdrant 做向量库。核心设计是
Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，解码 39.6 tok/s
Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，batch 1 下解码 39.6 tok/s、端到端 23.6 tok/s、峰值显存 24.8 GiB。方案采用自研量化（误差约为标准 AWQ 的一半）、FlashHead 加速 262k 词表输出层、MTP 投机解码，底层为 TensorRT Edge-LLM 0.10.1；准确率与 FP16 对照为 GSM8K 96.4 对 96.1、IFEval 83.5 对 81.9、MMLU-Pro 79.1 对 79.5，并称快于 Jetson AI Lab 报告的 llama.cpp Q4_K_M + MTP 约 35 tok/s。
GitHub · 3D 生成新仓库开源 AI 长篇网文生成系统 ai-novel-generator 发布
GitHub 开源项目 j77156057-art/ai-novel-generator 发布，把长篇网文写作拆成可工程化、可验证的流水线，含 FastAPI 后端与 Vue 3 前端。核心机制包括 16 维叙事档案与 21 个可机检文体特征的文风蒸馏三档、层级摘要树保证前情连续覆盖段 1..N、BM25 × 向量 RRF 混合检索、知识图谱 v3 生成前提醒防漂移；助理 agent 有 25 个工具，写操作仅 propose_action / propose_text_edit / propose_text_fix 三种提案，需人批准落库并留版本快照。项目含 1,300 项后端测试（8 项既有失败）和空白机 19 项自检全绿；基于 LLM 的知识图谱抽取等列为未完成边界。