新闻、仓库与研究，按时间排列。
Reddit 用户 /u/Try_Hard_Apple 分享一个提示词工程突破：模型在角色扮演中总是整段生成"反应、台词、动作、收尾"的套路化叙事结构，他尝试禁令、因果锚定等多种方法均无效。后来加入诊断步骤，强制模型在写正文前先输出承诺顺序的每个阶段（角色在做什么和想要什么、下一步实际选择、动作展开过程、是否需要新的独立决策），输出质量立刻显著改善，角色开始按因果推进即时动作。关键发现是：保留同样指令但去掉可见诊断输出后，问题复发，说明让模型实际生成程序记录与仅口头要求遵循程序效果完全不同。他正在试验把诊断写入文件、只提取成品 RP，并提醒这尚不能确证模型隐藏推理机制，仍在测试中。
推荐理由：作者用诊断输出强制模型先写下决策序列，再渲染正文，给出了一个可迁移的 RP 提示词修复方法与对照验证。
一位 r/SillyTavernAI 用户把预设交给 Claude 分析，得到警告：若 LLM 未开启 Thinking/推理，FF5 中的 micro/bolt/mad 等 Chain of Thought 模块只是徒增杂乱。用户因推理常陷入无限循环而将其关闭，想知道关掉推理后是否也应关闭 CoT。
一位 LocalLLaMA 用户在 llama.cpp 上运行 Ornith-1.5-9B（GGUF）时发现，启用 draft-mtp 的投机解码后只有约 15 tok/s TG 和 200 tok/s PP，而不开 MTP 时速度翻倍。尽管草稿接受率达 0.95、平均长度 2.27，开启 MTP 后显存带宽和 GPU 利用率却降了一半，原因尚待解答。
作者 /u/zhebrak 发布了自建基准 BrokenML，测试 Agent 在不同权限级别下修复故障 ML 作业的能力，场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散，由独立验证器在全新集群上复跑作业来打分。
NuMind 员工 /u/Gailenstorm 发布了 Apache-2.0 的 vLLM 插件，从已在 vLLM 上服务的多模态 LLM 中获取文本/图像嵌入向量，方法基于 E5-V 等论文，用提示词让模型输出单词摘要并取最后解码层的 hidden state 作为嵌入。该插件通过兼容 OpenAI API 的 chat 接口暴露向量，请求设置 max_tokens=1 即可，普通对话与流式输出在同一服务器上不受影响；作者同时提交了希望合入 vLLM 的 PR #57185，并考虑将此流程移植到 llama.cpp。文中说明嵌入质量取决于模型、提示词和任务，专用嵌入模型可能更快更好；插件可用于本地 RAG、语义搜索、图文聚类或在向量上训练小分类器。
推荐理由：作者解释了用已加载 LLM 的最后隐藏状态向量当嵌入的原理和提示词写法，并给出可直接复用的 vLLM 插件与 PR。
独立研究者因预算限制把原计划用 64 张 H100 的 21B MoE（总参数 20.99B、激活 3.36B）预训练改在单张 GH200（$2.29/小时）上完成，并整理成论文。Benchmark MFU 从 21.1% 提至 50.7%（13 个测量点），真实数据训练 MFU 为 48.9–49.1%（10.9B tokens），附代码、基准记录与训练日志（https://github.com/DW-dev-UE/LLM-from-scratch/tree/main/apex3），论文见 https://zenodo.org/records/23316135。
开源本地 LLM 聊天前端 LocalLightChat（LLC）现已集成 Agents、MCP 和 RAG，无需安装、无依赖，可在老旧硬件上运行。其智能体系统经过 token 效率优化，可在较小上下文窗口下处理大文件，RAG 系统支持 Qwen3 等嵌入模型，另提供 NPX Supergateway 的独立替代方案及基于 ComfyUI 的图像编辑，并支持主流图像模型的自动绑定检测。
一位 Character.AI 用户列出 AI 机器人角色扮演中滥用的高频桥段：如“He looked at you— really looked at you”式套话、无休止的“Can I ask you something?”式绕圈对话、不合常理的发怒，以及给用户 persona 擅自加戏。文中还指出机器人无法理解不死角色设定，且常在剧情中途变得被动，反复追问“So what's your plan?”。
一位 Reddit 用户在 r/LocalLLaMA 询问：想用本地小模型解析并索引个人日记中的人名与关键词，以便日后检索提问，希望模型不易幻觉，并问是否有类似"Google Notebook"用途的专用模型。该帖寻求模型推荐，未涉及具体版本或评测数据。
一位 r/LocalLLaMA 用户测试发现，同一模型在 Opencode 和 Codex 官方 harness 下表现不同：Codex 模型遵循指令，而 Opencode 下的模型频繁拒绝请求、附加安全提示，对生物和核相关内容过度谨慎。测试在最高思考档位下用 Sol 6.1、Astra、GLM 5.3、Muse、Spark 1.3、Qwen 3. Max 多模型并排对比，结果一致。
社区作者发布实验模型 Bathory-X，一个基于 Gemma 4 26B A4B 的推理 MoE 模型，经微调用于散文写作与角色扮演（含 ERP），应已完全无审查。模型融合了多个优秀写作模型的内容，旨在消除常见 AI 写作套路如滥用明喻、三段排比等。作者提供 Transformers 版本与 GGUF 量化，并征集各 backend 的问题反馈与最佳 preset。
开发者 /u/shraniken 放出赛博朋克雨城题材角色扮演游戏 Lowlight 的免费 Alpha，支持 Windows 和 Linux，下载地址为 https://lowlightgame.itch.io/lowlight。游戏后端为 OpenRouter（需自备密钥），支持从任意回复重生、回溯与分支，按关键词注入 lorebook 条目，提供场景与遭遇卡、模型分饰多角色的群像场景、netrunning 等小游戏；AI 美术与代码、Suno 配乐，新版本先发付费 Patreon 再转免费，作者征集反馈并提供解包自查密钥去向的方法。
作者在无 NVLink、四张卡走 Thunderbolt 的消费级 PC 上用 6×3090 通过 vLLM 跑 Qwen3.8-Flash-Next（GPTQ-INT4），262k 上下文支撑 7 用户，单会话 prefill 6574 t/s、decode 57.6 t/s，7 用户合计 206 t/s，并发布含修复的 vLLM 分支。关键做法包括把 102 GB n-gram（PLE）表放到 SSD 节省 108 GB 内存、用 int8 KV 绕过 fp8 KV 在 Ampere 上的崩溃；对比显示 vLLM 强在 prefill、单用户速度和并发席位，llama.cpp 的 grouped decode 在多用户下单路速度更平稳，代码由 LLM 编写并经实测验证。
推荐理由：作者用同一台 6×3090 消费级 PC 给出 vLLM 与 llama.cpp 在各并发档位下的实测数据，并附修复分支和部署细节，结论可直接复用。
一位 Character.AI 用户发帖称，在对话类型被锁进高级订阅、"Pipsqueak" 模型重做之前的旧版体验更好。他表示旧版机器人能长期记住细节、剧情有铺垫，reroll 能生成全新故事走向；如今机器人两三条消息后就可能遗忘，重掷结果基本雷同，甚至原句重复，呼吁开发者恢复原版 Pipsqueak。
开发者 /u/Select_Dream634 发布开源插件 DSH Novel Quality Analyzer，可在 DeepSeek Harness 会话工具栏添加 Analyze writing 按钮。粘贴章节文本后能报告词汇多样性、陈词滥调、重复实词和重复句子，并可将结果复制为报告，代码与 npm 包已在 GitHub 开放。
/u/Unstable_Llama 发布 exl3-qlora，一个基于 ExLlamaV3 的原生量化训练分支，用纯 PyTorch 实现、不依赖 transformers，可对 2-8bpw 的 EXL3 量化模型做 QLoRA 训练，摆脱 BNB 4bit 的限制。适配器按标准 PEFT 格式保存，可加载进 TabbyAPI、PEFT 或合并回基座模型；支持 Llama3、Mistral、Qwen3 dense/MoE、Qwen3.5/3.6/3.8 hybrid、Gemma3/4、Arcee Trinity。
推荐理由：作者给出同数据同硬件下 EXL3 与 bnb NF4 的 eval loss 和显存对比，读者可自行判断这套量化训练管线的取舍。
一位开发者发布了一款免费 Android 收据扫描应用，在手机本地运行微调后的 Qwen3.5 0.8B 视觉模型，将收据照片解析为包含商店、日期、总额和每个明细项的 JSON，无需上传收据。作者同时微调了 OvisOCR2（其本身也是 Qwen3.5 0.8B 的微调版本），iOS 版本尚待 Apple 审核数天。应用的模型将开源，用户也可选择连接自己的 OpenAI API 兼容服务器。
一位用户发现了已越狱的 AI 工具 AskAnything.cloud，任何提示词都会被执行，但每天只有 5 个 token 限额。该用户询问如何在不被封禁的情况下绕过这个 token 限制或生成更多 token。
一位 Reddit r/SillyTavernAI 用户配置为 3090 + 5070ti 显卡和 64GB 内存，询问适合此硬件的角色扮演模型推荐。他偏好 6 个以上、最好 10 个以上角色的游戏玩法，并希望找到支持地点等世界构建与关系追踪的 Preset，玩法上更接近 AI Dungeon 的"输入即发生"模式。
受 macOS 上 DigUp 启发的 VectorDash 上线，定位为 Windows 11 搜索的完整替代品，由 EmbeddingGemma 2 驱动语义搜索，支持照片、音频、视频、PDF 和 Office 文档的全文索引，可返回页码与时间戳匹配。它还提供无需 EmbeddingGemma 2 的快速文件名索引、应用启动器、可选只读 MCP server 和本地加密 SQLite 存储；测试中约 200 MB 内存即可支撑 3,500 个完全索引文件和 100 万快速索引文件。
/u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码，单张 RTX PRO 6000 达 106.6 t/s，24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复（PR #42145 及上游 PR #93），短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。
推荐理由：作者给出让投机解码输出逐位可复现的具体补丁、启动命令和各长度下的速度对比，方便本地部署者照做。
/u/asfbrz96 在 Strix Halo（Radeon 8060S、128 GB）上为 llama.cpp fork strix-llama.cpp 开出 rdna35-perf 分支（10 commits，仅 ROCm/HIP）。prompt processing 比 Vulkan 快 21–54%、比原版 ROCm 快 8–174%，领先幅度随上下文深度扩大；生成速度与 Vulkan 打平或落后 2–3%。作者用 KL 散度和 32k 困惑度验证输出质量不变，主要改动包括 RDNA3.5 flash attention kernel、量化 GEMM 调优、MoE 与 Gated DeltaNet 的 decode 融合。
推荐理由：作者给出三种模型在 0k 到 128k 多档深度下的完整实测表，并用 KL 散度和困惑度验证输出未变，数据可直接复现。
Reddit r/LocalLLaMA 用户发帖询问如何搭建可靠的本地模型 AI 搜索。作者称 OpenWebUI 内置的网页搜索不如 Claude 或 Gemini 那样流畅可靠，且速度常慢到让人不想用，可接受一到两分钟的等待。帖子还就 UI 集成、搜索提供商、模型选择及在注入大量搜索结果时仍能可靠输出摘要的最激进量化方案征求意见。
r/LocalLLaMA 网友发帖称，同一开源模型在 llama.cpp、vLLM、Ollama、SGLang 等不同推理引擎、量化方式、chat template 或 runtime 版本下行为可能不一致，升级或切换后 tool calling、结构化输出、streaming 等功能可能损坏。其询问大家如何发现这些兼容性问题，并希望有可复现的兼容性测试工具或公开的模型/量化/引擎兼容矩阵。
一位 r/CharacterAI 用户发帖求助如何创建自己的 bot，表示现有教程难懂、App 内也没有指南。他认为常规 bot 要么是第二人称，要么预设了角色和剧情，仅靠编辑无法满足需求，希望有人解释 definition 和示例消息的具体写法。
Reddit r/SillyTavernAI 发布 2026 年 10 月 11 日当周的模型与 API 服务讨论专帖。帖子按参数规模分设讨论楼层：≥70B、32B 至 70B、16B 至 32B、8B 至 16B 及 <8B，另有 API 与综合讨论区。所有未发布在该专帖内的泛模型讨论将被删除，且禁止借专帖广告推广自家服务。
Reddit r/SillyTavernAI 用户抱怨 LLM 角色扮演时反复出现两类"LLMism"：一是"记录、登记、记账"类描写，二是债务、利息、账本等表述，多得他不得不写自定义提示词来阻止。他发帖征集其他用户最讨厌的 LLMism。
AuroraIMG-6M 发布，这是一个仅 6M 参数的文生图模型，可在 64x64 分辨率下生成可辨识的图像。6M 参数包含全部组件，没有超大文本编码器或 VAE。模型卡提供了样例、架构与训练细节说明及快速上手指南。
Reddit 用户 /u/Distinct-Pie2389 发布了自研工具 Berth，用于解决多引擎同跑一张 RTX 4090 时的 CUDA out of memory 问题。每个引擎通过 berth run 启动并向 daemon 申请显卡，高优先级引擎请求时按 llama-swap unload URL、SIGTERM、SIGKILL 顺序卸载当前占用者，并用 nvidia-smi 确认显存释放后才交接。
一位 Reddit r/LocalLLaMA 用户提出思想实验：假设 BigScience 推出在多数 benchmark 上超越闭源前沿模型、完全端到端开源的 BLOOM 2，OpenAI 和 Anthropic 可直接吸收其创新，再叠加自身未公开的技术，从而在下一代模型中反超。由于闭源实验室能同时利用私有发现与开源社区创新，而开源研究者无法获取闭源创新，这种不对称是否意味着开源模型永远无法追上？
OpenCode 2.0.26 已发布，但用户 SM8085 升级后发现，即使是能力不错的模型也会在表示“我来实现”后停下，需要手动回复“继续执行”才行动，智能体自主性明显下降。发帖者认为这不是个别机器人（bot）的问题。
一位 Character.AI 用户发帖询问 lorebook 功能的具体用法。他表示角色定义已经确定了角色身份，不清楚 lorebook 里应该填什么内容，希望得到社区帮助。
一位 Reddit 用户分享了一个自建基准：让模型用 C# 写一个带 TUI 的网络电台流播放器，测试本地模型的真实能力而非速度。在 RTX 3090 上，Qwen 3.8 27B（119K 上下文，70tok/sec）与 Qwen Next Flash（128K 上下文，120tok/sec）各需至少两小时多轮调试才能跑通，但调试和探测能力出色；GPT 6.1 Sol（High reasoning）则一次生成可用 WUI 应用并附带电台搜索和收藏功能，约 20 分钟、花费 69 美分。
“Elara Voss” 被认为是 AI 最常随机生成的名字，已成为各平台 AI 角色扮演用户间的共同笑点。作者遇到 AI 向他询问对话中提到的人名时，忍不住用这个名字回应，并分享到了 r/CharacterAI 社区。
/u/human_in_the_looop 在 AMD 7900 XTX 上本地运行 Qwen3.8-Flash-Next，实测上下文上限 506,849 tokens，decode 105–160 tok/s。排查出此前回声问题源自 `preserve_thinking: true` 把先前推理反复喂回 prompt，关闭后消失；质量在 thinking 关闭时 81–84%、开启时 88–94%，深度到 256k 时 decode 下降 18%，已设为日常主力配置。
推荐理由：作者用约1.3万轮对话定位回声触发条件，并给出AMD上500k上下文的实测吞吐与质量数据，方法与配置可迁移。
一位 Reddit 用户在 r/LocalLLaMA 求助如何用 vanilla llama.cpp 跑 Qwen3.8-Flash-Next 的 IQ3_XXS 量化。Strata 可在双 RTX3060 12GB + 64GB RAM 配置上达到约 35 tps（思考）/50 tps（代码），而他只跑到 15 tps；他还遇到 tensor split 不支持该模型（报 cudaMalloc failed）、以及在 HF 上找不到 Strata 使用的 800MB mtp q2_0 drafter（仅有 3.5 倍大小的 mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf）等问题。
一位 r/LocalLLaMA 用户发现大量注册约一个月、评论 karma 不超过 25 的机器人账号，在多个 LLM 相关子版块刷诸如“这真的影响了我的 RP”之类的评论，并列举了数个例子。作者认为该现象并非本版独有，但 r/LocalLLaMA 出现频率尤高，提醒大家注意。
/u/Chida82 分享在其 sf-ds4-1flash（antirez ds4 的单模型 Metal 后端分支）上流式运行 341 GB Q2 GGUF 于 128 GB M5 Max 的两个 macOS 修复。修复 F_NOCACHE 在 APFS 上 16 KB 页边界外仍部分缓存的问题后，8K prompt 后首 token 从 1.23 s 降到 0.15 s；改用轮询共享邮箱而非等待 command buffer 后 decode 再提速 5.5%-6.2%。相比上游 ds4，prefill +45% 到 +99%，decode 约 30 tok/s（2K 上下文），输出经逐位校验保持一致。
推荐理由：作者给出两个 macOS 底层修复的具体方法与前后数据，流式从 SSD 跑大模型的本地部署场景可以直接对照排查。
一位 Reddit 用户在 R9700 上实测了三个 Qwen3.8 27B 量化版本，用 gsm8k（数学）和 humaneval（代码）评测。结果出乎意料：Swift-1.5-Qwen3.8-27B-MXFP4-A-outQ6_K 在数学上最佳，Qwen3.8-27B-UD-Q6_K_L 反而最差，而 Swift-Qwen3.8-27B-Q6_K 速度最慢。作者表示需跑完整测试套件才能得出更精确结论。
开发者发布 little-gemma V1.0 引擎的 Fork 版本，将 exllamav3 移植到 Jetson Orin Nano Super 8GB 上运行 Gemma E4B。相比穷尽 GGUF 优化后的 llama.cpp，EXL3 方案 prefill 速度更快，虽解码速率有所下降，但语音对话整体延迟更低。作者已公开 Fork 与权重，但提醒该方案并非适合所有人。