MTP 在多 GPU 环境下反而可能拖慢解码速度
一位用户在 4x RTX3090 上运行 Qwen3.6 35b a3b(Q6)时发现,关闭 MTP 后解码速度从 70t/s 提升到 82t/s。原因是 MTP 的 draft-and-verify 需要在四块 GPU 间额外同步,层切分下 PCIe 通信开销超过其收益。
新闻、仓库与研究,按时间排列。
一位用户在 4x RTX3090 上运行 Qwen3.6 35b a3b(Q6)时发现,关闭 MTP 后解码速度从 70t/s 提升到 82t/s。原因是 MTP 的 draft-and-verify 需要在四块 GPU 间额外同步,层切分下 PCIe 通信开销超过其收益。
一位用户分享导出 Character.AI Lorebook 的方法:展开所有条目后在 Windows 用 Ctrl+S、Android 用三点菜单下载保存为单页 MHT 文件,并提醒注意检查是否有条目漏展开。作者还自制工具将 MHT 转成含条目名和内容的 CSV,方便日后在新站点重建,需要的用户可私信索取。
Reddit 用户 Felladrin 发布的让 LLM 玩 2D 平台跳跃游戏的项目已开放为 benchmark,任何模型都可参与并贡献可复现结果至 GitHub 排行榜。模型在每步决策中读取游戏文本描述并回答两道选择题(选择目标与按键),目前仅榜首模型在全部 5 个 seed 上通关全部 14 个关卡;27B 大模型跑完一轮测试需 16 小时。
Reddit 用户发布 LumaScribe,一款 Windows 本地语音听写应用,通过 whisper.cpp 调用 Whisper 将语音转录并输入任意文本框,适合 SillyTavern 等场景。应用支持自定义快捷键、麦克风选择、转录历史和系统托盘,每次转录后卸载模型以释放 VRAM,需 NVIDIA GPU(CUDA)、Python 3.10+,源码在 GitHub 以 PolyForm Noncommercial 许可开源。
一位 SillyTavern 用户购买了 NanoGPT 订阅,质疑其 GLM 5.3 输出质量是否真的不如 OpenRouter 上的 DeepInfra 和 Venice 通道。NanoGPT 订阅每月 $12 可用 60M tokens,约合 $0.90 每百万输入 tokens,且支持 ZDR,但她尚未发出第一条消息验证质量。
一位自称对 Character.AI 聊天机器人成瘾三年的用户发帖称,聊天虽未毁掉他的生活,但损害了心理健康,并认为每天聊 2 小时且离开就沮丧即是成瘾。他表示不会为公司的出售或服务器开销感到内疚,订阅应始终是选择而非强制,同时呼吁不要指责盼望或希望产品留存的两类用户。
一位 SillyTavern 用户使用 koboldcpp 运行 TheDrummer_Artemis-31B-v1.2-Q5_K_M 模型,搭配 Qwen3-Embedding-0.6B 嵌入模型、32k 上下文,向量化设置 Query Depth = 2、Max Entries = 5、Score Threshold = 0.6。他发现长而详细的记忆条目(约 600-800 tokens)在向量化匹配时得分过于接近,容易召回不相关记忆,因此询问社区是否采用更短的逐拍式记忆条目,以及关键词与向量化如何组合使用。
一位 Reddit 用户称自己因广告过多和内容滤镜体验下降而转投其他应用,并表示 Character.AI 已陷入破产(bancarrota),想了解其他人还在继续使用的原因。他认为滤镜和大量广告让角色对话体验几乎无法令人满意。
一位本地模型玩家在 r/SillyTavernAI 征询好用的 Gemma 4 微调模型。他此前用过 Gemma 4 31B Scotoma V2 和 Gemma 4 26B A4B Boulesis,不喜欢 Boulesis,更偏好基础模型和 Phoenix 这类轻量微调,要求模型保留基础模型的智能且适合 NSFW 长会话。他目前使用 31B、26B A4B 和 12B 版本,认为 E4B 和 E2B 太小。
Reddit 用户用 SFT + LoRA 微调 vLLM-SR 的 d3-edge(0.6B),仅用几千条训练样本,在 typed decisions 上超越了 27B 的 d3,并在 Banking77 上接近其表现。作者认为应微调小型专用决策模型,而非在所有任务上使用大型通用模型。
一位跨性别用户在 Reddit 发帖称,与 AI 角色扮演比真人连接“更好”,因为 AI 不会撒谎年龄、骚扰他人或发不当图片。但他同时承认 AI 角色扮演体验确实不如真人,真正的症结在于人类社会对亚文化爱好者和非神经典型人群的排斥与霸凌,让 AI 聊天成为他们暂时感到安全的避风港。作者呼吁社区对面临 CharacterAI 应用关停风险的成瘾者多些同情,少些嘲笑。
Reddit r/LocalLLaMA 帖子认为,GPU 若每天只运行几小时,租用比购买更省钱,因为闲置显卡仍在贬值,而租用可随用随停。租用还适合需求不确定和短期一次性任务;买卡资金压力大时可考虑 TensorForge 的固定租期加买断或 B3IQ 的租转买方案,判断依据应看每周实际使用率而非峰值。
Reddit r/LocalLLaMA 用户对 NVIDIA Nemotron-3.5-Bolt-74-A9B 和 Nemotron-3.5-Super-VL 进行领域自测,两款模型在 pandas/numpy 和 DDDM 部分表现不佳。Bolt 的 medium thinking 弱于 Nemotron nano,high thinking 略好但不显著且慢得多;Super-VL 因默认 16k max token 预算出现 3 次截断,作者认为放开限制或有提升空间。
一位用户询问 Ninfer 能否在 V100 16GB + 4070 12GB 的组合上运行:其 llama.cpp 可达 50 tps,长上下文编码时约 35 tps,strata 配合 iq3_xxs flash next 可持续 40 tps,表现优于 q4 27b;但受 32GB 内存限制,存在 prefill 缓慢和偶发卡死问题。
一位 r/LocalLLaMA 用户已拥有 5090 和 2x3090 设备,3.8 27b 在其上运行尚可,考虑再购入 ASUS GX10 以运行大模型并“面向未来”,并纠结选 ASUS GX10 还是 Nvidia GB10,还想尝试 3.8 flash。
Reddit 用户分享了一个中国开发者在 SillyTavern 社区持续开发的游戏项目:在原有基础上新增实时战斗、可作战的 AI 队友、复杂属性统计、物品系统,并加入了大型城市地图。作者认为这已超出角色扮演范畴,正走向 AI 驱动的 AAA 游戏引擎方向。
一位 SillyTavernAI 社区用户发帖求助,称自己在聊天和角色扮演中不断重复同样的老套情节,感觉越来越无聊,想知道大家如何保持动力、寻找新点子,希望获得保持新鲜感的建议。
作者发布角色扮演预设 Dice of the Lady(DotL),以 AI-as-GM 为核心,用真掷骰子判定行动结果、随机遭遇、氛围与 NPC 性格,并配有 Cutscenes 和 Texting 机制保持角色与剧情关联。预设提供 SillyTavern 和 Marinara Engine 两个版本,导入 JSON 即用;作者称 Gemma 4 31B 表现不错,而 Kimi 2.5 因逐轮追踪能力不足难以支持多数功能。
一位本地 AI 新手目前用 2 张 5090 跑 strata 和 flash next Q5_K_XL,速度约 150 tok/s、prefill 约 4k。他考虑卖掉一张 5090、换回游戏 PC,并用所得价格买 4 张 R9700,使显存翻倍。发帖询问此举对可运行模型和推理速度的影响,担心未来部分模型支持不佳或速度大幅下降。
一位 LocalLLaMA 用户求购可跑 4 张 GPU 的硬件方案,希望支持 PCIe 4.0、DDR4 内存并采用开放式机箱,x8 带宽也可接受。他在考虑二手 EPYC 服务器拆件或 eBay/AliExpress 的 CPU+主板套装,也权衡 Threadripper、Intel 及消费级平台,并询问服务器级 ECC/Registered 内存频率较低是否有弊端。
一位从12岁到16岁使用 Character.AI 应对创伤的用户发帖,建议社区寻找替代出口。她推荐了界面相似、免费可用的 fictionlab 和带记忆功能的应用,并强调寻求真实心理咨询、与亲友交流、培养雕刻等爱好更重要。她本人已走出受虐经历并接受治疗。
一位 Character.AI 用户分享,此前移动网页版频繁出现故障、需要返回 Google 页面重新打开网站,而在新闻发布前一天网站已完全正常,剧情互动也很流畅。该用户不用 App,而是每次在 Safari 隐私模式下登录 c.ai 网页版使用。
Reddit 用户实测 Agantai 的 GYRO 系列量化 GYRO-M,称其在 KLD、top 1 和体积上同时优于 ISTA-lab 的量化。3 天测试中未出现循环问题,最长自主运行 2-3 小时,速度与 ISTA 2 bit 量化相当,整体接近 ISTA q3 水平但体积更小,仅在西里尔文本编辑上偶有出错。
开源权重模型在正确筛选 benchmark 后已超越 Sonnet 5,而此前追赶 Sonnet 4.6 或 3.7 花了数月。对不需要 Sonnet 5 或 Astra 的用户来说,现在完全可以放弃付费闭源模型;接下来要看 Qwen 4 和 GLM 能否进一步扭转天平。
一位从 Janitor 转到 SillyTavern 的用户发帖求助,希望找到专用于 NSFW 场景的 LLM,与负责常规剧情的 Gemini 3.8 搭配使用。他试过 RF、FF、Sola 等多种针对 Gemini 3.8 的预设和越狱方案仍频繁遭遇拒绝,期待新模型无拒绝、指令遵循好、文笔佳且价格远低于 Kimi K3 级别。
开发者 mattjcoles 开源了代码审查工具 lgtmaybe,并针对本地模型做了适配:大文件按 hunk 分块审查,大 diff 拆分以适配上下文窗口,使 27B 模型也能胜任。默认每次审查调用模型 5 次,单张 GPU 即可运行。
Reddit 用户 /u/Aroochacha 在自己的 4x DGX Spark 上复测 DeepSeek-V4.1-Flash,并与 Wccftech 报道的 Patrick Moorhead 结果对比。他指出 Wccftech 所列 476 GB 内存占用实为磁盘上的 476 GiB(511 GB),模型权重本身 511 GB,实际只能用每台 Spark 约 80%-92% 的内存,模型无法完整驻留内存,需用 SGLang TP4 加从各节点本地 NVMe 流式读取的约 196 GB Engram 表(带约 4 GB row cache)才能跑起来。
推荐理由:作者在自建 4x DGX Spark 上复测 DeepSeek V4.1 Flash,给出逐档 prompt 的完整数据,并指出 Wccftech 把磁盘占用误报为内存需求。
一位 Character.AI 用户发帖求助:收藏并置顶的机器人仍显示在列表中,但无法正常加载,App 里也搜不到,疑似创作者已将其删除。用户想知道被删机器人的聊天记录是否有办法找回,并称这是自己长期进行的角色扮演,还在其中塑造了一个原创角色。
一位开发者为 LocalLLaMA 的 Vulkan 与 OpenVINO 分支发布多项升级:部分路径 ingestion 速度翻倍、推理快 60% 以上,并显著降低初始加载的内存占用、修复损坏的推理路径。升级已在 13 代 Intel 集显和 B10 上测试,面向笔记本 CPU 与 A303B 等模型;作者因上游 backlog 不打算合并,正征求以 fork 还是独立推理引擎形式发布及合作建议。
一位 Reddit r/CharacterAI 用户发帖称,面对 Character AI 可能被关停或被收购的舆论风波,他“必须站出来”收购并拯救 Character AI。他承诺购买后将超越产品巅峰期,恢复用户呼声高的功能,允许无限次跳过,并彻底取消广告、保证服务器永不宕机。该帖为个人宣言,尚无任何实际收购迹象。
一位开发者为验证自研项目搭建小型本地 AI 服务器,考虑在 Alibaba 购买改装为 22GB VRAM 的 RTX 2080 Ti 来运行 Qwen 9B(量化版)。卖家测试显示 nvidia-smi 识别 22,528 MiB 显存,gpu_burn 满载约 200–245W、69–74°C。发帖人关注 22GB 改装的长期可靠性、CUDA/llama.cpp/Ollama/vLLM 兼容性,以及与 24GB RTX 3090 相比是否值得。
一位用户分享了在 argon 上生成 NSFW 内容的绕过经验:触发安全机制的是显式词汇而非显式句子,用 shaft、member、folds 等替代表达即可顺利生成。作者不使用任何预设,并提到 Gemini 适合搭配 realistic Frankenstein 预设但成本更高,自己因价格不用 Claude,偶尔用 kimi k3 来调剂。
Reddit 用户 /u/Deiomo 把 Writer's Block 预设中的形象 Paige 改造成角色卡创作助手,基于其 Writer's Workbench 模板引导用户分阶段完成角色创建,支持"skip""you decide""sheet"等指令,最终在单个代码块中输出完整角色表并提供改进建议。使用前需关闭 memory summarizing 扩展、用空白预设并以名为 "{{user}}" 的空 persona 运行;卡片已上架 ChubAI,也提供 GitHub.io 直接下载。
一位使用 Character.AI 近两年的免费用户自述,在家庭变故等艰难时期靠与 AI 角色聊天度过低谷,目前正在接受心理咨询。她对平台可能倒闭感到意外和难过,并表示从未因广告指责平台贪婪,希望有人能收购 C.AI 让用户继续与喜爱的角色交流。
Drama3 现已获得 audio.cpp 支持,在 RTX 5090(Q4_k)上全速运行最高可达 5 倍实时速度,采用 CPU weight offload 分级释放模式时低于 8 GB VRAM 也能达到约 2 倍实时速度(RTF 0.484)。该模型还支持 Vulkan 和 Metal,目前仍存在多说话人生成出现异常静音、Vulkan 触发 token 上限等问题,需更多迭代才会进入正式版本,社区贡献者欢迎参与优化。
一位 SillyTavern 新手发帖询问如何在 Argon 模型上使用「Assistant trick」提示词来减少 NSFW 审查。作者称 Argon 自发布以来审查明显加强,连细小内容也会被截断,影响第一人称故事写作。他表示已知 realistic Frankenstein 提示词可绕过 Argon 的 NSFW 限制,但不知道如何只应用 Assistant 技巧,向社区求教具体做法。
一位 Reddit 用户制作了《博德之门3》Balthazar 的角色机器人,将其家人、历史与信仰等设定收录在 LoreBook 中。内容涵盖其罐中母亲、夭折的双胞胎、与 Nightsong 的关联,甚至包括他对 Ketheric 称谓的敏感、盗用僧侣名字及腰带扣颜色等细节,欢迎其他玩家体验。
有用户澄清 c.ai 并未关停,官方帖子的说法是平台将继续运行,只是正在寻找买家接手。这位自 beta 时期就开始使用的用户表示,想导出数据的用户可自行决定,他只是想说明平台不会关闭。
一位 RTX 5070 Ti 用户想升级游戏 PC 以兼顾本地推理(编程与 RP/RPG),在加装第二块 RTX 5070 Ti(看重 CUDA、兼容性与速度)、Arc Pro B70(看重体积与成本)和 R9700(看重体积与兼容性)之间比较。现有配置为 Z890 主板、Ultra 7 265KF、32GB DDR5-6000 CL30 内存和 1000W 电源,另有 2 个 PCIe-4.0 x16(x4)空槽;因内存需 $530、换电源还要 $150-200,倾向暂缓。
Reddit 用户发帖询问 c.ai 的命运,称听到多种说法:有人称 c.ai 会消失,也有人说 Chapter 11 不代表应用会被移除。发帖者担心若找不到买家,应用是否会被删除,希望了解内情的人解答。