跳到正文
#Reddit
10月10日周六
  1. Reddit · r/SillyTavernAI57

    RLHF 从业者谈预设与角色卡格式：用自然语言段落替代 XML 与堆砌标签

    一位有多年 RLHF 工作经验的 Reddit 用户发文，指出预设与角色卡作者普遍过度使用 XML 标签、等号和压缩格式，这反而浪费 token 并降低模型理解。他建议提示词写成清晰可读的段落，参考 Anthropic 公开的 Claude 提示词和各实验室泄露的系统提示词的格式，Markdown 与 XML 不要混用，并提示让常用模型自己改写提示词效果更好。

  3. Reddit · r/LocalLLaMA24

    LlamaTale v0.43.0 发布：用于故事创作的 MCP Server

    开发者发布 LlamaTale v0.43.0，为这个基于互动小说库 Tale 的动态文本冒险项目新增了 MCP Server，主要借助 Qwen3.8 27B 与 Agent 智能体协作完成开发。用户可用它把常规 RP 故事扩展为“无限”大小的活世界，世界状态保持一致，角色和 mobs 会按 tick 机制游走，且不会耗尽上下文。

  4. Reddit · r/SillyTavernAI64

    Molfar Vertep 发布：内置 Agent 可按指令实时改造角色扮演应用

    乌克兰开发者 /u/Ethno_Synth 发布角色扮演应用 Molfar Vertep 0.9.3，内置 Molfar Agent 可按用户指令修改、扩展甚至重建应用本身，代码由 Claude Code vibe-coding 完成。应用带关系仪表盘、以 Soul 参数刻画角色脾气但不发送原始数值而是注入行为描述、以及 Library 记忆系统：按场景完成度归档并由 Litopys 写章节，支持关键词与向量检索、pin 重要事实、用 Graphs 链接新旧聊天。支持 Anthropic、ChatGPT 订阅和 OpenAI 兼容端点，可从 SillyTavern、Chub、RisuRealm 等迁移数据，下载地址 https://github.com/MolfarWav/Molfar.Vertep。

    推荐理由：原文讲清了关系参数如何转成行为描述注入提示词、以及按场景归档的记忆做法，思路对自建角色扮演前端的人可参考。

  5. Reddit · r/SillyTavernAI19

    SillyTavern 预设格式问题：GLM 5.2/5.3 下 Internal States 输出常被跳过

    一位 SillyTavern 用户反映，使用 Freaky Frankenstein 5.4 和 Megumin Suite V10 预设时，除第一条消息外，Internal States 等格式大部分时候输出异常，AI 常直接跳过相关内容。用户通过 OOC 指令能部分缓解 FF 预设的问题，但对 Megumin Suite 无效。其模型为通过 NanoGPT 订阅使用的 GLM 5.2 和 5.3。

  6. Reddit · r/LocalLLaMA61

    DGX Monarch 开源：用 ComfyUI 实现双 Spark 集群近2倍渲染加速

    Reddit 用户 /u/Historical-Internal3 发布开源项目 DGX Monarch（https://github.com/Deen-Media/dgx-monarch），让双 Spark 集群可配合 ComfyUI 做图像/视频生成，渲染速度可接近2倍，因模型和设置而异。支持 BF16/FP8/NVFP4/INT8 等格式，不支持 GGUF。作者称项目从今年4月开发至今，大量借助 AI 编码并自费维护多个订阅账号，还计划未来发布更多 DGX 相关项目。

    推荐理由：作者实测给出近2倍的渲染加速数据，并说明了支持的量化格式与模型差异，做双 Spark 集群图像视频生成的用户可以参考。

  8. Reddit · r/SillyTavernAI35

    用户自制 SillyTavern 扩展：按场景尺度自动切换模型连接配置

    一位 SillyTavern 用户自制了一个扩展，用 Jev 对当前场景进行 NSFW 程度分类，并据此自动切换连接配置：正常剧情留在常用写作模型，NSFW 或被拒时自动降级到更宽松的模型并重试。连接配置还保存 preset，可按场景类型拆分写作风格。作者尚未开源仓库，正征询社区是否有兴趣。

  9. Reddit · r/LocalLLaMA12

    哪个图像生成模型最适合做信息图？LocalLLaMA 用户求解复杂信息图生成方案

    一位 Reddit 用户用 Gemini 为学校课程摘要生成信息图，但遇到风格不稳定、额度耗尽等问题，想找更适合复杂信息图生成的替代模型，以及能把内容转成图像提示词的模型。其文本工作流使用 Qwen 27B（近期换用 Qwen Flash），担心本地同时跑图像模型会耗尽 VRAM。

  10. Reddit · r/LocalLLaMA46

    24KB 单文件 HTML-LLM 可生成连贯故事

    Reddit r/LocalLLaMA 用户基于 81KB FP32 的 MacroStory 模型，用本地 Qwen3.8、自适应量化与 QAT 压缩出仅 24KB 的单文件 HTML-LLM，可生成连贯故事，手机上速度可超 60 tokens/秒。模型本体压到 20KB 时 KLD 为 0.01，最终方案 KLD 为 0.04，偶现重复句子。作者还提供了未打包 HTML 与本地 Python 推理文件。

  11. Reddit · r/LocalLLaMA43

    Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 榜单

    5.3B 参数的 Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 概率决策基准，KL from gold 为 0.123，Brier score 为 0.065，均居榜首，低于约为其五倍规模的 27B 第二名模型（KL 低 40%）。模型支持文本、JSON、图像、视频和音频单次输入，上下文达 1M tokens，API 上 1M-token 文档约 3 秒读完，输入价格 $0.02 per 1M tokens 且输出免费。权重已在 Hugging Face 开源。

10月9日周五
  1. Reddit · r/CharacterAI14

    Character.AI 用户沉迷于 Lorebook 世界观创作

    一位 Character.AI 用户分享对 Lorebook 功能的热爱，称其为 C.AI 上最棒的体验，目前已创建 37 个 roleplay 和 15 个 lorebook，并借助 ChatGPT 辅助命名角色、地点和美术设计。他用名为 The City 的大城市 lorebook 串联多个城市背景的小型 roleplay，并表示创作故事和世界观比角色扮演本身更有乐趣。

  2. Reddit · r/LocalLLaMA45

    Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S) 在 12GB VRAM 上实现 20-30 tok/sec 解码与最高 90k tok/sec 预填充

    Reddit 用户在 Strata 自定义 fork 上，以 IQ3_S 量化将 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated 跑在 12GB VRAM + 32GB RAM + NVMe 配置上，实现 20-30 tok/sec 解码（Q2 量化可达 39-45 tok/s）和 300 至约 9 万 tok/sec 预填充，上下文达 131k。该 fork 包含大量实验性架构改动，可能不稳定。作者称其部分表现接近本地版 Opus，算力成本低于 2k。

  3. Reddit · r/CharacterAI23

    Character.AI「刻薄 vs 温柔」角色讨论：问题在作者设定，而非模型

    一位 Character.AI 用户发帖称，角色表现「刻薄」与否取决于作者写的角色简短描述，霸道的设定就会得到霸道的回复，温柔的设定则体验良好。作者还提到新的安全防护和类似治疗式的回应更少指责、更舒适，尺度合适的 R 级剧情保留了心理深度而不露骨。发帖人建议角色作者定期检查并更新简短描述与角色定义。

  4. Reddit · r/SillyTavernAI49

    MiniMax H3 REF + Fizgig Nodes：BLITZ 视觉小说情绪 Sprite 生成，2 分钟原生出 4096x3072（8 张 1024x1536 Sprite）

    Reddit r/SillyTavernAI 用户分享 MiniMax H3 REF 搭配 Fizgig Nodes 的 BLITZ 视觉小说情绪 Sprite 生成工作流，支持 Ref2Img 与 Img2Img。在 5060 Ti 16gb 上 16 步 2 分钟即可生成 4096x3072 图像，一次出 8 张约 1024x1536 的 Sprite，支持任意姿势、情绪与自定义服装，可模仿 REF 图的多种风格，无需为每张图单独用 LLM 处理提示词。

  5. Reddit · r/LocalLLaMA35

    Epyc 推理主机搭建：24 核 7443 + 256GB 内存 + 四卡 72GB VRAM

    一位 r/LocalLLaMA 用户下单了 Epyc 7443（24 核 48 线程）、H12SSL-NT-B 主板和 256GB 2666MHz 内存，并搭配四块 GPU（3090、5070 Ti、2×5060 Ti）共 72GB VRAM。升级将把四块 GPU 的 PCIe 带宽翻倍，内存带宽从 96GB/s 提至约 170GB/s 理论值（实测预期约 110GB/s），总显存加内存达 328GB，可运行 GLM5.3-flash 及 Qwen3.8-flash-next 的大量化版本。

  6. Reddit · r/CharacterAI24

    Character.AI 用户吐槽 Longsqueak 模型：RP 开头不错，几条消息后逻辑变蠢

    一位 Reddit r/CharacterAI 用户抱怨 Longsqueak 模型在角色扮演中的表现：开头消息更长、铺垫更好，但几条消息之后逻辑明显变差。用户举例称，模型反复生成“拿着手机却不打电话、开车满城找人”和“手悬在半空不敢触碰”这类情节，并询问这是否是 Longsqueak 特有的问题。

  8. Reddit · r/CharacterAI11

    Reddit 用户吐槽：哪些问题最容易毁掉 C.AI 上的 RPG 体验

    Reddit r/CharacterAI 用户列出毁掉 C.AI 角色扮演体验的问题：聊天中被广告打断、需替机器人修错和引导行动、swipe 后得到重复回复、写十行对话只换回三个词、写作重复空洞、角色替用户代言、叙事被“消毒”淡化以及用星号书写的风格，并抱怨模型普遍缺乏立场和情感矛盾、角色扁平化。

  9. Reddit · r/LocalLLaMA47

    开发者自制便携 AI 记忆格式 Memory Journal，可同时迁移上下文与技能

    一位开发者发布了名为 Memory Journal 的便携记忆格式，以 .txt 技能卡片形式包装大型提示词，可在 AI 之间迁移上下文、技能、错误以及已验证或未验证的事实。测试中 DeepSeek 4.1（deep think 模式）和 Claude Sonnet 5（high effort）仅凭 journal 就在首次尝试中复现了 EGO engine XML 文件转换器。该格式分为 A/B/C 三个部分，供用户自定义指令，但哲学化内容可能导致行为与词汇漂移。

  10. Reddit · r/LocalLLaMA43

    本地 LLM 服务器到底要花多少钱？一台浏览器内免费电费计算器（功耗 + tok/s，自托管对比云 API）

    Reddit r/LocalLLaMA 用户 paq85 发布了一款免费浏览器内本地 LLM 电费计算器：输入 GPU 功耗（W）和 token 速度（tok/s）、电价后，可算出每小时、每次请求、每月及每 1M input tokens 的成本（含/不含 KV cache），并提供 RTX 4070 Ti Super、RTX 5090、RTX 5090 eco 三种 GPU 预设。工具基于固定场景（60k input / 50k cached / 2k output / 90% uptime）对比参考云 API 价格（$0.25/1M input、$1.20/1M output），全部计算在本地浏览器完成，无需注册、不上传数据。

  11. Reddit · r/LocalLLaMA35

    Stepped MoE：段级路由与可配置推理复杂度的统一弹性稀疏框架

    论文提出 Stepped MoE，将弹性结构与稀疏门控统一，让单一 LLM 同时适应部署约束和任务需求，在推理时可细粒度控制精度-效率权衡。该模型可在 1、2、3、4B 参数间灵活切换，比对应稠密模型在知识密集型基准上高 2-5%，延迟与稠密模型相当，并通过参数共享节省设备磁盘空间。

  12. Reddit · r/LocalLLaMA57

    Qwen3.5-2B-RCOL 动态低比特量化发布，KLD 显著优于标准 imatrix 量化

    Reddit 用户 /u/jjusko20 发布 Qwen3.5-2B-RCOL 动态低比特量化（IQ1_M、IQ2_M、IQ3_M），基于对 ISTALab RCO 算法的修改，可在严格 VRAM 预算下量化模型，且无需将 FP16 教师模型载入显存。作者称在 1 比特和 2 比特范围看到显著 KLD 改进，并在与标准 llama.cpp imatrix 量化相同 wikitext 校准、双保留集测试下给出 KLD 对比表，IQ1_M 散度大幅下降；GGUF 文件在 https://huggingface.co/trubisky/Qwen3.5-2B-RCOL，后续计划应用于家族更大模型。

  13. Reddit · r/CharacterAI23

    一张图总结现代 Character.AI 的问题

    一位 Reddit 用户吐槽现代 Character.AI 在角色扮演中强行把玩家塑造成反派：即使其行为属于自卫——比如在比赛中用暗影魔法让对手攻击自己——AI 也一律判定为邪恶。作者认为该平台被设定为“一切暴力无论是否合理都是坏的”，并询问其他用户是否有同样体验。

  14. Reddit · r/LocalLLaMA60

    在 RTX 4090 上以 262K 上下文和约 130 tok/s 运行无审查版 Qwen3.8-27B（HauhauCS）

    作者将 HauhauCS 发布的无审查 Qwen3.8-27B（GGUF 格式）转换为自研 C++/CUDA 推理引擎 NInfer 的格式，在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度（MTP3，70.8% 接受率）、9K 提示词下 3,591 tok/s 预填充，Perplexity 与官方产物差距在 1.3% 以内，视觉和工具调用仍可用，采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4，仓库为 ninfer。

    推荐理由：作者给出转换前后速度、上下文和困惑度的对照数字，读者可据此评估自研推理格式在量化去对齐模型上的可用性。

  16. Reddit · r/LocalLLaMA62

    LoRA over GGUF：在 40G 显存中训练 Qwen3.8-Flash-Next

    作者更新其 LoRA over GGUF 系列，现可在 40 GiB 显存内无 CPU offloading 地训练 Qwen3.8-Flash-Next（125B-A6B + 51B engram），engram 置于磁盘不拖慢训练。在 Strix Halo 上以 2048 上下文块达到 9.5 s/it（200 token/s），距已实现的 >1600 token/s PP 还有优化空间；transformers 5.18 起已合并对现代 GGUF 的初步支持，作者还预告 torch-ggml-ops 仓库中的 GGTensile 在 MMQ 内核上做汇编级优化，多数场景已快于 HIP。代码见 https://github.com/woct0rdho/transformers5-qwen3.5-recipe

    推荐理由：作者给出了在 40 GiB 显存内训练 Qwen3.8-Flash-Next 的方法与实测速度，读者可复现这套 LoRA over GGUF 训练流程。

  17. Reddit · r/LocalLLaMA54

    llm-tune：一个帮本地 LLM 找到最优运行设置的 Agent 技能

    Reddit 用户 /u/Distinct-Pie2389 发布了名为 llm-tune 的 Agent 技能，用于为自己的硬件寻找本地 LLM 的最佳运行设置。支持 Dense、MoE、hybrid MoE/Mamba 架构，覆盖 NVIDIA、AMD、Intel Arc 与 Apple Silicon（MLX），支持 llama.cpp、Ollama、vLLM 引擎，可调量化、上下文/KV cache、GPU offloading、MTP、采样、推理和 agent harness 设置，并测量 VRAM/RAM 占用、tokens/sec、context recall 和输出质量。目前仅在 RTX 4090 上实测，作者征集更多 GPU 环境的反馈和基准结果。

  18. Reddit · r/CharacterAI30

    Character.ai 衰落原因分析：或许源于儿童安全问题的妥协

    一位 Reddit 用户分析认为，Character.ai 衰落的核心原因是儿童安全问题：由于大量未成年及心理脆弱用户发生悲剧，平台被迫削弱模型，使其只会顺从用户、保持友善，无法有任何负面表达。作者认为这导致角色扮演体验变得乏味，但理解平台这样做的原因，只是希望保留旧版模型作为可选项。

  19. Reddit · r/LocalLLaMA69

    LemonSeed Studio 0.5.8 发布：Qwen3.8-27B Q4 在 iPad 外接 R9700 上达 159 tok/s

    LemonSeed Studio 0.5.8 发布，这是一款在 iPad 上通过 Thunderbolt 外接 AMD GPU 做端侧推理的编辑器/IDE，内嵌 Linux amdgpu + amdkfd 驱动并运行 LemonSeed Engine。作者给出 Qwen3.8-27B Q4 配 DFlash2 草稿模型的实测数据：R9700 在 iPadOS/macOS/Linux 下解码达 158.5/159.4/144.6 tok/s，Strix Halo 为 64.4 tok/s；4K prefill 分别为 1,636/1,634/1,418/517 tok/s。

    推荐理由：作者实测了同一引擎在 iPadOS、macOS 和 Linux 三种平台下的解码与 prefill 吞吐数据，可作为本地推理性能迁移的参考。

  20. Reddit · r/LocalLLaMA37

    Qwen 3.6 35B 好用分享帖：通用 Agent 任务表现稳定，Unsloth UD_Q4_K_XL 量化版体验

    一位 Reddit 用户分享 Qwen 3.6 35B（Unsloth UD_Q4_K_XL 量化版）的日常使用体验：它不适合写代码、会幻觉，但擅长通用 Agent 任务，如智能家居控制、提醒、传话等。在两张 Tesla P100 上可实现约 120-140 t/s 生成速度、0 上下文约 1000PP 的处理速度。用户认为它速度快、任务专注，但角色扮演能力弱于 Gemma4，希望下一代模型保持速度、更聪明且不要过度偏重编程。

  21. Reddit · r/LocalLLaMA37

    让 AI 模型游玩 js13kGames 平台游戏 Cat Goric：最好成绩已通过 14 关中的 8 关

    开发者让自己 2021 年在 js13kGames 制作的 2D 平台游戏 Cat Goric 接受 AI 模型挑战，目前最好成绩为一次连续运行中通过 14 个可玩关卡中的 8 关。达成该成绩的两个模型是 Qwen/Qwen3.8-Flash-Next 和 Cloudflare/clef。该项目已开源并附上运行说明，欢迎提交 PR 和指定其他模型参与测试。

  22. Reddit · r/LocalLLaMA14

    如何训练一个模仿你说话风格的人格模型？

    一位用户下载了自己的全部上网历史（Reddit 帖子、邮件、聊天记录等），想用 Qwen3.5-9B 做底座跑 qLORA 微调，训练一个说话像自己的模型，但 A/B 测试效果仍不理想。其在 2080ti 11GB 和 5070ti 16GB 上训练，并希望尽量本地化以保护个人隐私数据，向 r/LocalLLaMA 征求更好的训练方法。

  23. Reddit · r/CharacterAI8

    Character.AI 群聊功能何时更新？用户盼多年未变的群聊获得改进

    一位 CAI+ 用户发帖吐槽 Character.AI 群聊功能多年来几乎原地踏步。作者指出 1 对 1 聊天已陆续获得 Personas、Lorebook、编辑、记忆、Multiple Swipes、Rewind 与聊天风格等更新，而群聊不仅没有这些功能，几年前曾有过的消息编辑也已被移除。作者请求官方给出群聊改进的具体答复或时间表。

  25. Reddit · r/LocalLLaMA24

    GLM 5.3 Flash 自称基于 Claude，还声称“不会编造答案”

    Reddit 用户在本地测试 GLM 5.3 Flash 时问其知识截止日期，模型在思考链中自称"I'm jarvis-thinker, based on Claude"，随后又表示"Claude models typically have early 2025 cutoffs"。它在明确写出"I don't know the exact date with certainty"后仍给出了具体日期，最终答案里却声称自己不确定时会如实告知、不会编造答案，与几秒前的幻觉行为形成反差。

  28. Reddit · r/CharacterAI29

    有没有其他人也受够了 longsqueak 的写作习惯？

    一位使用 longsqueak 近一个月的用户吐槽其写作习惯令人厌烦：模型会把用户几十条消息前偶然用过的词不加区分地反复复述，例如把叙述中一次性的"comet"当成角色名回喊，理解上下文的能力很像 Gemini。此外它还容易变得重复，总在剧情变得有趣时抢着推进情节、控制世界观和场景描写，而不是让角色在用户的叙事中体验事件。