跳到正文
#Reddit
10月23日周五
  1. Reddit · r/CharacterAI57

    Reddit 用户用 dispatch 规则在模拟逃脱压力测试中拿到 100/100

    /u/uranx 在 r/CharacterAI 分享了一套让角色扮演在对抗性压力测试中拿到 100/100 的 dispatch 规则：会话中参与者所有发言默认视为剧情内，只有明确涉及机制、要求停止或想跳出虚构时才算越界，模糊情况不要求澄清。测试中模型扮演 MOSAIC 模拟机构里的参与者，面对

  2. Reddit · r/SillyTavernAI14

    适合 FF5.4 的模型推荐讨论

    一位 AI 角色扮演用户在 Reddit 上求助：FF5.4 需要能处理 Internal States 的模型。他目前使用 Gemini 3.8 Flash 和 GLM 4.6，想寻找擅长通用写作、能支撑长篇 RP 且价格实惠的模型，并希望获得让模型正确展示 Internal States 的建议。

  3. Reddit · r/SillyTavernAI16

    Reddit LLM 社区为何认不出 AI 生成的评论

    一位 r/SillyTavernAI 用户吐槽：明显的机器人评论在该社区持续获得点赞和认真回复，他多次举报也未获删帖。他表示该社区本最应识别 GenAI 痕迹，却反而把正常人类写作误判为 AI，呼吁大家研究这些账号的评论历史、学会辨认此类模式。

  4. Reddit · r/LocalLLaMA62

    llama.cpp PR #29864 重构 Intel XMX 矩阵引擎，B70 投机解码速度大幅提升

    /u/nickm_27 实测 ggml-org/llama.cpp 的 PR #29864 重构 Intel XMX 矩阵引擎后，B70 在 SYCL 下投机解码速度大幅提升，测试模型为 Muse Glimmer Q6_K (30B) 搭配 DFlash2。9 项任务总耗时从 46.86 秒降至 26.68 秒，各任务 tok/s 普遍从约 36-53 提升到约 53-88；作者说明因 token 验证成本显著降低而调大了 n-max，接受率从 0.7845 降到 0.363 属预期现象。

    推荐理由：作者实测了 llama.cpp 重构 Intel XMX 矩阵引擎后 B70 的投机解码速度，前后总耗时从 46.86 秒降到 26.68 秒，数据完整可复现。

  5. Reddit · r/CharacterAI23

    Character.AI 永久关服后的假想时间线

    这是一个虚构情景推演，设想 Character.AI 各项服务突然永久关闭后用户与社区的反应。时间线分三个阶段：头 24 小时的服务中断与猜测、第 2-7 天用户迁移到替代平台并自发存档角色与创作，以及数周内的“新常态”。文章强调社区保存自己作品与获取他人私密数据之间的界限，并提醒警惕虚假数据恢复骗局。

  6. Reddit · r/LocalLLaMA50

    Muse Spark 816B 在 10× A40 上跑通：TensorSharp 与 llama.cpp 多 GPU 推理对比

    开源 .NET 推理引擎 TensorSharp 在 10× NVIDIA A40 上运行 Muse Spark 816B（42B 激活参数，Unsloth UD-IQ3_XXS 量化，约 316 GiB 权重），并与 llama.cpp 对比。张量并行下 TensorSharp 达 22.6 tok/s 解码、4 并发 45.7 tok/s，层切分下 4K prefill 达 1346.8 tok/s，比 llama.cpp 快 2.07×；层切分 prefill 吞吐比张量并行高 4.6×。质量对比中 Top-1 一致率约 98.8%，功能检查层切分 13/14、张量并行 14/14 通过。

  7. Reddit · r/SillyTavernAI10

    SillyTavern 预设可以合并吗？

    一位用户喜欢 Realistic Frankenstein 和 Megumin 两个预设，想将两者合并，尤其是保留 Megumin 的世界状态和内心碎碎念部分。他询问合并是简单操作，还是会像自己担心的那样产生兼容性等复杂问题。

  9. Reddit · r/LocalLLaMA46

    Gemini 4 Argon 与 Claude Sonnet 5.5 移除 temperature 采样控制，社区质疑确定性影响

    Gemini 4 Argon 与 Claude Sonnet 5.5 已实际移除采样控制：Sonnet 5.5 对非默认 temperature 或 top_p 直接返回 400 错误，Gemini 4 Argon 接受参数但静默忽略。作者认为官方以“推理模型”解释，但大量依赖调低 temperature 的生产流程会失效。作者正用 200 条抽取输入各跑 20 次测试字节级输出一致性，本地 Qwen 在 temp 0 下接近完全一致。

  11. Reddit · r/LocalLLaMA63

    4x Intel B65 实测：调大 vLLM prefill chunk 使 Qwen3.8-Flash-Next 预填与 TTFT 提速约 30%

    /u/SamSausages 在 4x Intel B65 上用 vLLM 0.30.0 实测 Qwen3.8-Flash-Next（W4A16），把 prefill chunk 从默认 1024 调到 8192/16384 后，32K prompt 预填达 5,142 tok/s，261K 首 token 时间从 190.2 s 降到 97.6 s。代价是 KV cache 池从 587,416 tokens 缩到 337,952，多会话下最长停顿从 0.61 s 增至 2.89 s，但作者称聊天和后台 agent 场景中停顿不明显。完整数据见 https://b65.thekaiser.us/by-model/qwen38-flash-next/prefill/

    推荐理由：作者用同一套基线实测了 vLLM 不同 prefill chunk 大小的速度、TTFT 和 KV cache 代价，数据可直接迁移到多卡 XPU 部署调参。

  12. Reddit · r/LocalLLaMA50

    RTX 5090 实测 Qwen3.8-FN NVFP4 三引擎性能：basalt 全场景最快

    作者在单张 RTX 5090 上对 Qwen3.8-Flash-Next NVFP4 的 basalt、capy-flash、ninfer-ext 三个引擎做了 262,144 token 全上下文对照测试，统一开启 MTP 推测与 int8 KV。结果 basalt 在所有上下文深度最快，prefill 8.1k-9.2k tok/s、greedy decode 176-265 tok/s；decode 排名与 MTP draft 接受率一致（0.74/0.57/0.56），采样解码使各引擎 decode 下降 7-10%。

  14. Reddit · r/LocalLLaMA20

    本地 AI 玩家求升级建议：Strix Halo 96GB 跑 Qwen Flash Next，游戏主机能否兼顾 GLM 5.3

    一位 LocalLLaMA 用户用 GMKTek Evo X-2（Strix Halo）96GB 以 HaloGen Flash 跑 Qwen Flash Next，240k 上下文下达到约 1700tps prefill 和 50+ TPS decode。他希望在搭载 5700X3D、128GB DDR4 和 3080Ti 的游戏主机上跑 Maya（用 GLM 5.3）并让 Flash Next 编排，但内存或性能略显不足，正在二手 Threadripper/EPYC、加 3090、多 GPU 或 Strix Halo 外接 eGPU 之间权衡。

  15. Reddit · r/LocalLLaMA60

    两台 £300 骁龙迷你主机实测：ToRc 引擎跑 Qwen3.6 35B A3B 达 315/43 tok/s

    作者用两台 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X X1-26-100，32GB LPDDR5，无 GPU）以 USB4 相连，实测 llama.cpp、Janas 和自研 ToRc 引擎跑量化模型的读写速度。统一测试负载下，ToRc 双机跑 Qwen3.6 35B A3B Q4_0 达 315/43.3 tok/s（读/写），编码对话 59.6 tok/s；95GB 的 Qwen3.8 Flash Next IQ4_NL 靠 NVMe 流式读取专家权重，双机达 46.2/20.3 tok/s。MTP 加速依赖文本类型，代码任务普遍提速而 Alice 散文上 llama.cpp 反而变慢。整套方案约 £600、负载功耗各约 35W，ToRc 引擎尚未发布。

    推荐理由：作者在两台 300 英镑的骁龙迷你主机上实测多款推理引擎跑 Qwen 大量化模型的读写速度，并给出统一测试负载和完整数据。

10月22日周四
  1. Reddit · r/SillyTavernAI39

    独立开发者打造 2D Live AI 桌面伴侣 Nocturne & Button-Eyed Doll，提供浏览器 Demo 与 GitHub 免费下载

    独立开发者发布了从零打造的独立 2D Live AI 桌面伴侣（Nocturne & Button-Eyed Doll），非 SillyTavern 插件，接入自己的 LLM API key（OpenAI、Claude、DeepSeek 或本地端点）即可使用，支持实时眼神/光标追踪、多骨骼头发与裙子物理效果及 TTS 口型同步。GitHub 提供 Free Trial Lite Edition 免费下载，并有无需安装的浏览器在线 Demo。

  4. Reddit · r/SillyTavernAI17

    NanoGPT 出现响应缓慢问题引发用户讨论

    有 Reddit 用户反映 NanoGPT 近一周难以正常使用，自昨天起问题加剧：常用 Kimi 2.5 Thinking 搭配 Sola Preset 的响应时间从 20-30 秒延长至数分钟，其他模型无论是否使用 preset 也响应极慢，且回答连贯性差。发帖者询问其他用户是否遇到相同问题。

  5. Reddit · r/LocalLLaMA20

    用员工笔记本上的 Ollama/Lemonade 池化推理，让小企业免费使用 LLM？

    一位 Reddit r/LocalLLaMA 用户提出把小企业员工笔记本上运行的 Ollama 或 Lemonade 客户端通过共享 API 和自定义负载均衡器连接起来，池化算力分担 LLM 推理负载，从而让小企业免费使用大语言模型。作者已发布最小原型和 GitHub 源码，计划在本地企业做小规模实验验证可行性。

  6. Reddit · r/LocalLLaMA35

    MOSS-Transcribe-Diarize 0.9B 在 MacBook 上实测 AMI 四人会议：全部说话人识别正确，说话人混淆率 0.08%

    在 17 分 29 秒的 AMI 四人会议音频上，MOSS-Transcribe-Diarize 0.9B 在 M5 Pro MacBook（64 GB、mps）上以 fp32 单次完成转写、说话人标注和时间戳，耗时 714 秒，约 0.68x 实时。四个说话人全部识别，0.25 s collar 下说话人混淆率 0.08%，整体 DER 15.4%；317 段中 87 段为重叠语音且均标注了不同说话人。

  8. Reddit · r/LocalLLaMA63

    ggufbench 实测 8 个本地 GGUF 模型的 agent 编码能力：27B 级已够用

    作者 /u/Joralk_ 自建 harness，在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务，每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首，35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平，工具调用可靠性比模型规模更关键；开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96，但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。

    推荐理由：作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现，还给出 thinking 模式开关的量化代价，方法可复用。

  9. Reddit · r/LocalLLaMA39

    基于 NVIDIA AIPerf 构建的 LLM 基准测试工具发布 alpha 版，征集反馈

    Reddit r/LocalLLaMA 用户基于 NVIDIA AIPerf 开发了一款易于理解的 LLM 基准测试与调优工具，目前处于 alpha 阶段并公开征集反馈。工具能报告在指定延迟目标下服务器可承载的用户数、哪个环节最先成为瓶颈，以及下一步应调整哪个 vLLM 参数，附有 llama 3.1 8b 在单张 H100 上的示例报告。

  10. Reddit · r/LocalLLaMA55

    开源推理引擎 Kapitsa 实测 Recursive Flint 40B Q4 在 MacBook Pro M4 Pro 上达 128 tok/s

    Kapitsa 开源推理引擎贡献者 Ye 发布 Flint 40B A2.5B Q4 在 MacBook Pro M4 Pro 48GB 上的实测，使用 Kapitsa 达到 128 tok/s 短上下文解码。Kapitsa 为 Apple Silicon 定制 Metal kernel，在 128K 上下文解码上比 recursive 自家引擎快 1.30 倍、比 llama.cpp 快 1.9 倍，缓存后续轮次首 token 延迟 0.13 秒；针对 Flint Q4 训练的 KFlash tree drafter 声称已带来 1.4 倍解码加速，预计周一发布。

  12. Reddit · r/LocalLLaMA15

    MacBook Pro M2 24GB 能否跑本地大模型服务 Home Assistant？

    一位用户计划用约 100 美元购入的 MacBook Pro M2（24GB 内存、1TB 存储），通过 llama.cpp 或 vLLM 搭建轻量 AI 服务器，替代 4 x RTX 5060 Ti 的现有 AI rig 为 Home Assistant 服务以省电费。其担心 M2 的 prompt processing 过慢和模型幻觉问题：gemma4:e4b 实测会漏细节（如"关闭除 3 号灯外所有灯"时全关），也拿不准 Qwen3:30b 是否必需、ornith-1.5:9b 是否够用。

  13. Reddit · r/LocalLLaMA20

    LFM2.5-24B-A2B 实测体验不佳：LocalLLaMA 用户称其反复循环、代码任务表现差

    Reddit 用户实测 LFM2.5-24B-A2B-Q4_K_M.gguf 后给出负面评价：在 llama.cpp 优化版上 RTX A4500 跑出 130tk/s 但反复循环，换 LM Studio 后行为稳定。在 Hermes 桌面端测试 Microsoft Garnet 插件任务时，经 GPT 检查发现代码残缺、缺少必要功能且未做端到端测试就声称验证通过，模板修复后改善有限。

  14. Reddit · r/LocalLLaMA24

    社区讨论：低量化模型思考更长，可能不如直接用硬件能装下的大量化模型

    Reddit r/LocalLLaMA 用户发帖称，低量化版本会让思考型模型产生更长的思考块，prompt 处理与 token 生成速度的提升被抵消，在多工具调用的智能体循环中甚至更慢。作者以 Qwen3.8 Flash Next（MTP）和 GLM 5.3 Flash 为例，尚未正式测试，想先收集其他用户的使用体验。

  15. Reddit · r/SillyTavernAI12

    SillyTavern 用户讨论最爱的模型组合搭配

    一位 SillyTavern 用户发起讨论，询问大家最爱的模型组合用法：例如用一个模型设定场景、另一个模型写故事，或先用智能写作模型定调、再切换到对 NSFW 更友好的模型。早期混用模型容易出问题，如今体验已好很多，作者也想了解哪些 preset 能发挥最佳效果。

  17. Reddit · r/LocalLLaMA19

    oMLX 在 M4 MAX 上多智能体并发请求降速，Max Concurrent Requests 设为 1 可缓解

    一位用户在 M4 MAX 上用 oMLX 运行 `Qwen 3.8 Flash Next oq4e-mtp` 时发现，单任务可达 50/60 t/s，多智能体并发时速度骤降至 20 t/s，且缓存失效导致大量 prefill、GPU 利用率异常。将 Max Concurrent Requests 设为 1 可在多数场景下借助缓存减少 prefill，作者仍在寻求跑满 GPU 的优化方案。

  20. Reddit · r/CharacterAI17

    Character.AI 用户询问：针对 OC 被错误 DMCA 下架提交 Counter Notice 是否可行

    一位 Reddit 用户称其运营 2 年的 Character.AI OC 机器人今年 2 月在版权下架潮中首次被删，恢复后再次因 DMCA 下架，怀疑是因角色名与一个 Harry Potter 角色重名。用户联系官方支持后被告知可提交 DMCA Counter Notice，但因担心法律流程而犹豫，希望恢复编辑权限将机器人设为私密，故发帖询问他人经验。

  21. Reddit · r/LocalLLaMA13

    6/8/12GB 显存的小显存 GPU 能跑什么 LLM 任务？LocalLLaMA 用户求解

    一位 Reddit r/LocalLLaMA 用户询问 6/8/12GB 显存的廉价老旧 GPU 能否运行有用的大语言模型任务，例如整理数字资料、分类、图像/文本分析和语音/TTS 等，并质疑这些任务是否也需要 tool calling 和 agentic 行为才能用好。发帖者还提到当前 LLM 讨论多聚焦 coding，小显存可能跑不动 agentic coding 模型，欢迎有同类硬件的用户分享实际用途。

  24. Reddit · r/LocalLLaMA20

    Reddit 网友求推荐 50-150B 参数级 MOE 模型：除 Qwen flash next 之外还有哪些值得尝试

    一位 Reddit r/LocalLLaMA 用户升级台式机内存后，可通过 RAM/VRAM 分层运行 50-150B 参数级 MOE 模型，向社区征集除 Qwen flash next 之外的推荐。其待试清单包括 GPT OSS 120b、Mistral 4 small 119b、Qwen 3.5 122b A10b 和 Ling 3.0 flash，并表示不看重 agentic coding，更关心其他能力上的强项。

  25. Reddit · r/SillyTavernAI14

    SillyTavern AI 角色卡缺失 lorebook 该怎么处理

    一位 RP 玩家发现部分 ripped 角色卡不完整，私人 lorebook 未被抓取，缺失内容可在 details>content>lorebook 下查看。虽有 JAR 等工具可补抓 lorebook，但逐张操作太麻烦，作者因此对下载哪些卡变得挑剔，并询问大家会继续玩还是直接跳过这些卡。