跳到正文
#Reddit
10月20日周二
  2. Reddit · r/SillyTavernAI18

    Gemma 4 31B Heretic 模型除 NanoGPT/Arli/Aoru 外还有哪些不慢的替代服务？

    一位用户求助：Gemma 4 31B heretic 系列是他试过数十个模型中唯一真正无审查的选择，但 NanoGPT 上约 90% 的生成请求要等 60 秒以上并失败，Pro 订阅自动路由的 Arli 和 Aoru 表现同样糟糕，Arli 官网免费试用 token 速度也极慢。他希望找到支持该模型或其他无审查模型、提供 128-256k 上下文且稳定的服务商。

  3. Reddit · r/CharacterAI18

    Character.AI 或面临关停风险，用户讨论 Chapter 11 后续可能

    一名 Character.AI Plus 用户发帖安抚社区情绪，称近期有关公司申请 Chapter 11（破产保护）的消息引发大量担忧，但 Chapter 11 不等于彻底关停，关停是最后手段。作者认为免费用户策略和仓促上新功能带来运营压力，希望未来有买家接手并稳定这款训练良好的大模型应用，11 月/12 月前仍可能出现转机。

  6. Reddit · r/LocalLLaMA25

    RTX 5090 Laptop GPU 在 Linux 上因 CUDA graphs 出现 Xid 8 GPU 挂起，仍无修复

    一位用户在 Lenovo Legion 笔记本的 RTX 5090 Laptop GPU（24 GB VRAM）上运行 Linux Mint 跑本地 LLM 时，遭遇与 NVIDIA Xid 8 相关的 GPU 挂起。llama.cpp 的相关 issue 指出这是 CUDA graph 求值挂起问题，可用 GGML_CUDA_DISABLE_GRAPHS=1 规避，但会降低性能。用户使用 7.1.13 内核和 595.99.02 驱动，新内核与新驱动均未能正常工作，问题尚无修复。

  7. Reddit · r/LocalLLaMA27

    DiffusionGemma 在本地部署中能发挥什么作用？

    一位 r/LocalLLaMA 用户分享称，DiffusionGemma 在合适硬件上可达到极高推理速度，还支持图像分析，他将其接入离线智能体生成图像和视频提示词，效率大幅提升。该模型不能写代码、不能调用工具，但作者认为以足够好的描述能力换取极速体验是值得的，并征求其他用户的本地使用场景。

  11. Reddit · r/SillyTavernAI31

    SillyTavern 现代题材故事小技巧：为角色卡指定真实地理位置

    Reddit SillyTavernAI 社区用户建议在现代题材故事的角色卡或 persona 中写明真实地点，如 “Las Vegas, Nevada” 或 “Fulton County, Georgia”，例如 “Steve lives in a 2-bedroom apartment in Rochester, New York”。作者称较智能的模型因此能使用真实地点和天气模式，相比含糊的泛化城市设定效果明显更好。

  12. Reddit · r/LocalLLaMA67

    BitNet b1.58 2B4T 在 CPU 上输出仍有误，Bonsai 1.7B 各运行时均正确，ik_llama.cpp 加 -rtr 通常最快

    作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。

    推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。

  14. Reddit · r/SillyTavernAI20

    还有哪家服务商仍在提供 GLM-5.1？

    一位 Reddit 用户询问哪里还能用到 GLM-5.1：该模型在其看来角色扮演体验最好，此前主要通过 Nvidia NIM 使用，但已下线很久，位置被 GLM-5.2 和 5.3 取代。用户愿意付费，但不确定该选哪家，也不清楚是按订阅还是按输入/输出 token 计费，并表示 Kimi K3 的体验同样不错。

  15. Reddit · r/SillyTavernAI15

    创意写作与角色扮演的本地 LLM 推荐

    一位 Reddit 用户在 r/SillyTavernAI 求助适合创意写作与角色扮演的本地 LLM。他平时用网页版 DeepSeek 和 Claude，认为 DeepSeek 更懂角色、Claude 更懂设定，但因刚接触本地部署，希望获得推荐。正文未给出具体本地模型建议。

  16. Reddit · r/LocalLLaMA62

    Blockway 自研 Agens Engine 让 32B 模型在 16 GB 显存预算内跑 262K 上下文

    香港小团队 Blockway 发布自研推理引擎 Agens Engine（MIT 协议）和 Volundr 32B 模型权重，72 层中 54 层用固定大小状态替代随 token 增长的 KV cache，长上下文溢出到系统内存。实测视频显示 110K token 小说冷读取约 69 秒，后续提问 0.5 秒内回答，GPU 显存峰值约 15.6 GiB；社区用户在 24 GB 卡上测得 86.4–106.7 tok/s。团队计划探索 MoE 变体、Windows/Apple Silicon 支持和紧凑桌面整机。引擎：https://github.com/BlockWayz/agens-engine

    推荐理由：香港小团队公开自研推理引擎的实测数据与设计取舍，长会话显存占用和后续提问延迟都有具体数字可查。

  18. Reddit · r/LocalLLaMA30

    老款 Nvidia Maxwell 显卡上运行 Strata 推理引擎

    一位用户用两块 Quadro M6000 24GB（共 48GB VRAM）在 Strata 上运行 Qwen3.8-Flash-Next-GSQ-RCO-IQ1，因仅有 32GB 内存而采用 3.5 bits per weight 的量化版本。该推理引擎 prefill 表现出色，decode 在 Maxwell 旗舰卡上一直不错；作者修改 Strata 代码将架构限制从 60 降到 52，所有专家加载进 VRAM 后命中率接近 100%。

  19. Reddit · r/LocalLLaMA18

    96 GB M3 Ultra Mac Studio 上跑本地编程与对话模型，Qwen3.8-27B 表现如何？

    一位用户在 96 GB 统一内存的 M3 Ultra Mac Studio 上用 llama.cpp（Metal）+ llama-swap 做本地推理：编程用 Qwen3.8-27B（Unsloth Q8_0，MTP 推测解码，262,144-token 上下文），对话用 Qwen3-Coder-Next（UD-Q6_K_XL，131,072-token 上下文），两者均用 Q8_0 KV cache。作者对 Qwen3.8-27B 的编程表现印象深刻，Coder-Next 则主要用于对话，并征求同硬件用户的模型、量化与性能经验。

  20. Reddit · r/LocalLLaMA34

    Ijah：面向 M5+ Mac 的 Qwen 3.8 Flash Next 推理引擎，128GB 上兼顾质量与速度

    Reddit 用户 SeveralViolins 发布了面向 M5+ Mac 的新推理引擎 Ijah，受 Sushi 引擎启发并为其编写了新 kernel。在 5b-6/8b 模型上，其质量比 Jundot 的 oQ4e 更接近 bf16 约 4–5 倍（KLD 0.033/0.009/0.015 对 0.128/0.036/0.078），解码约 100 tok/s，配合 Inco 今日发布的 DFlash2 drafter 可达约 120 tok/s。

  21. Reddit · r/SillyTavernAI22

    SillyTavern 用户质疑 summaryception 扩展 token 消耗异常

    一位 SillyTavern 用户反映，安装 summaryception 扩展三天后 token 消耗剧增，约 5 小时内在 nano-gpt 上花费超过 10 美元，每条消息消耗 10-20 美分，输入 token 是输出的 25 倍。该扩展每 3 条消息生成约 200 词摘要，但似乎每次都把全部历史摘要一并发送。用户换用更便宜模型测试仍无改善，质疑这种消耗是否正常。

  22. Reddit · r/CharacterAI16

    Character.AI 用户发帖告别：建议付费分层运营并呼吁提升应用评分

    Reddit 用户 ZombieMysterious9868 称这可能是其最后发帖，建议 Character.AI 推出 c.ai lite 与 c.ai+ 双档付费、删减 feed、图像生成、通话等功能以削减开支，并呼吁用户付费下载应用。目前该应用在 Google 应用商店评分仅 1.7，用户希望提升到 3 或 4 星，并指出团队只有 8 人，呼吁大家耐心等待应用恢复正常。

10月19日周一
  1. Reddit · r/SillyTavernAI8

    SillyTavern 版友求助：该版块能否发外链视频分享动画效果

    一位 r/SillyTavernAI 用户制作了带动画视觉元素的 prompt 作品，想发屏幕录像展示效果，但发现该版块不支持直接上传视频，遂发帖询问外链视频是否违反版规。他有一个宝可梦 RP 起始选择器的 SFW 示例和一个涉及 Lopunny 的 NSFW 示例，希望在同一帖子里发布并加 NSFW 标签。

  3. Reddit · r/LocalLLaMA14

    r/LocalLLaMA 双周项目展示集中帖

    r/LocalLLaMA 开设双周项目展示集中帖，供社区成员分享本地部署的开源或开放权重项目。发帖要求包括说明项目功能、与现有方案的对比及测试验证证据，闭源商业服务类项目将被移除。

  5. Reddit · r/SillyTavernAI6

    r/SillyTavernAI 社区是否需要一个专注 AI 前端的独立子版块？

    一位 Reddit 用户提议为 AI 角色扮演前端单独建一个子版块，理由是 r/SillyTavernAI 已事实上成为 AI RP 的中心，但缺乏对非 SillyTavern 前端的组织方式，没有对应 flair 或 Discord 专用频道。他自己不敢贸然创建，担心不具备足够的软件安全知识来审核帖子，正在征求社区意见。

  7. Reddit · r/SillyTavernAI26

    SillyTavern 风格桌面 Live2D 伴侣：自定义 LLM/TTS 路由与系统级交互

    Reddit 用户发布了将 Live2D 角色带到 Windows 桌面的 AI 伴侣项目 Nocturne & Button-Eyed Doll。它通过解耦的 Web 控制中心接入自定义 LLM 和 TTS 端点，双通道情绪引擎解析 9 种动态表情并同步口型和音频。角色还支持 30 FPS 的全屏视线与头部追踪，拖放文件可将其送入回收站。

  8. Reddit · r/LocalLLaMA64

    mnemonic-proxy 作者实测 AgentLongBench：32K 窗口加归档回取得分 86/100，超全窗口的 69

    mnemonic-proxy 作者在 AgentLongBench 上用 Qwen3.8 Flash Next（IQ3_XXS、Strata 0.1.40、单张 RTX 4070 Ti 12 GB）对比四种方法：归档加 recall 工具的 proxy 得 86/100，全窗口 69，LLM 摘要 47，截断 49。第一轮因题目歧义各方法都接近随机（proxy 52、summary 56），在每题加一句澄清后重测，proxy 对 summary 合并配对检验 p=7.6e-9，对全窗口 +17 分（90% CI [+7, +26]）；128k 下全窗口 32/50 的回答撞到 3,072 token 推理预算。

    推荐理由：作者用预注册的两轮测试区分了题目歧义与真实差距，并给出各方法的置信区间、耗时和显存数据，局限也写得很清楚。

  9. Reddit · r/LocalLLaMA42

    Qwen 3.8 27B LoRA「Herbert」玩贪吃蛇：每步决策约 600ms

    Reddit 用户用 Qwen 3.8 27B 的 LoRA 决策模型 Herbert（已合并为 gguf）驱动一个贪吃蛇游戏，模型每步从左转、右转、直行三个选项中决策，单次决策约 600ms。测试经 ssh 隧道连接 5090 + 64GB RAM 服务器，一次运行存活 370 ticks，此前最好成绩超 2200 ticks，经 llama.cpp 以 Q4_K_M 量化、200000 上下文运行。

  10. Reddit · r/LocalLLaMA15

    RDNA2 GPU 上除 llama.cpp 外还有更好的本地 LLM 运行方案吗？

    Reddit 用户询问在 RDNA2 GPU 上运行本地 LLM 时，除 llama.cpp 外是否有性能更好的替代方案或分支。多数 AMD GPU 相关项目依赖仅 RDNA3 及以上才支持的 WMMA，图像视频生成有时可用 triton 绕过，但 RDNA2 上功能能否使用全凭情况；strata 虽有 RDNA2 路径并成功运行其试用的 coder 模型，但仅适用于一个特定大模型。用户希望找到 Windows 下可用的方案。

  11. Reddit · r/SillyTavernAI40

    SillyTavern 角色卡创作预设「Council of Cards」分享：让多张角色卡互辩来打磨新卡

    Reddit 用户 ValiantNightshade 分享了 SillyTavern 的角色卡创作预设 Council of Cards：加载预设后放入现有角色卡，让它们互相辩论以协助创作新卡。该工具还支持 lorebook 等其他工具，并提供最小委员会规模选项，人数不足时会自动补入随机作者；作者建议使用 Marinara 的 roleplay 模式。

  12. Reddit · r/SillyTavernAI36

    ReadyArt 发布 Swish 26B A4B 模型

    ReadyArt 发布 Swish 26B A4B 模型，基于 Dark Scarlett 和 Wicked Tutu 两套数据集训练，前者以深度角色回应著称，后者被作者称为其制作过的最露骨的数据集。作者称两者结合使模型整体保留尺度但质量不错，并计划视时间和资金情况推出 27B 和 31B 版本。

  13. Reddit · r/LocalLLaMA20

    Strata 多 GPU 运行机制解析：Reddit 用户实测 QFN UD-Q4_K_XL 量化模型

    Reddit r/LocalLLaMA 用户分享 Strata 运行 QFN UD-Q4_K_XL 量化模型的多 GPU 实测：单 GPU 约 70 t/s、内存占用约 80 GB，用 --gpus all 加到 3 块 GPU 后速度升至约 100 t/s，但内存未下降。后续发现可在 strata json 中设置 --resident-budget-gib 参数（如 50）将部分专家卸载到磁盘以降低内存。

  14. Reddit · r/LocalLLaMA34

    9070 XT + RTX 3080 双卡跑 LLM 体验不佳：Qwen3.8 28B 仅 30-50 tok/s

    Reddit 用户实测 9070 XT 搭配 RTX 3080 双卡运行 LLM，效果不佳：3080 仅 PCIE 4.0 x4，ROCm 和 Vulkan 表现也差，Qwen3.8 28B Q4_K-M 仅 30-50 tok/s，64k 上下文比 128k 掉速明显。层拆分优于张量拆分，MTP 可带来约 2x 提升，显示器必须接在 9070 XT 上，两卡 GPU 占用仅约 60% 和 30%。

  15. Reddit · r/LocalLLaMA46

    开发者推出 rubick 网关：单个 LLaMA 模型同时提供 Chat、Embeddings、校准决策与 Guardrails

    受 IBM Granite Switch 启发，开发者发布 rubick——一个指向 LLaMA 端点的代理网关，用同一模型通过 aLoRA 同时暴露常规 LLM、systemone（jev-like）与 embeddings 端点。它复用 KV cache、无需模型切换，支持即插即用 aLoRA，训练配方可在用户硬件上约 1 小时完成。项目为 POC，Apache2 开源，含 benchmark、用例与 Docker 配置。

  16. Reddit · r/LocalLLaMA64

    裸 IPython harness 用 Qwen3.5-9B 在 TB-Lite 上追平生产级 coding agent，工具输出归一化消除大部分波动

    /u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。

    推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。

  17. Reddit · r/CharacterAI6

    Character AI 新版网页版太难用，用户吐槽编辑消息困难

    一位 Character AI 用户在 Reddit 吐槽新版网页版编辑体验糟糕：长按文字无法高亮、键盘自动弹出又收回、选中文字后复制按钮不出现，修改错字时键盘不断收起。此外上线约 2 天的新广告会遮挡消息，打开键盘时只有机器人回复上移而广告不动，用户求助解决方法。