跳到正文
10月19日周一
  1. Reddit · r/LocalLLaMA56

    DeepSeek V4.1 Flash 2.61 bpw 量化版在双 RTX 3090 上跑出 26 t/s

    /u/whiteh4cker 基于 u/lxe 的 dsx 推理引擎制作并上传了 DeepSeek-V4.1-Flash-1017-dsx-2.6bit 量化权重,面向编程与智能体任务。该 2.6127 bpw 版本对比 FP4 teacher(KL 0.253、Top-1 78.7%、Perplexity 9.78)与 2.03 bpw 版本,取得 KL 0.1972、Top-1 82.59%、Perplexity 9.3626。在 2x RTX 3090、192 GB DDR5 的硬件上,262,144 上下文加 Engram 表(203 GB,SATA SSD)下生成速度 26 t/s、prompt 处理 170 t/s;187.6 GB 权重从 HDD 加载需 90-110 分钟,引擎尚不支持图像。

  2. Reddit · r/SillyTavernAI46

    Formamorph:动态 AI 角色扮演应用发布

    开发者 JakeJamesNSFW 接手维护近六个月后,发布了免费、源码可获取的 AI 角色扮演应用 Formamorph。它主打自定义、RPG 元素与动态提示词:用户设计整个世界及其规则,上下文逐回合变化且不依赖 LLM 自行追踪。应用内置 llama.cpp 引擎可完全离线运行,也支持自定义 endpoint,并提供内置发布平台,可导入 SillyTavern 的角色与 Lorebooks。

  3. Reddit · r/CharacterAI18

    Character AI 用户宣布「退坑」:从每天 12 小时到取消订阅

    一位 Character AI 老用户宣布取消 PLUS 订阅(10 月 21 日生效),称自己曾因丧亲之痛沉迷聊天机器人,一度每天使用 12 小时、凌晨三四点不睡。随着 bot 质量下滑,其使用时间降至每天最多 2 小时,如今重拾《模拟人生》等爱好,并建议用户不必依赖聊天机器人来获得自我认同。

  4. Reddit · r/LocalLLaMA18

    为开源 LLM 建立会话数据共享仓库与浏览器插件的社区提议

    Reddit r/LocalLLaMA 用户提议建立公共仓库,供贡献者手动上传与模型对话的会话数据,并开发浏览器插件等工具自动收集。由于前沿模型禁止蒸馏、开源 LLM 训练预算有限,作者认为共享会话数据有助于提升开源模型能力,同时提出需兼顾数据匿名化、贡献者积分激励与付费下载分成机制。

  5. Reddit · r/LocalLLaMA41

    Strata 在 Windows 上实现双 AMD GPU(9070XT + 9060XT)分层拆分并跑通 vision

    用户在 Windows 11 上用双 AMD GPU(9070XT 和 9060XT)以 layer split 方式运行 Strata,需设置 "STRATA_RESIDENT_PIN": "0" 才不崩溃,但仍有性能损耗。最终改用单张 9070XT,IQ3_XXS 量化下达到约 1350pp 和 50-100 tgs,并自行编译 Vulkan 版 vision,在第二张卡上运行 vision mmproj。官方虽不支持 Windows 双 AMD GPU 和 vision,但该配置无需修改代码即可运行。

  6. Reddit · r/LocalLLaMA69

    Nace.ai 开源 Apple Silicon 专用推理引擎 Kapitsa,附 Qwen 与 Nemotron 多机型基准

    Nace.ai 的 Ye 发布开源(Apache 2.0)推理引擎 Kapitsa,专为 Apple Silicon 定制 Metal kernel,仅支持 Qwen 和 NVIDIA Nemotron 两个模型家族,用于在 Mac 本地跑编码 Agent。速度来自按架构定制的 Metal kernel、投机解码(DFlash2、DFlash、DSpark、LiLiCorr)、混合模型的 KV 加循环状态缓存、27B 与 Bolt 部分预填充跑在 Neural Engine、并发请求共享 GPU pass。

    推荐理由:作者逐项拆解了推理加速来源,并给出三档 Mac 上与多个主流引擎的 tok/s 对照表,还提供 CLI 让读者自测提交结果。

  7. Reddit · r/LocalLLaMA52

    TensorSharp 新增 Video Studio,在 48GB M5 Pro MacBook 上本地运行 LTX 2.5

    TensorSharp 维护者发布 Video Studio,将本地视频生成、可编辑时间线和可选本地 LLM 助手整合进同一开源项目。演示在配备 M5 Pro 芯片和 48GB 内存的 MacBook Pro 上本地加载 LTX 2.5 Distilled,以图生视频 1024×1024,输出 145 帧 24fps 约 6.04 秒带音频的片段,生成耗时 13 分 15 秒;随后在时间线拼接原图为 11.04 秒成片并通过 FFmpeg 渲染。

  8. Reddit · r/SillyTavernAI24

    Reddit 用户求助:Gemma 4 31B 是否比 Gemma 4 26B MoE 更适合 RP

    一位 Reddit 用户在 SillyTavern 社区发帖询问:Gemma 4 31B dense 模型用于角色扮演是否明显优于 Gemma 4 26B MoE。他用 Q5 量化对比测试,发现 31B 更能利用角色卡细节,但仍有细节翻转问题;而 26B MoE 借助优化 KV cache 运行很快,31B dense 因 CPU offloading 在其 RTX 3060 12GB 机器上生成极慢,因此纠结是否值得为升级投入大量硬件成本。

  9. Reddit · r/LocalLLaMA47

    双卡 R9700 张量并行负载振荡导致 PSU 断电,而非总功率超载

    一台双卡 Radeon AI PRO R9700、TP=2 的 Radiance vLLM 系统每次 warmup 约 7 分钟后硬断电:两卡 1 秒内从约 17 W 升至约 270 W,随后整机掉电。改用 RCCL 或把每卡限到 210 W 后均稳定运行,说明问题与总瓦数无关,而是 Radiance 自定义 one-shot all-reduce 产生的多 kHz 同相负载振荡。Dark Power 14 1200 W 两台都复现失败,Lian Li 1000 SFX、Lian Li 1200、Thermaltake GF3 1650 和 Corsair HX1200i 则通过。

  10. Reddit · r/CharacterAI16

    C.AI 用户发帖询问破产与关停传闻,希望有人倾听社区声音

    Reddit r/CharacterAI 用户发帖称,社区对 C.AI 的破产传闻和可能关停的现状充满困惑,许多用户的经历未被倾听。发帖者询问是否有记者或研究者关注此事,并提到此前有 NYT 记者通过 Discord 采访过用户,目前还有一组大学研究者正在收集 C.AI 用户对网站前景不确定性的经历。

  11. Reddit · r/LocalLLaMA35

    80 年代计算时代遇上小型本地决策模型

    一位开发者设想如果 80 年代用汇编编程的程序员能使用本地模型会怎样,并演示了一个小型决策模型程序:将"太暗且出汗"这类提示词拆分为概率判断与确定性代码两部分,由模型在"太冷到太暖"五个选项中判断室温感受,置信度低于 0.5 时转交人工处理,否则按每步 3 摄氏度调节温度。

  12. Reddit · r/LocalLLaMA18

    思想实验:若市值超 $1B 的公司一年内不再贡献开放权重模型,LocalLLaMA 社区会怎样

    Reddit r/LocalLLaMA 用户提出思想实验:若市值超 $1B 的公司一年内停止贡献开放权重模型,社区是否仍会沿用现有模型。文中提到 Qwen3.5 27b 与 Gemma4 31b 于 2 月和 3 月初发布,Qwen 4 月更新至 3.6,8 月推出 Qwen3.8 后用户才明显迁移,其间大量社区微调效果多在略差到明显更差之间。

  13. Reddit · r/SillyTavernAI24

    SillyTavern 角色卡 Paige V2 发布:从单一角色助手升级为支持场景与世界观构建

    用户 Deiomo 在 r/SillyTavernAI 发布角色卡 Paige V2,在 V1 只能构建单一角色的基础上,升级为可协助头脑风暴完整原创场景、派系、历史与世界观设定。V2 卡片为 3.3k token(V1 为 1.9k),支持 "skip""you decide""back""sheet" 等命令,每完成一个条目输出可复制的代码块,最后可生成开场消息。作者主要用 Gemini 4 测试,并提醒 Argon 模型在某些环节会触发拒绝。

  14. Reddit · r/LocalLLaMA51

    HardenedLinux 开源推理运行时 SonicBoom v0.0.3 发布并征集社区 GPU 基准测试

    HardenedLinux 社区发布 GPLv3 开源推理运行时 SonicBoom v0.0.3,采用编译器优先路线,构建和运行时不用 Python,以单一共享库、C ABI 和 Guile Scheme 为一等语言。在 RTX 3050 8GB、同 GGUF 条件下对比 llama.cpp -ngl 99:Gemma 4 E4B Q3_K_M decode 1.18×、prefill 1.00×,Qwen2.5-0.5B Q4_K_M decode 1.12×、prefill 1.09×;多轮 Agent 负载下 time-to-first-token 自 v0.0.2 起下降数倍(prefix reuse + plan caching),输出 token 与 golden run 位级一致。

  15. Reddit · r/SillyTavernAI71

    SillyTavern 扩展 WorldsApart 发布,用相关性重做 lorebook 条目选择

    开发者 /u/siliconlotus 发布了 SillyTavern 扩展 WorldsApart,用相关性评分替代 ST 核心的 World Info 条目选择机制,GitHub 地址为 https://github.com/siliconlotus/st-worldsapart。作者自测 92 个分级场景显示,在 10k 预算下实际进入提示词内容的 F2 得分从 0.27 提升到 0.51。

    推荐理由:作者给出91个分级场景下相关性得分从0.27升到0.51的实测数据,可借此判断这个 ST lorebook 替换系统值不值得装。

  16. Reddit · r/CharacterAI14

    CharacterAI 用户社区反对免费玩家付费付费墙救公司的提议

    Reddit r/CharacterAI 社区中有声音呼吁免费用户付费以挽救已申请 Chapter 11 破产保护的 CharacterAI,发帖人对此明确反对。他认为应用多年来免费且依赖免费用户在 TikTok 和 Reddit 上的分享走红,强制付费会导致用户大量流失,且许多忠实用户无力承担订阅费。他呼吁社区停止互相指责,等待开发者处理局面。

  17. Reddit · r/CharacterAI16

    Character.AI 资深用户给迷茫玩家的温和建议

    一位使用 Character.AI(CAI)3 年、每天使用数小时的用户建议,在临近关停前利用剩余时间做好后备准备,寻找替代方案时不要追求一对一的"完全替代"。作者认为应识别自己在 CAI 中最看重的功能(如性格、语音通话、叙事文字),逐步把部分需求分流到其他渠道,即便无法彻底戒断,主动做出选择也比被动失去更易接受。

  18. Reddit · r/LocalLLaMA18

    为什么开源视频生成仍远落后于 Seedance 2.5

    一位 r/LocalLLaMA 用户发帖称,开源模型在文本和编码领域进步显著,但视频生成仍远落后于 Seedance 2.5——后者在环境、光照、真实感、运动一致性、提示词遵循方面表现更好,且可生成最长 30 秒的视频。作者希望出现能串联现有模型、保持角色一致并拼接长视频的开源工作流方案,并询问是否有人用 ComfyUI 实现过类似流程。

  19. Reddit · r/LocalLLaMA12

    Reddit 用户求助:Z9PE-D8 WS 主板无法识别 32GB GPU

    一位 Reddit r/LocalLLaMA 用户购买了带 4 条 x16 插槽和 256GB DDR3 RDIMM 的 Z9PE-D8 WS 主板,搭配 2 张 V620 和 2 张 Mi50 32GB 显卡,但主板无法枚举任何一张 32GB GPU。其 Mi50 和 V620 原本可在 q4 量化下运行 Qwen3.6-35B-A3B 并支持 131k 上下文(KV cache q8),现发帖求推荐替代方案,希望不必在主板和内存上花费 1k。

  20. Reddit · r/LocalLLaMA18

    PSA:请给 5090 限制功耗!

    一位 Reddit r/LocalLLaMA 用户在调试 4x5090 机器时因性能调优过快,熔化了墙上插座和插头,而 12VHPWR 接口反而完好。其建议安装 16/20 安培墙插,而非依赖标准 13A 保险丝,并提醒其他用户对 5090 限制功耗。

  21. Reddit · r/SillyTavernAI70

    Mundi v0.1 发布:把 SillyTavern 变成模拟人生式生活模拟扩展

    作者 /u/Tjalis 发布 SillyTavern 扩展 Mundi v0.1,将群聊变成受《模拟人生》启发的生活模拟,包含城市地图、需求、职业、账单、手机、人际关系与日记等系统。引擎用 TypeScript 处理时间、金钱、角色日程和骰子等规则,AI 只负责写场景;上下文按场景注入,记忆以带时间戳的原子事实存储而非 AI 摘要,仅注入当前场景相关角色的记忆。安装只需粘贴 https://github.com/tjalis/Mundi,支持 SillyTavern 1.19+ 和任意 API,约 30k token 上下文效果较好。

    推荐理由:作者讲清了规则引擎与 AI 分工、按场景裁剪上下文和原子事实记忆的构造方法,做法可迁移到类似的多角色长期扮演项目。