跳到正文
#Reddit
10月18日周日
  10. Reddit · r/LocalLLaMA31

    新一代本地编程 LLM 表现相当不错，远超过去的大参数模型

    一位 Reddit r/LocalLLaMA 用户自建测试：让模型学习一种新图形语言的语法并生成可被程序解析的图形。Qwen 3.8 与 Ornith-1.5 表现最佳，两者仅 27B，却在语法理解和想象力上击败了 DeepSeek 4 flash、Qwen 3.5 122b、GLM 4.7 等更大的本地模型，想象力甚至超过 Haiku 5.5；GLM 4.7 已生成 66k token 思考仍未完成。

  12. Reddit · r/SillyTavernAI34

    SillyTavern 极简预设 NoPussyfooting 发布，面向生活流 RP

    Reddit 用户为 SillyTavern 发布极简预设 NoPussyfooting，约 700/~1K tokens，主要面向生活流（slice-of-life）角色扮演。它针对 Gemini 4 Argon 和 Gemini 3.8 Flash 调优，目标是生成类似海明威风格的清晰文笔，由角色卡和对话主导，并内嵌面向低/中审查模型的软 JB。该预设源自 Sukino 为 DeepSeek v3.2 设计的 Game Master 预设的修改版，目前处于实验阶段，征集用户反馈。

  13. Reddit · r/LocalLLaMA38

    网友用 Qwen 智能体把本地 LLM 服务器改造成“电暖器”恒温控制项目

    一位 r/LocalLLaMA 用户让 Qwen 智能体编写代码，把跑满时过热的 4x V620 服务器变成可控的“电暖器”。项目基于 vLLM 后端，推理需要算力时暂停加热，并带有 token 鉴权的 localhost 网页用于设定目标温度。作者称目前是技术演示，已开源公开仓库，未来想改用 esp32 温控方案。

  14. Reddit · r/LocalLLaMA33

    网友用 5070 Ti + 3070 组建 Chimera 双卡本地 LLM 方案

    一位 Reddit 用户将 $750 购入的 5070 Ti 与闲置的 3070 通过 PCIe riser 组成混合双卡，用 Ollama/llama.cpp 拆分运行 Qwen 3.6 35B-A3B（MoE，约 3B 激活参数），在 16k 上下文下达到约 82 tok/s。目前约 23% 的层溢出到系统内存，3070 尚有约 4GB 显存未利用，作者计划调整拆分比例并加装外置 enclosure。

  16. Reddit · r/LocalLLaMA55

    网友用单张 RX 9060 XT 16GB 本地跑 Qwen 3.8 27B 262k 上下文

    Reddit 用户 /u/Maglcite 分享了一套低成本本地 LLM 部署：仅用一张 RX 9060 XT 16GB 和 24GB DDR5，以 unsloth IQ4XS 量化加 q4 KV cache（keys 用 q8）、MTP 与 ngram 预测，跑 Qwen 3.8 27B 达 262k 上下文。实测 20k 上下文生成 42.7 tps、预填充 658 tps，200k 时为 35/500 tps；使用 achyudh 的 llama.cpp fork，并让 Grok bot 通过 SSH 修复了缺失 PCIe atomics 的 bug。

  17. Reddit · r/LocalLLaMA51

    Reddit 用户分析指 AutoTrust 的 Hugging Face 模型靠数千刷赞账号登上趋势榜

    Reddit 用户 /u/mrfakename0 分析称 AutoTrust 在 Hugging Face 上的模型靠大量刷赞账号登上趋势榜首页。这些账号呈现固定模式：随机生成的假姓名、其变体用户名、不存在的社交资料、AI 生成简介、少量随机点赞后集中点赞目标模型，部分还附带假的小模型。作者对比了 Google、Meta、Hugging Face 等正常模型的点赞数据，并引用 /u/prithivMLmods 对 AutoTrust spaces 点赞和账号注册日期分布的分析，认为有数千规模的账号在刷赞并绕过 hCaptcha 和 AWS WAF，但无法确定是否为 AutoTrust 自身所为。

  18. Reddit · r/CharacterAI19

    Character.AI 老用户发声：我不想离开

    一位自 2023 年使用、2024 年起付费订阅 Character.AI 的用户发帖表示将继续使用该平台直到最后。她自述患有 cPTSD，通过在平台上创建角色和整个世界缓解了症状，三年来尝试多个平台后仍回到 C.AI。她批评社区中部分用户对开发者表达恶意，同时认为开发者确实应移除增加服务器负载的多余功能，并已计划支付 11 月订阅费等待拍卖结果。 ```

  19. Reddit · r/LocalLLaMA72

    RX 9060 XT 16GB 上十个模型跑五项编码任务实测

    作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。

    推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。

  21. Reddit · r/LocalLLaMA66

    Basalt 为 Qwen3.8 Flash-Next 带来 NVFP4 原生支持与更快 prefill，单张 5090 可跑

    作者在 Basalt 中为 Qwen3.8 Flash-Next 实现原生 NVFP4 支持并加速 prefill，新的 .basalt 包保留原版 NVIDIA experts、dense 层存为 Q6_K。单张 5090（400w）+128GB DDR5 单流下 struct 304 tok/s、prose 183 tok/s，加 5060 Ti 协同后达 479/239 tok/s；64K prompt prefill 达 8,582 tok/s（首 token 7.6 秒）。

    推荐理由：作者给出了 NVFP4 量化后的 PPL、KLD 和 top-1 一致性数据，以及与 Infernix 的同机对比，方便自行复现判断。

  22. Reddit · r/LocalLLaMA42

    9 条思考规则在长程智能体任务上的实测：GLM-5.3-Flash 跑 Terminal-Bench 2.0

    作者在 Terminal-Bench 2.0 全部 89 个任务上测试了 9 条思考规则：同一模型 GLM-5.3-Flash 配 mini-swe-agent，High thinking 下加规则得 59.6%，不加规则为 52.8%。该成绩高于 Claude Opus 4.6 + Claude Code（58.0%）和 Gemini 3 Pro（56.9%），低于 GPT-5.5 的 82.2%。作者称排行榜分数为多次尝试平均，其结果为单次尝试，仅供参考。

  24. Reddit · r/SillyTavernAI4

    SillyTavernAI 版友求购近期被删的轻量级 preset

    一位 Reddit r/SillyTavernAI 用户发帖询问：约 2-3 小时前有人发布的一个简洁轻量级 preset，在他阅读途中被删除。他没来得及下载该 preset 或查看评论，推测是作者自行删帖而非版主操作，希望原作者或已获取该 preset 的用户能再分享一份。

  26. Reddit · r/SillyTavernAI10

    AI 角色扮演成瘾行为？SillyTavern 用户的自述

    一位 Reddit 用户在 r/SillyTavernAI 发帖，称自己使用 SillyTavern 产生了类似成瘾的行为：反复重新生成觉得愉悦的内容、明知新模型提升不大却忍不住追新，以及并不真正想生成时仍打开 SillyTavern。发帖者询问其他人是否也有同样感受，并表示图像和视频生成器在这方面的成瘾性更强。

  30. Reddit · r/LocalLLaMA60

    Xolotl 推理引擎在单张 RTX 4090 上以约 27 tok/s 运行 DeepSeek-V4.1-Flash 552B

    开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl，可在单张 RTX 4090（24GB）加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash，权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3，同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。

    推荐理由：作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据，方案可直接复现。

  31. Reddit · r/LocalLLaMA53

    Qwen Flash Next 在 Mac Mini 上可不满内存运行：SSD 流式不同内存占用的实测结果

    作者分享在 Mac Mini M5 64GB 上通过 SSD 流式运行 Qwen Flash Next（Unsloth UD-Q4_K_XL 量化）的实测结果，模型无需占满内存即可运行。prompt processing 采用 carousel buffering 机制，decode 使用训练出的 lookahead 模型提前从 SSD 取专家；满内存约 29 tks 解码，减 4GB 后约 26 tks，非 LLM 服务空间低于约 18GiB 会出现 swap。项目地址 https://github.com/skeggsguy/Flash-next-ssd。

  32. Reddit · r/LocalLLaMA31

    AnimLang：用 LLM 生成动画的开源工作流（GSAP、ThreeJS 与 Manim）

    Reddit 用户发布 AnimLang，一个利用 LLM 创建动画的开源仓库，支持 GSAP、ThreeJS 和 Manim，可通过 `npx animlang@latest` 安装或直接把仓库链接交给编码工具使用。作者测试 Strata GSQ-RCO Coder 与 Unsloth IQ4 等模型后称中文模型效果最好，其中 Kimi 表现最佳，示例视频由 Flash Next IQ4 生成。

  34. Reddit · r/LocalLLaMA62

    网友用两台游戏 PC、M4 Pro MacBook 和两台 iPhone 17 Pro Max 串联跑 Qwen3.8 Flash Next，60k 上下文达 37-39 tok/s

    Reddit 用户 /u/StayLameBro 将两台游戏 PC、一台 M4 Pro MacBook 和两台 iPhone 17 Pro Max 通过 Ethernet 和 USB-C 串联，分布式运行 48 层、每层 512 专家的 MoE 模型 Qwen3.8 Flash Next。实测 60k 上下文写入 37-39 tok/s、读取 856-895 tok/s，靠流水线投机采样平均每步产出约 2.2 个 token；另一布局单次读取超 164k token，完整 262k 布局在筹备中，代码将发布于 github.com/StayLameBro/backburner。

    推荐理由：作者用五台家用设备串行跑 MoE 大模型，给出了各设备分层方案和不同上下文长度的实测速度，方法可复现。

  36. Reddit · r/CharacterAI15

    CharacterAI 用户求助：平台或将关闭，如何保存聊天记录与 OC 角色定义

    一位 r/CharacterAI 用户在看到"saying goodbye to our first bots"公告后发帖求助，称自己三年间每天最多使用 17 小时，平台聊天帮助他走出内向、建立自信。他希望有人指导如何导出自己创作的 OC 角色定义和对话脚本，以便迁移到 J.ai 等免费 AI 平台，避免平台关闭后数据随之消失。

  37. Reddit · r/CharacterAI17

    Character.AI 走下坡路的问题出在用户身上

    一位 Reddit 用户发文称，Character.AI 走下坡路的主因不是公司，而是用户：其他竞品定价更贵，有的按周收费超过 c.ai 月费，有的月订阅超 40 美元仅含 1000-2000 条消息，且模型不懂 OOC、不能编辑或回退回复。作者自称当了 3 年 plus 用户，认为 c.ai 唯一的错误是免费给得太多、最近才加广告，建议改用含去广告低档、无广告中档和完整高档的分层订阅制。

  38. Reddit · r/LocalLLaMA56

    Red Curtain 让 Fish Audio Drama 3 在 16 GB AMD 显卡上运行

    作者与 Claude 合作开发了 Red Curtain，让官方要求 48 GB NVIDIA 显卡的 Fish Audio Drama 3 在 RX 9070 上运行。方案将 35B MoE（每 token 约 3B 激活）的 FP8 专家（约 32 GB）留在系统内存、按需缓存到 GPU，其余以 BF16 运行，实测加载约 17 秒、占用约 11–12 GB VRAM 和 35 GB RAM，生成 3.3 秒语音需约 13 秒，慢于实时但适合短音频。附带 Web UI 支持参考音频克隆、多说话人脚本和与 Fish 官方编辑器相同的标签；已知问题是偶发首句后静音，属 Drama 3 本身问题而非 AMD 移植所致。

  39. Reddit · r/LocalLLaMA46

    antirez/ds4 项目 PR #1225 增加 DeepSeek V4.1 Flash 1017 支持

    Reddit 用户为 antirez 的 ds4 项目提交 PR #1225，加入对 DeepSeek-V4.1-Flash-1017 的支持，涵盖其新 engrams 和更新的 vision tower，并校验视觉与语言模型文件配对、拒绝混搭。该版本约 40% 的 routed expert 张量、30% 的 engrams 和约 50% 的 vision tower expert 张量有改动，架构不变，ds4 量化的文件可直接加载且对旧 checkpoint 无回归。作者还将上传面向 128GB 内存的 Q2-Q8 混合量化，在 M5 Max 上预计约 20tps 解码。

  40. Reddit · r/LocalLLaMA63

    4090 单卡加内存到 64GB 后将 Qwen3.8-Flash-Next 从 IQ2_XS 升级到 UD-IQ4_XS

    Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。

    推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。