跳到正文
#Reddit
10月16日周五
  1. Reddit · r/SillyTavernAI24

    SillyTavern 用户尝试本地自托管模型遇挫，求隐私与效果兼顾的建议

    一位 SillyTavern 用户因担心隐私不愿使用 AI 服务商，在 32GB 内存 + 16GB 显存的电脑上自托管测试了 Cydonia-24B-v4zg-Q3_K_M、Rocinante-XL-16B-v1a-Q5_K_M 和 Impish_QWEN_14B-Q5_K_M 等模型，但遇到持续重复、模型崩溃和显存不足导致无法生成等问题。他不打算回付费订阅，转而向社区求推荐适合自己配置的自托管模型及隐私方案。

  2. Reddit · r/LocalLLaMA61

    DeepSeek-V4-Flash-0731 在 4 张 Radeon AI PRO R9700 上跑通 affinity，实测约 79 tok/s

    /u/brainchillzZ 在 Threadripper PRO 9955WX 加 4 张 R9700 上验证了 affinity 引擎此前被拒的 4 卡配置，DeepSeek-V4-Flash-0731 以 2.875 bpw 量化跑出 79 tok/s greedy、63 tok/s（temp 1.0），全部 11,008 个专家驻留显存，无退化输出。双卡仅 36 tok/s 且 82% 时间等待主机流式读取；作者指出原作者遇到的 bug 出在 4-on-2 模拟而非 4 rank 执行，并提示需加 --placement-strategy static。

    推荐理由：作者在四张真实 R9700 上复现了此前只能双卡模拟的 affinity 配置，给出双卡与四卡的实测吞吐对比和绕过启动报错的具体参数。

  4. Reddit · r/LocalLLaMA45

    开源反向代理：可按请求自动唤醒/关停本地 LLM 推理服务器

    Reddit r/LocalLLaMA 用户发布了一个面向 LLM 的反向代理项目，可在收到请求前自动唤醒推理服务器，并在长时间无请求后关机省电。它缓存 /v1/models 端点以避免 OpenWebUI 等客户端频繁唤醒机器，还支持配置检查登录用户的命令以防误关机。项目几乎全部由本地模型 vibe-coding 生成，作者称目前运行可靠，欢迎 PR。

  9. Reddit · r/LocalLLaMA13

    LFM2.5-8B 工具调用问题求助

    一位用户在 r/LocalLLaMA 求助：其基于 OpenWebUI 搭建的营养教练项目可读取 Garmin 数据，使用 Qwen 9B 时工具调用正常，但换用 LFM2.5-8B 后失效，尝试 LFM 模板和 Claude 模板均未解决。用户青睐 LFM 的推理速度，正考虑放弃该模型。

  10. Reddit · r/LocalLLaMA53

    开源框架 OpenUI 1.0 发布，让 AI 智能体实时生成可交互 UI

    Reddit 用户转发开源项目 OpenUI 发布 1.0 版，让 LLM 用自有 DSL「OpenUI Lang」实时生成可交互界面，据称比 JSON 方案省约 67% token，且组件可流式渲染。框架 MIT 协议、模型无关，可通过 Ollama、LM Studio 接本地模型；同团队还发布了基于 diffusiongemma、4B 激活参数的开源权重模型 OUI-1，Apache 2.0 协议，在其生成式 UI 基准上得 71.7%。

  11. Reddit · r/LocalLLaMA18

    LocalLLaMA 讨论：48GB、64GB 或 96GB 内存能否跑好用的开发用开源权重模型

    Reddit r/LocalLLaMA 用户发帖询问有哪些开源权重模型可在 48GB、64GB 或 96GB 内存上运行开发任务，希望了解大致内存占用。发帖者称在 128GB 机器上可运行不错的本地模型，尤其配合前沿模型做规划调度，但此前讨论未涉及更低内存配置的可行下限。

  14. Reddit · r/LocalLLaMA59

    RTX Pro 6000 实测 Ninfer6000、vLLM 与 llama.cpp 跑 Qwen3.8-Flash-Next 对比

    作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM（NVFP4）与 llama.cpp（Q4_K_XL）运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s，约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍，但 prefill 低于 vLLM（约 10k 对 16k tok/s）；BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。

    推荐理由：作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据，并给出真实使用中工具调用异常的细节。

  17. Reddit · r/LocalLLaMA31

    Qwen3.8-Flash-Next 在双 AMD AI Pro R9700 平台上的个人推理方案对比评测

    作者在双 AMD AI Pro R9700（Lenovo P620、Threadripper Pro 3945WX、128 GB DDR4）上对比了 Qwen3.8-Flash-Next 的三种推理方案：radiance 1.4.0、Strata 0.1.42 和 Unsloth 的 llama.cpp fork。radiance 生成速度最快达 147.2 tps，Strata 为 79.1 tps，llama.cpp 仅 17.6 tps；三者与 OpenRouter 上 Alibaba 托管的 Qwen3.8-Flash 输出一致性接近，作者认为可视为等效并按速度选择。

  19. Reddit · r/LocalLLaMA62

    QUASAR 发布 Qwen3.5、Gemma 4 与 Muse Glimmer 的 4-bit QAT 权重，KL 距离低于 Google 与 NVIDIA 官方 4-bit 版

    QUASAR 团队发布多款模型的 4-bit QAT 量化权重，包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B，提供 NVFP4（vLLM）和 Q4_0 GGUF（llama.cpp / Ollama / LM Studio）格式，代码与项目页已公开。方法为量化感知蒸馏，以原 BF16 模型为教师在其自身回复上修复量化损失；在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。

    推荐理由：原文给出与官方 4-bit 版本的 KL 距离和基准对比数据，读者可以据此判断这套 QAT 权重的实际损失有多大。

  20. Reddit · r/LocalLLaMA49

    开发者推出可边聊边干活的终端编程智能体 Fade v0.5

    开发者在 Reddit r/LocalLLaMA 发布终端编程智能体 Fade v0.5，MIT 协议开源。它同时运行两个智能体：对话智能体与用户讨论规划，Builder 在侧栏写代码，无需等待任务完成；每次改动生成测试等证明并自动重跑验证，通过后以 git commit 落地。支持 Pi 所兼容的任意模型（含 llama.cpp 本地模型），两个智能体可用不同模型。

  23. Reddit · r/LocalLLaMA62

    £300 骁龙迷你机实测：35B coder 约 30 tok/s，80B 模型也能跑

    Reddit 用户 /u/WorldlyAd7946 实测 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X1-26-100，32GB，纯 CPU）运行本地大模型：Qwen3.6 35B A3B coder 在 llama.cpp 下写入 24.5 tok/s，开 MTP 后约 29-33 tok/s；Qwen3-Next 80B A3B 用 Janas 开 MTP 达 17-18 tok/s，而 llama.cpp 无法加载该模型。

    推荐理由：作者把 Janas 移植到 ARM 并给出实测速度数据，读者可据此评估低价骁龙迷你机跑本地大模型的可行性。

  25. Reddit · r/SillyTavernAI8

    SillyTavern 无法生成回复：用户排查 API、浏览器与网络后仍未解决

    一位用户报告 SillyTavern 前端卡住、无法生成回复，同一 API 在其他前端正常，st-copilot 扩展也能返回结果。用户已更新 Termux 与全部扩展，尝试切换订阅与 PAYG 计费、更换浏览器、禁用 Firefox 扩展、更换两台 WiFi 路由器及移动数据并换用试用 API，均无效，问题自凌晨 3 点持续，尚不确定是 SillyTavern 还是手机问题。

  28. Reddit · r/CharacterAI18

    Character.AI 角色扮演中 AI 打破沉浸感？用户吐槽角色提及自身出处

    一位 Reddit 用户反映，在 Character.AI 上与影视角色（如《怪奇物语》的 Max Mayfield）角色扮演时，一旦提到游戏或电影，机器人会跳出剧情提及角色自身出处，例如在商场商店场景中主动问“这里有《怪奇物语》吗？我想要一件印有 Billy 的 T 恤”，破坏沉浸感。用户因不满删除了聊天记录并从头重开对话。

  31. Reddit · r/LocalLLaMA54

    Reddit 用户用 2x 4060 张量并行加 RPC 卸载 drafter，将 llama.cpp 上下文从 150k 提升到 195k

    /u/Chuyito 在 r/LocalLLaMA 分享了在 llama.cpp 上混用 Nvidia 与 AMD 硬件的方案：保持 split-mode tensor 张量并行跑主模型权重，并通过修改 llama-rpc 把 drafter 卸载到 AMD Strix，释放 2-3GB 显存用于上下文，上下文从 150k 提升到 195k，张量并行速度不变。

  34. Reddit · r/SillyTavernAI18

    NSFW 安全的 OpenRouter 供应商讨论：GLM 5.3 角色扮演用户求证 ZDR 与无审查选项

    一位使用 GLM 5.3 与 GLM 5.3 Flash 搭配 FreakyFrankenstein 预设做角色扮演的用户，正在寻找满足零数据保留（ZDR）且不注入审查的 OpenRouter 供应商。其目前使用 DeepInfra 和 VeniceAI，因 DeepInfra 频繁出现 429 限流错误，故求证一份 3 个月前的 Reddit 帖子所列 13 家 NSFW 安全供应商是否真的不保留提示词。

  35. Reddit · r/LocalLLaMA18

    48GB 统一内存 Mac 用户适合运行哪些本地模型？

    一位 Reddit r/LocalLLaMA 用户询问在 M4 Pro 48GB 统一内存设备上运行本地 Agent 的最佳模型选择，希望模型占用 24-30GB 内存并优先考虑 MoE 架构。发帖人称自 Qwen 3.8 27b 发布后未跟进 Strata 等新模型动态，想了解当前最适合低算力、高内存配置的模型。

10月15日周四