跳到正文
#Reddit
10月17日周六
  5. Reddit · r/LocalLLaMA21

    llama.cpp 这一年半的巨大进步：一位 LocalLLaMA 用户的本地 LLM 体验

    一位用户回顾 2025 年 3 月至今的本地 LLM 之路：从 RX 7800 XT 上跑 Mistral Nemo Q4_K_M 的 15 t/s，到双 RTX 5060 Ti 16GB 加持下，llama.cpp 0.7.0 运行 Gemma 4 31B IT QAT 超过 60 t/s 生成、1100 t/s 处理，Qwen3.8 27B 推理约 70 t/s、写代码约 100 t/s。随着 tensor split 与 MTP 引入及 Web 界面改版，本地模型已能完全替代云端 LLM。

  8. Reddit · r/SillyTavernAI24

    Argoon 模型上手体验：设置极其挑剔但调好后表现出色

    一位用户分享 Argoon 模型的使用体验：调通后表现很好，能处理各种内容，且不再出现拒绝回复，但设置 preset 极其挑剔，一句话或一个词都可能搞砸。作者使用约 3,700 token 的自定义 preset 并搭配 CoT，还提到 Kimi 3 紧随其后、更有创意但动作描写断续。该模型不稳定，作者只推荐给真正在意 nsfw 细节的用户。

  9. Reddit · r/SillyTavernAI24

    Argon 处理 NSFW 内容效果良好

    Reddit 用户演示 Argon 无需任何越狱即可正常生成 NSFW 内容，仅使用未修改的 Pura Preset，场景为复仇者联盟实习生与 Tony Stark。作者认为用户遇到问题的最常见原因是尝试越狱，或是实际在尝试 NSFL 内容却没有说明。

  12. Reddit · r/LocalLLaMA41

    中国收紧大模型与 Agent 出口管制

    Reddit 用户称中国对大模型和 Agent 出口设限：模型规模超过一定数值、或 Agent 运行时可修改超过一定比例的上下文与代码，都需审批，过强的模型无法出口。作者将其类比稀土出口管制，并认为即便有"免费 AI"流出，海外许多公司也能自行做出同等水平的免费 AI。

  14. Reddit · r/CharacterAI17

    用户行动指南：如何帮助 C.AI 继续运营下去

    面对破产传闻，C.AI 用户社区提出五项行动建议：在 Reddit、TikTok、X 等平台分享真实使用体验，礼貌联系可能收购的 AI 陪伴与角色扮演相关公司，发起或签署请愿以保留平台和用户创建的角色，表明愿意为 C.AI+ 付费以证明可持续收入，并保持行动建设性、避免骚扰和谣言。

  16. Reddit · r/LocalLLaMA28

    Qwen 3.8 Flash Next 真有那么强吗？作者实测对比 Qwen 3.8 27B 后表示存疑

    一位 r/LocalLLaMA 用户在 4x 3090 上实测 Qwen 3.8 Flash Next UD-Q4_K_XL，与 Qwen 3.8 27B Q8 直接对比后认为差距明显，Flash Next 并不如社区宣称的那样好。在用两个提示词生成 Windows 俄罗斯方块独立 .exe 的测试中，27B 模型首提示出现两个 bug（暂停和游戏结束后按键仍生效），但第二次提示自行修复；strata 框架跑 4 小时未产出可玩 exe，生成速度虽快但结果比 llama.cpp 更差。

  26. Reddit · r/SillyTavernAI18

    Qwen3.6 无法在 SillyTavern 中正常使用的排障求助

    一位用户在本地运行 SillyTavern 并通过自建服务器连接 llama.cpp 使用 Qwen3.6 时遇到输出不稳定问题：模型有时只输出一行，有时输出大段 "Here is a thinking process" 思考块和乱码标签。用户尝试了 jinja 模板、"derive from model metadata" 选项、在 System Prompt 添加标签以及 --reasoning-budget 0 参数均无效，且角色扮演中的 Impersonating 功能完全无法使用，在论坛求助通用模板。

  27. Reddit · r/LocalLLaMA42

    Qwen3.8-Flash 改进版聊天模板发布，附 Sharp 简洁模式选项

    Reddit 用户 returnity 发布自维护的 Qwen3.8-Flash-Next 聊天模板 v1.4/v1.5，修复了工具参数 JSON 字符串渲染失败、空块重放等问题，并移植 27B Sharp 的简洁块形成可选的 terseness 模式。实测在 llama.cpp 上 Flash-Next UD-Q5_K_XL、thinking off 时回答 token 减少 61%，thinking on 时减少 40%；作者提醒简洁模式会略降准确率。

  29. Reddit · r/LocalLLaMA32

    一个简单例子说明 API 和本地部署为何优于网页界面：避开系统提示词的“注水”

    作者用同一个词典定义问题测试 Sonnet 5.5 Medium、GLM 5.3 flash 和 GPT 6 Astra Max，只有本地模型答对。作者认为原因是厂商在默认 system prompt 中塞入数千 token 的讨好与安全指令，即使自定义指令要求直接回答也难以抵消。这正是用户付费使用 API 或部署本地模型的原因：去掉让模型变笨的系统提示词。

  30. Reddit · r/LocalLLaMA22

    LocalLLaMA 讨论：Jev 决策模型 + LLM 该用什么 agent loop

    Reddit r/LocalLLaMA 上有用户询问在 Jev 或本地替代的 System One 决策模型配合 LLM 与 tool calling 时，是否存在公认的 agent loop 模式。现有例子分两路：REFLEX 与 JevAgentHarness 的 confidence cascades，以及 Hermes/Astra + Jev Minecraft agents 的 planner + chooser。发帖者关注控制循环细节并征集论文与公开实现。

  31. Reddit · r/LocalLLaMA70

    ORL 扩散语言模型加速方法开源：单张 RTX 5090 跑出 2,788 tokens/s

    团队发布 ORL（On-Policy Residual Learning）研究并全量开源，用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt，LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s（NVFP4），DiffusionGemma 26B MoE 达 7,708 tokens/s（8× B200）；QwenDLM-4B 端到端吞吐提升约 6.9×，HumanEval pass@1 从 82.9% 升至 89.6%，单 H100 上 1,298 tokens/s，快于 DFlash 的 746 和 EAGLE3 的 405。

    推荐理由：原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照，可复现的代码和权重也已开放。

  32. Reddit · r/SillyTavernAI64

    自托管角色扮演平台 Molfar Vertep 更新至 1.1.0，引入可视化 Canvas

    Molfar Vertep 发布 1.0.4 到 1.1.0 更新，主打可视化 Canvas。Prompt 看板按顺序展示发往模型的每个部分及其 token 数，可按聊天单独关闭任意部分以省 token；聊天链接看板通过连线让新聊天继承旧聊天的编年史生成紧凑 backstory，实现续作、分支与共享世界。本次更新还包括基于 Google Drive 或本地文件夹的设备同步、新的 Molfar 模块化预设、群聊每聊天回合设置、掷骰原因与难度、翻译按钮等，支持 Windows/Mac/Linux 与 Android APK，兼容 OpenAI 兼容 API 与 OpenRouter 免费模型，项目为 AGPL 开源，仓库见 https://molfarwav.github.io/index.html。

    推荐理由：作者详述了自托管角色扮演平台的 Canvas 看板与跨聊天编年史记忆机制，对关注小上下文模型玩法的人有可参考的思路。

  33. Reddit · r/SillyTavernAI18

    SillyTavern 讨论：Depth Attention、Lorebooks 与缓存命中率

    一位 SillyTavern 用户反思，自己在构建 lorebooks 时过度关注引导 LLM 的注意力，而忽视了 cache hit 百分比。他把角色内容放在 Depth 4 附近有助于模型遵循角色设定，但可能拉低了缓存命中率。他计划改为把常显条目放顶部、筛选激活的条目放 Depth 4，并询问社区对不同深度位置的取舍标准。

  36. Reddit · r/LocalLLaMA27

    用本地 LLM 从 400 万份斯洛伐克法院判决中抽取结构化事件图谱

    一位开发者在构建覆盖约 400 万份斯洛伐克法院判决的法律检索与分析引擎，已用稠密嵌入加 BM25 实现基础检索，但在复杂查询上难以接近 100% 精度。纯嵌入和扁平 JSON 抽取分别败于枚举爆炸与递归法律逻辑（如多层嵌套的撤销-驳回-请求链）丢失证据性信息，作者正权衡三种架构，包括带 ID 关联和认知限定符的事件图谱方案。

  40. Reddit · r/LocalLLaMA35

    为什么朴素余弦路由会失效：在 768D 嵌入空间上用吸收马尔可夫链实现 <2ms 零 token 意图分诊（无需唤醒 LLM）

    在 768D 嵌入空间上用吸收马尔可夫链（B=(I-Q)^-1*R）替代朴素余弦相似度做意图分诊，将查询投影到 60 节点领域流形后直接在 GPU 求解，无需唤醒 LLM。JevBench 测试中 Tier 0（AMC + EmbeddingGemma2）平均 22ms p50、11 项全对，短提示词缓存候选下约 1.5ms；4 层级联平均 46ms p50（308ms mean），240 项 100% 命中。