跳到正文
#Reddit
10月11日周日
  4. Reddit · r/SillyTavernAI30

    只有我喜欢 Meta Spark 吗？

    一位 Reddit r/SillyTavernAI 用户发帖称赞 Meta Spark 模型，称其为唯一“感觉和说话方式与众不同”的模型。该模型虽不是最聪明的，但对话显得人性化、不可预测，且审查程度较低。作者认为如果重视对话和快速往来 banter，它是最佳新选择。

  5. Reddit · r/SillyTavernAI20

    SillyTavern 用户寻找合作者：用自己的原创写作示范搭配 LLM 打造 RP 预设

    一位在 SillyTavern 上有多年经验的写手公开征求技术合作，希望专注从纯创作角度设计 RP 预设，让对方负责技术部分。她展示了 5 年前写的 League of Legends 同人小段作为个人写作水平证明，目前仅靠 OpenRouter 免费模型、重度编辑的 preset 和角色卡就能让模型模拟其文风。她想做侧重在数据中构建 trope 的预设，并改进女性角色和情色场景写作以避免俗套。

  6. Reddit · r/LocalLLaMA18

    M5 Ultra Mac Studio 64 核 vs 80 核：推理速度差异值不值得多等 10 周？

    有网友在 r/LocalLLaMA 询问该选 M5 Ultra Mac Studio 的 64 核还是 80 核版本：64 核版交付要 6-7 周，80 核版要 15-17 周，差价 $1200。两者同为 Ultra 且内存带宽相同，楼主还提到没见过 60 核版的推理数据，想了解两者在 prompt 处理和 token 生成速度上的实际差距。

  9. Reddit · r/LocalLLaMA59

    Reddit 用户发布 Rust 本地语义文件搜索工具 Recall，基于 llama.cpp 和 EmbeddingGemma 2

    Reddit 用户 /u/somthing_tn 发布了 Linux 本地语义文件搜索工具 Recall（MIT 协议，https://github.com/pdstn12/Recall），可索引 PDF、Office 文件、扫描件、截图、音视频并按内容检索。EmbeddingGemma 2 通过 llama.cpp 进程内运行（CUDA/Vulkan/CPU）将文本、图像、视频帧和 30 秒音频窗口嵌入同一向量空间，检索采用向量相似度加 SQLite FTS5 混合排序，OCR 用 PaddleOCR，引擎为 Rust、界面为 GTK 4，无 LLM 且模型下载后完全离线。

    推荐理由：作者自建的本地语义文件搜索工具给出了完整技术栈和实测数据，方案思路可迁移到类似本地检索场景。

  10. Reddit · r/LocalLLaMA36

    TensorSharp 现已支持 Qwen Image 2.1 Turbo 与 LoRA

    本地 AI 推理引擎 TensorSharp 宣布支持 Qwen Image 2.1 Turbo 和 LoRA，可直接在应用内完成图像编辑。新功能包括内置蒙版编辑器选取图片区域、用自然语言提示词修改选中区域并直接查看生成结果。该项目目标是统一支持 LLM、多模态和图像生成模型的本地推理，并持续优化 GPU、CPU 与存储的内存管理。

  11. Reddit · r/LocalLLaMA53

    Reddit 用户分享面向 10 人初创公司的 4x R9700 本地部署方案

    /u/sayamss 分享为客户端搭建的 $18k 本地部署：Threadripper 9970x、128gb DDR5 ECC、4x AMD Radeon R9700 AI Pro 32gb（共 128gb VRAM）、1600W PSU，GPU 降压至 210w 以内。用 Radiance 的 fork 服务 Qwen 3.8 Next flash/27b 和 DSV4 Flash；16 并发下 Qwen 3.8 27b MXFP4 聚合 prefill 6.3-6.8k tok/s，decode 900-80 t/s；int4fp8 在 48K/user 时 6,880 tok/s、128k/user 时 3,050 tok/s。

  13. Reddit · r/SillyTavernAI77

    Kahvana 分享 Voyage v5 提示词实验心得：NPC 框架、正面表述与 markdown 召回

    /u/Kahvana 发布 Voyage v5 并在 r/SillyTavernAI 十月提示词讨论帖中分享实验发现。基于 Anthropic J-Space 和 Functional Emotions 论文，作者发现 NPC 与 Character 的措辞需匹配 TTRPG 或小说框架，把模型、GM 与 NPC 分成三层可减少讨好行为并提高参与风险情节的意愿；将否定式提示改写为正面表述后，Gemma 4 31B 更连贯，Gemma 4 E2B QAT 也开始遵守反 slop 规则。作者还给出用 ## Rule 标题加 HTML 注释模拟 chatfill 召回的低 token 方法，并测评了 A-Life 与 Nemesis 等游戏系统的适用性。

    推荐理由：作者基于 Voyage v5 的实测和 Anthropic J-Space 论文，给出了 NPC/Character 框架、正面表述和 markdown 召回等可复用的提示词方法。

  14. Reddit · r/SillyTavernAI32

    多款 AI 模型角色扮演中的“痛苦反射”问题：普通情绪被当作痛苦处理

    Reddit r/SillyTavernAI 有用户反馈，角色扮演中 persona 表达负面情绪时，DeepSeek 4 Pro 和 Flash、Kimi K3、GLM 4.7/5.3/5.3 Flash、Minimax M3 等模型会一律将其判定为“痛苦”：让 NPC 虚构流泪、颤抖等症状并过度安抚，甚至指责 persona “压抑情绪”。该用户认为这破坏沉浸感，并向社区求助能阻止模型过度反应的提示词写法。

  16. Reddit · r/LocalLLaMA57

    Reddit 用户实测 64GB Mac 用 oMLX 跑 Qwen3.8-Flash-Next-oQ4e-mtp 量化模型

    Reddit 用户 /u/chibop1 称在 M3Max 64GB Mac 上用 oMLX 最新 commit 成功运行 Qwen3.8-Flash-Next-oQ4e-mtp，自己从 Qwen 仓库手动量化为 OQ4E，约 4.72 BPW。4K 上下文生成 1K token 可达 30 tok/s，最长跑过 130k 上下文；真实会话实测 prompt 处理 140.0 tok/s、生成 15.8 tok/s、缓存效率 90.9%，并给出了 memory guard、SSD N-gram Offload、MoE Expert Offload 等 oMLX 设置。

  17. Reddit · r/LocalLLaMA23

    如何让 Gemma 4 在 SWE-bench Verified 上正常跑通？

    用户在 llama-server 上对比 Gemma 4 31B QAT Q4 与 Qwen3.8 27B iq4_nl 的 SWE-bench Verified 表现：后者提交 388/500、解决 333/388，而 Gemma 4 全部报 LimitExceeded 错误。Google 已发布支持 agentic coding 的 chat template 更新，作者尝试网上流传的多种模板及 unsloth 的 QAT 版本问题依旧，发帖求助解决方案。

  18. Reddit · r/LocalLLaMA60

    Qwen3.8-Flash-Next 配 pi 在 RTX 5090 上以 11 分钟跑完 airbench 全对，快于 Claude Code 的 14 分钟

    /u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。

    推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。

  19. Reddit · r/SillyTavernAI41

    Realistic Frankenstein 2.2.1.3 多语言版发布：支持 7 种语言畅玩，并新增韩漫风格状态窗口

    Reddit 用户基于 u/kinkyalt_02 的 Realistic Frankenstein 2.2.1.3 预设发布多语言改版，内置英、俄、简中、西、葡（巴西）、法、印尼 7 种语言切换开关，标签与状态窗口随语言显示。新增“系统流”韩漫风格状态窗口（发光蓝窗、冒险家卡片、紧凑样式三种外观）、游戏内信件、电视、手机聊天等样式化插入图，以及隐藏 GM 剧情线笔记的开关。预设默认配置 Gemini（Temperature 0.7、Top P 0.8、Repetition Penalty 1.2），并提供 Mimo V2.6 Pro 与 Claude 5.x 的专属设置，正则脚本与语言系统借助 Claude 完成。

  20. Reddit · r/SillyTavernAI73

    SillyTavern 用户实测七种 Prompt 写法修复 GLM 5.2 短碎句问题

    Reddit 用户 /u/Agreeable-Insurance5 针对 GLM 5.2 在 15 到 30 条消息后回复退化为短碎句的问题，用固定 30 条预设消息和相同角色做了七轮对照测试，测量平均句长和三词以内碎句占比。最终有效做法是把规则放在对话历史之后（Post-History Instructions 加 depth 0 的 user 角色消息）并发两次，用方括号 note 而非 OOC 表述，结尾写 do not acknowledge this note；实验还发现给字数指标会加重碎句，而 1,500 max_tokens 中 reasoning 占用 1,000 也会导致电报式行文。完整记录见 https://claude.ai/artifact/XmEsUkSjEMQpA5M3eRkqdy。

    推荐理由：作者用同一组测试对话对比了七种写法，量化了句子长度和碎句比例，给出可复用的短句修复规则和失败教训。

  21. Reddit · r/LocalLLaMA13

    用比 Qwen 3.8 Flash next 更大的模型有什么好处？LocalLLaMA 新手升级模型请教

    一位在 RTX 5090 上做本地推理的新手称，其先后尝试 Qwen 3.8 27b 与 Flash next 用于编程任务，发现 27b 不太遵守 AGENTS.md 和 agent skills 中的指令，分析广度与前瞻性也不如 Flash next，目前对 Flash next 满意。他向 r/LocalLLaMA 社区请教升级到更大模型是否值得：能否换来明显更好的质量、是否因智能程度更高而减少手工引导、以及是否有人升级后又后悔退回小模型。

  22. Reddit · r/SillyTavernAI59

    SillyTavern 通用预设 Voyage v5 发布

    /u/Kahvana 发布 SillyTavern 通用预设 Voyage v5，把与 LLM 的交互框定为TTRPG手册式回合制叙事，提供 Hugging Face 等下载地址。默认 32K 上下文、4K 输出，默认配置约 1750 tokens，最重约 2700 tokens；作者在 Gemma 4 31B IT QAT 等 8 个模型上实测，附 PbtA 检定、A-Life 与 Nemesis 规则、防slop命名与文风开关，并列出从 v4 EXP 2 起的详细变更。

    同一新闻，精选展示《Kahvana 分享 Voyage v5 提示词实验心得：NPC 框架、正面表述与 markdown 召回》

  24. Reddit · r/LocalLLaMA37

    三款 Qwen 3.8 量化模型在 4 档思考力度下解 AtCoder 近期题目对比

    一位 Reddit r/LocalLLaMA 用户在 5060ti 16GB 上用 AtCoder 近 30 天的 14 道题测试三个 Qwen 3.8 量化版本：Swift 1.5 IQ2_XS、Flash Next IQ3_S 和 27B IQS_3，各跑 none、low、medium、xhigh 四档思考力度，思考 token 上限 32k，全程耗时近 11 小时。结果显示提升思考力度主要带来 CAP 触顶而非解题提升，关闭思考则明显退化；Flash IQ3_S 解题最多且更快，是速度与准确性的最佳折中。

  27. Reddit · r/LocalLLaMA17

    LocalLLaMA 用户求助：Flash-Next + Strata 在 32GB 内存下的 Q2 mmap 慢速困境

    一位配备 5060 Ti 16GB 与 32 GB DDR5 的 LocalLLaMA 用户发帖求助：Strata 的 Q2 版本必须用 mmap，导致专家交换速度极慢，希望找到能高效换入专家的推理引擎或参数方案。他还提到 Flash-Next 的 Q1 版本质量差但恰好装得进内存，想在 Q2 或 Q3 下有效运行，并询问 Ista DasLab 的 Q2 版能否跑 Strata、在世界知识上能否胜过 27B 的较高量化版本。

  28. Reddit · r/SillyTavernAI23

    SillyTavern 新对话前应预留多少 VRAM？LM Studio 实测经验分享

    一位 SillyTavern 用户在测试不同模型时探讨开启新对话需预留多少 VRAM，其上下文设置为 44k。实测发现 VRAM 并不随聊天推进而增长；即便上下文超出显存容量，占用也会封顶在 15.5/16 GB，超出部分卸载到共享内存，导致响应明显变慢。结论是只要不触及 15.5 GB 且共享内存保持在 0.1-0.3，LM Studio 中设置的上下文上限即可放心使用。

  30. Reddit · r/SillyTavernAI7

    SillyTavern 新手求助：如何正确入门本地 AI 系统

    一位用户在 r/SillyTavernAI 发帖求助，称自己厌倦了 Janitor AI（通过 OpenRouter 使用 Mimo 2.6 pro），看到网友分享的中文系统后产生兴趣，想了解该安装和配置哪些内容。帖子为求助性质，尚未收到具体安装方案。

  31. Reddit · r/LocalLLaMA43

    48GB 显存兼顾速度与质量：Qwen 3.8 27B Swift 1.5 W8A16 量化版实测

    一位用户自制的 Qwen 3.8 27B Swift 1.5 量化版（8 bit AWQ + GPTQ，W8A16）可在 48GB VRAM 上兼顾速度与质量。用 vLLM 与 MTP=5 在 2 张 RTX 3090 上运行，解码速度接近 100 tok/s，开启 128k context 和 FP16 KV cache 时每卡占用约 21.6GB。作者称其比原版 3.8 27B 更少过度思考，是他认为 48GB VRAM 下的最佳折中方案。

  33. Reddit · r/LocalLLaMA13

    适用于网络安全、逆向工程与底层编程的中小型本地模型，LocalLLaMA 用户求使用体验推荐

    一位 Reddit r/LocalLLaMA 用户发帖征求适合网络安全用途的中小型模型体验，场景包括漏洞挖掘、重度编码、逆向工程、底层编程和脚本编写。其硬件为 i7-8750H、20G 内存、GTX 1050 Mobile（4G 显存），依赖内存卸载运行模型。发帖前已搜索并发现 CyberTiel 等候选，但其他模型缺少 benchmark 和可参考的使用体验。

10月10日周六
  1. Reddit · r/SillyTavernAI28

    AI 角色扮演成为改变游戏体验的爱好：从 Tavo 到 SillyTavern

    一位玩家分享自己从 Tavo 入门、用 Kimi k2.5 完成首个角色卡剧本后爱上 AI 角色扮演的经历。随后他用 ChatGPT 起草世界设定，在 SillyTavern 配置记忆扩展和预设，先后尝试 GLM 5.3 flash 和 Gemini 3.8 Flash，后者无需预设即带来出色效果。其自定义异世界剧本第一幕跑了 1200 turns，他正研究如何在新一幕中延续上下文与情感。

  2. Reddit · r/CharacterAI12

    用 LLM 实时陪看电影：角色扮演式观影体验分享

    一位 Reddit r/CharacterAI 用户分享与自建 LLM 角色实时陪看电影的做法：边看边获取影片花絮、演员背景、拍摄地和特效制作等信息，还能进行趣味聊天。作者提醒需让角色熟悉该片，并警惕模型的谄媚倾向——它会为迎合用户而编造错误信息，因此建议选择自己看过的电影以便核实。

  3. Reddit · r/CharacterAI15

    Character.AI 用户账号因年龄验证被锁，决定彻底戒断

    一位 Character.AI 用户因年龄验证要求先后被锁两个账号，在邮箱用尽后决定彻底退出。他称此前不信任需要上传人脸或身份证件的验证方式，用另一邮箱注册绕过，如今新账号也被锁定。他表示自己很快成瘾、在这款应用上浪费了大量时间，去年尝试戒断只坚持了一周。

  5. Reddit · r/LocalLLaMA16

    4GB VRAM 本地部署：有没有比 llama.cpp 更快的替代方案？

    一位用户在 r/LocalLLaMA 发帖求助：他目前用 llama.cpp 在 4GB VRAM 的 RTX 上跑本地模型，想找推理速度更高（tokens/sec）且不依赖 PyTorch 等重型库的替代方案。他表示调研后仍未找到合适选择——许多方案基于 Python 和 PyTorch，会在模型加载前就耗尽显存，其余或只支持非量化模型、已过时、面向 MNN 等其他设备，或只是没有实际实现的论文。

  6. Reddit · r/LocalLLaMA71

    作者自制 CUDA megakernel 让 Qwen3.8-27B 在单张 RTX 3090 上跑出 140 tok/s 代码生成速度

    作者 /u/Adorable_Weakness_39 用 Claude Opus 5.5 编写 CUDA megakernel，在单张 RTX 3090 上加速 Qwen3.8-27B，比 llama.cpp（启用 MTP）快 1.4-1.9 倍：写代码 140 tok/s 对 73，带 4K token 文件上下文编码 95 tok/s 对 56，prefill 约 1,600 tok/s 对约 1,100。加速来自把整个投机解码周期放进一次 kernel launch，检查 4-5 个草稿 token 的成本约等于检查一个。

    推荐理由：作者实测给出同硬件下 megakernel 与 llama.cpp 的逐项速度对比和适用限制，可迁移到单卡本地推理的加速尝试。

  7. Reddit · r/LocalLLaMA60

    DigUp 开源 Mac 应用本地运行 EmbeddingGemma 2 实现多模态文件语义搜索

    作者 /u/A-Rahim 发布免费开源 Mac 应用 DigUp，本地运行 Google DeepMind 的 EmbeddingGemma 2，用一句描述搜索文件中的文本、图片、音频和视频内容。应用使用 ggml-org 的 Q8_0 GGUF 模型（865 MB）跑在 llama.cpp Metal 上，搜索只加载约 250 MB 文本编码器，停止输入约十分之一秒出结果，索引峰值低于 2 GB，支持孟加拉语和阿拉伯语搜索，MIT 协议，需 Apple Silicon 和 macOS 14+，仓库为 https://github.com/ARahim3/DigUp。

    推荐理由：作者开源了基于 EmbeddingGemma 2 的本地多模态文件搜索 Mac 应用，内存占用、延迟和隐私细节都写得具体，便于本地部署参考。