跳到正文
10月26日周一
  1. Reddit · r/LocalLLaMA22

    如何用 QLoRA 微调 Qwen3.5-9B 处理约 500 GB 多格式原始数据:一位本地部署用户的求助

    一位 Reddit r/LocalLLaMA 用户用 8x T4 服务器部署 Qwen 3.5-9B Q5_K_XL,实现 87k 上下文、44 个 slot、单用户 35-40 tps,现想用 QLoRA 微调约 500 GB 的图像、扫描件、PDF、Word/Excel 数据。他持有 Mi50、V620、3060 等多块显卡但多台主板存在启动兼容问题,纠结于 3060 组合还是单价约 700 美元的单卡 R9700,并询问 unsloth 是否支持 Intel GPU。

  2. Reddit · r/SillyTavernAI18

    大家在做什么模型来做更长更复杂的 RP?——Reddit r/SillyTavernAI 用户吐槽 GLM 5.2 表现变差

    一位 Reddit r/SillyTavernAI 用户发帖询问大家用什么模型做长篇、复杂角色扮演(RP),称今年早些时候用 GLM 5.2 体验很好,但现在它常在推理中反复纠结、耗尽 token 且频繁出错。该用户使用包含三名心理设定复杂角色的中世纪奇幻剧本,并怀疑现用服务商与此前用的 Chutes 提供的 GLM 可能不同。

  3. Reddit · r/LocalLLaMA22

    CrowdGPT:一个协作训练的大语言模型项目

    开发者推出 CrowdGPT 项目,目标是在不建数据中心、不投入数百万美元的情况下,协作训练一个 10 亿参数的模型。参与者可用自己的 PC 独立训练并将贡献汇入全局模型,项目开源且 100% 公开训练数据和权重。当前模型规模仅作概念验证,作者正在征集反馈以降低参与门槛。

  4. Reddit · r/SillyTavernAI22

    SillyTavern 新手求推荐:有"灵魂"和情感深度、且无审查 NSFW 的模型(PC + iPhone 方案)

    一位 SillyTavern 新用户在 PC 上完成部署,并通过 OpenRouter 在 iPhone 上远程使用,寻求兼具 Gemini 式情感深度与完全无审查 NSFW 的角色扮演模型。他测试的 DeepSeek V3 过滤过严,Magnum v4 72B 无审查但回复机械、缺乏情感温度,此前 Gemini 应用靠 BLOCK_NONE 安全设置绕过过滤,更新后仍屏蔽最后 1% 的露骨内容,故询问模型推荐、价格与 ST 预设。

  5. Reddit · r/SillyTavernAI8

    Reddit 用户征集 5GB 以下小型角色扮演模型推荐

    一位 Reddit 用户在 r/SillyTavernAI 询问 5GB 以下小型模型在角色扮演(RP)方面的推荐。他桌面端已确定使用一个较大的 MoE 模型,副机则仅用 CPU 跑小模型做工具调用等任务,想知道是否有调优良好的微型 RP 模型表现出色,并向社区征集当前心头好。

  6. Reddit · r/LocalLLaMA61

    RTX PRO 4000 Blackwell SFF 120W 超频实测:Qwen3.8 27B 生成提速 67%

    /u/iam31337 在 RTX PRO 4000 Blackwell SFF(24 GB,工厂 70 W 无辅助供电)上用修改版 VBIOS 将功率提至 120 W,Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s(+67%),Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次,两模型量化与投机解码设置不同,非严格受控对比;作者提醒 120 W 超出 PCIe 75 W 槽位预算,属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark

    推荐理由:作者实测同一款卡上两个模型的功耗超频收益差异,给出具体功率与频率参数,并坦承样本量与量化设置的局限。

  7. Reddit · r/LocalLLaMA70

    Strata 调参实战:RTX 4090 跑 Qwen3.8-Flash-Next IQ3_S 达 2076 PP 与 95-105 tok/s 解码

    作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参,附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%;同时给出负面结果,--expert-cache 按 MiB 而非槽位设置(填满显存时 −72%)、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。

    推荐理由:作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位,附完整可用配置。

  8. Reddit · r/SillyTavernAI17

    如何在 SillyTavern 中搭建哈利·波特全程时间线角色扮演的记忆管理

    一位新手玩家正在用 SillyTavern 进行哈利· Potter 全时间线逐日角色扮演,将霍格沃茨故事时间线和角色卡整理成 txt 文件导入,以减少 token 和成本。角色扮演已进行约一周,作者把时间线当作记忆保存情节、课程与角色关系,并希望进一步了解 export deck、扫描故事 lore 及扩展插件等更好的记忆管理方法。

  9. Reddit · r/LocalLLaMA22

    Strata 与 DeepSeek Flash-V4.1-1017 IQ2_XS 在四张 R9700 上的运行测试

    用户在 Epyc 7402P、256GB DDR4 ECC 3200 八通道内存平台上测试了四张 R9700 运行 Strata 和 DeepSeek Flash-V4.1-1017 IQ2_XS,发现受 R9700 内存带宽偏慢影响 prefill 环节最耗时,且系统内存占用偏低。Radiance 曾将 Flash Next 在 R9700 上的 prefill 和 tok/s 性能提升 3-4x,Niko 表示该优化将很快进入 Strata。

  10. Reddit · r/LocalLLaMA16

    Swift 1.5 Qwen Flash Next IQ3XXS(GSQ RCO)Abliterated 版能否只下载变化的权重?

    一位 r/LocalLLaMA 用户在运行 Swift 1.5 Qwen Flash Next 的 GSQ RCO IQ3XXS 量化版本,但因模型偶尔拒答,想再准备一个 Abliterated 版本,仅在少数场景下使用。由于存储空间只剩不到 1TB,他询问能否只下载两个版本之间变化的权重并合并,避免完整双份下载。

  11. Reddit · r/LocalLLaMA46

    Strata v0.1.45 分支针对 64GB Jetson AGX Orin 优化,Qwen3.6-35B-A3B 解码速度提升

    Reddit 用户发布针对 Jetson AGX Orin 64GB 优化的 Strata v0.1.45 分支,主要运行 Qwen3.6-35B-A3B。在 llama.cpp 中启用采样 MTP-2 后,短提示测试解码速度达到约 40-41 tok/s,高于 MTP-3 时的约 21 tok/s 和早期 Strata 的约 30 tok/s。该分支还包含统一 INT8 KV cache、prefix checkpoints 和可选 KV 预分配,作者称结果来自自用环境并寻求反馈。

  12. Reddit · r/LocalLLaMA69

    Vocs 开源:基于 whisper.cpp 在 macOS 上实现完全本地语音听写

    开发者发布 Vocs,一款在 macOS 上用 whisper.cpp(large-v3-turbo)完全本地运行 Whisper 的听写应用,可将文本粘贴到任意应用。音频按静音边界分块边说边解码,短片段按实际长度开窗解码约提速 8 倍;还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理(标点、大小写、口语命令、自定义词典)及约 120 MB 本地语法模型。转写路径无网络请求,macOS 13+,MIT 协议,基于 Tauri 和 Rust,源码在 GitHub。

    推荐理由:开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节,本地语音听写方案有可参考的工程做法。

  13. Reddit · r/SillyTavernAI12

    SillyTavern 新手求助:16GB 内存 + RTX 3060 12GB 能跑哪些免费本地模型

    一位刚接触 SillyTavern 的新手发帖求指导:不想付费订阅 AI,想知道有没有免费 API 模型可接入 SillyTavern,以及自己的配置(RAM 16GB、RTX 3060 12GB、i5-12400F)能跑什么本地模型。他还担心运行本地 AI 会损耗电脑,希望有经验的用户分享免费模型的搭建经验。

  14. Reddit · r/LocalLLaMA22

    LocalLLaMA 用户寻找可检测间接提示注入的小型本地分类器(支持英德语)

    一位 Reddit r/LocalLLaMA 用户在构建本地 agent 系统(主 LLM 运行于 24 GB GPU),希望找一个在 agent 处理工具结果前快速筛查间接提示注入的分类器,支持英文和德文(含混合语言与 OCR 噪声文本),要求单条检测远低于 1 秒、可开源、阈值可调、误报低。其已尝试 Prompt Guard 2 86M、PIGuard 和 StackOne Defender,但尚无模型被验证对德语有效,正在征集模型推荐、微调数据集与防御 adaptive attack 的经验。

  15. Reddit · r/LocalLLaMA73

    RTX 3080 20GB 解锁 reBAR 与 P2P,实测 prompt 处理速度提升 70% 以上

    /u/nathannguyennng 解锁了 RTX 3080 20GB 的 reBAR 与 P2P,/u/No-Refrigerator-1672 在双卡张量并行下用 vllm 0.32.0 实测验证。8k 到 261900 token 长度的 prompt 预填充速度较原厂提升 71%-115%,其中 P2P 相对仅 gpu_unlock 另有最多约 70% 提升;开启 MTP 后 decode 速度基本在噪声范围内无明显变化。作者提示 3080 用户在长 prompt 场景(含 agentic coding)可关注该解锁,且需双卡均有完整 PCIe 连接才能获得同等收益。

    推荐理由:作者实测了 reBAR 与 P2P 解锁在双 RTX 308 20GB 张量并行下的 TTFT 与 ITL 数据,可看清该解锁对长上下文预填充的实际收益边界。

  16. Reddit · r/CharacterAI22

    Character.AI 用户求助:如何让别人的 bot 更好理解自己的世界观设定

    一位 Character.AI 用户发帖求助:由于不能给别人的 bot 使用 lorebook,只能把世界观信息塞进 persona 描述,但效果时好时坏。同一写法下,spider persona 的设定(人类与兽人平等共存)能被 bot 稳定应用,而 robot persona 的设定却被忽略,bot 从不提及其他机器人或充电等特殊需求。用户询问是否有 bot 更易理解的世界观描述措辞。

  17. Reddit · r/SillyTavernAI21

    哪个开源项目拥有最适合 AI 伴侣的记忆系统?

    一位用户在 r/SillyTavernAI 社区征求建议,寻找记忆系统最出色的开源 AI 伴侣项目。他列举了 SillyTavern、Project N.E.K.O.、Open-LLM-VTuber、Neural Companion、Ackem、AIRI、Utsuwa、MiniCPM-Desk-Pet 等候选,指出免费角色扮演应用常出现刚说过的话下一条消息就忘记的问题,并希望有经验的用户分享实际使用体验。

  18. Reddit · r/LocalLLaMA36

    Reddit 用户 OpenJev 竞技场:让 LLM 互相格斗还可发送心理攻击提示词

    Reddit r/LocalLLaMA 用户发布了一个让 LLM 对战的竞技场:每个模型作为格斗者读取游戏状态,在 move、block、punch、kick、fireball 中选择动作,并支持“心理攻击”——向对手的下一次提示词注入消息,尝试诱导对手误判,但不改变实际游戏状态。平台提供战斗回放与决策记录,每份配置有独立 rating 记在昵称下,注册赠 1 美元,可玩 100 场以上。

  19. Reddit · r/LocalLLaMA32

    本地部署的 Qwen 3.8 27B 自选项目一次生成成功,Reddit 网友提出改进意见

    一位用户让本地运行的 Qwen 3.8 27B(在一台二手游戏 PC 上)自选项目并一次生成完成,模型成功产出了北美 IQ 热力图的交互式网站。作者将截图发到 Reddit 后,网友指出方法不够严谨、配色过时、五大湖轮廓缺失等问题。作者强调重点是本地模型能一次性完成整个项目。

  20. Reddit · r/SillyTavernAI28

    Argon 模型在角色扮演中的设定集(lore)管理获用户好评

    一位 SillyTavern 用户分享了 Argon 模型管理复杂高奇幻世界观设定的体验:约 80 条 lorebook,涵盖货币、地理、历史、虚构语言、历法和魔法系统,Argon 是首个能保持这些细节连贯性的模型,配合 Megumin suite v10 使用,表现连 Claude 等 SOTA 模型都未能达到,只是它总爱把所有人叫成"Vance"。

10月25日周日
  1. Reddit · r/LocalLLaMA32

    社区讨论:生成连贯对话所需的最小参数量大语言模型是多少

    一位 r/LocalLLaMA 用户测试了 Supra-Mini-v6-1M 等微型模型,发现 1M 参数级别模型以 "Once upon a time" 为提示词的输出语法混乱、语句不通,达不到“基本通顺英语对话”的要求。该用户希望找到 10M 以下参数、适合 CPU 运行的最小 LLM,并在帖中询问何种微型模型和最小参数量能获得更好效果。

  2. Reddit · r/SillyTavernAI19

    Argon 模型在 RP 测试中展现出罕见的多步推理式角色创造力

    一位用户在 SillyTavern 中对 Argon 模型进行 NSFW 压力测试时,看到角色通过捏住鼻子逼迫拒不开口的角色张嘴,认为这是其多年使用高端模型以来最具创造性的角色行为,涉及多步逻辑推理。用户补充称,用其他模型生成首条消息后 Argon 更少拒绝,配合 writers block unlimited version 2 preset 时语言几乎无审查,仅剩拒绝机制。

  3. Reddit · r/LocalLLaMA24

    开发者打造本地 AI 一体化应用 Hutash,却陷入是否值得继续的困惑

    一位开发者在 r/LocalLLaMA 分享了自研本地 AI 一体化应用 Hutash:它类似 ComfyUI 但无需复杂节点,内置自研引擎,提供 Openart AI 风格的免费工作室体验、Pinokio 式应用商店,并自定义 .hutash 模型包格式,字幕、播客等垂直应用可共享模型资源,还支持 CLI 和 MCP 以实现自动化与智能体调用。团队仅两三人且缺乏反馈回路,现已发布数个版本但不知该往哪个方向聚焦,怀疑自己是否过度工程化。