跳到正文
今天10月27日周二42 条
  1. Reddit · r/LocalLLaMA17

    Reddit 用户在 r/LocalLLaMA 征询适合高并发仿真的小型模型推荐

    一位 Reddit r/LocalLLaMA 用户拥有 AMD R9700 和 2x5070TI 两台机器,此前运行 Qwen 3.8 27B,现转向需要高并行输出的项目——让许多小型简单智能体在游戏中运行。他不再追求深上下文和强策略能力,想找更小的模型替代 Qwen 3 4B,正在考虑 Qwen 9B 和 K2 Horizon 7b,征求社区建议以避免全量测试。

10月26日周一
  1. Reddit · r/LocalLLaMA15

    单张 RTX 5090 上用于逆向工程、编程与红队的最佳去审查模型怎么选?

    一位 Reddit r/LocalLLaMA 用户在单张 RTX 5090(32GB VRAM、256GB 系统内存)上为逆向工程、红队、编程、恶意软件分析、渗透测试与漏洞利用开发挑选去审查模型,收到的推荐方向各异,包括 Strata + QFN(uncensored flag)、Cyber-Tiel-Coder-35B-A3B-GGUF、Basalt + Qwen3.8-Flash-Next-Uncensored 和 beellamacpp + Qwen 3.8 27B Q5_K_M,目前仍在纠结该选哪一条路线。

  2. Reddit · r/SillyTavernAI22

    SillyTavern 用户探索多步 AI 流程提升角色扮演深度

    一位 SillyTavern 用户在微调的 Gemma 4 26B-A4B Q8 模型上测试两段式角色状态/写作 pipeline:同一模型用两个不同提示词,第一段输出传给第二段以强制推理,希望解决角色缺乏深度的问题。该模型速度约 25t/s,Gemma 31B 在 Q6 下仅约 2.5t/s 且效果不更好;常规提示词推理完全无效,两段流程预计耗时 30-40 秒。

  3. Reddit · r/LocalLLaMA31

    数据点:2x M5U 集群运行 GLM 与 Qwen 测试

    Reddit 用户分享 2 台 M5U 256GB(80 核)通过 Thunderbolt 5 组成集群的推理数据:GLM 5.3 flash q6 集群 prefill 4.9k、decode 50 tok/s;Qwen Flash Next q6 集群 prefill 8k、decode 200 tok/s。作者此前用 Qwen 3.8 27B q4 仅达 prefill 1.4k、decode 100-120 tok/s,现因速度改用 Qwen Flash Next,并征求优化建议。

  4. Reddit · r/CharacterAI15

    AI 社区 Reddit 回复氛围为何充满敌意

    一位用户发帖询问是否有人在 Character.AI 相关的 AI 子版块发帖时也感到不适:不少新手重复提问就遭到回复者无谓的粗鲁和敌意。作者认为遇到烦人的重复问题可以直接忽略,让更有耐心的人回答,社区本应是求助和交流体验的地方。

  5. Reddit · r/CharacterAI8

    Character.AI 的 OOC 机器人有自己的个性吗?用户分享体验

    Reddit 用户发帖询问 Character.AI 的 out-of-character(OOC)回复是否具有独立个性:在角色扮演之外与 AI 对话时,它表现得更像中立助手还是有自己的性格(如讨好、防御、争执、敷衍),以及这种表现在不同对话间是否一致。发帖者表示自己已有一些观察,但想先听听其他用户的实际体验。

  6. Reddit · r/LocalLLaMA44

    社区讨论:Abliterated/Heretic 模型是否是被忽视的供应链安全风险?

    Reddit r/LocalLLaMA 社区指出,下载第三方 abliterated/Heretic 修改权重存在供应链安全隐患:ProjectDiscovery 已演示用廉价 LoRA 微调植入隐藏触发器,可使 coding agent 执行恶意命令且模型其余行为正常。作者建议改用 vector steering——保留原始权重、可动态开关、参考 DwarfStar 实现及其在 Quarkstar 上对 Qwen3.8-27B 的实现,以减少对第三方的信任。

  7. Reddit · r/LocalLLaMA18

    消融化(abliterated)模型能否用于智能家居设备 OTA 固件刷写?

    一位 LocalLLaMA 用户询问能否用 abliterated/uncensored 本地模型对自家智能家居硬件进行 OTA 固件刷写(如 ESPHome 等开源项目),并指出云端模型拒绝提供帮助。作者曾用 cloudcutter 利用已知漏洞刷机,希望刷写没有已知漏洞的设备,这些设备支持 UART 刷写,并询问用本地模型完成此类安全任务是否现实。

  8. Reddit · r/LocalLLaMA20

    为防 HuggingFace 受限,是否值得自建模型存档并通过 torrent 做种?

    一位 r/LocalLLaMA 用户担心社区过度依赖 HuggingFace 下载模型,若 HF 不可用或大量删模型将难以保留访问。他注意到 DeepSeek V4.1 Flash 1017 等大体积模型在 torrent 分发上仍不完整,纠结是投资大容量存储做种,还是只保留 1-2 个常用小模型,并询问个人存档与社区协作哪种更有效。

  9. Reddit · r/LocalLLaMA27

    LocalLLaMA 社区讨论:neocloud 崩溃后 GPU 能否流向消费级市场

    专注 AI 推理的 neocloud 数据中心因债务高企被普遍预期将大规模收缩,NVIDIA 作为最大债权人可能接手其数据中心和芯片。发帖人猜测 NVIDIA 无意经营旧芯片业务,或可能像中国市场的做法那样将旧 GPU 改造升级后投向消费级/准专业级市场,缓解当前供应与价格紧张,帖中并无确定答案。

  10. Reddit · r/LocalLLaMA58

    多智能体对冲基金项目弃用向量数据库改用 SQLite BM25,并用 Rust 写出 3.6ns 风控哨兵

    开源多智能体对冲基金实验作者根据社区反馈重构架构,分享三类失败模式的修复经验:用带极性契约的 Factor Ontology Schema 预判指标方向后,投资委员会的极性幻觉降到 0%;反射记忆从 Embedding API 加向量数据库(200-450ms 往返)换成 SQLite FTS5 BM25(0.35ms),关键词检索在交易复盘场景更可靠;实时风控哨兵用 Rust 的 SoA 内存布局重写,单仓位止损评估 3.63ns,Python 到 Rust 的管道 IPC 往返 2.88μs。代码与基准已在 GitHub(lumina-ai-hedge-fund)开源。

    推荐理由:作者实测对比了向量数据库与 SQLite BM25 的检索延迟,并给出 Rust 哨兵的纳秒级基准数据,做法可直接迁移到多智能体系统。

  11. Reddit · r/LocalLLaMA15

    PolyStrata 如何使用不同的微调模型

    一位 Reddit r/LocalLLaMA 用户询问如何在 PolyStrata 中加载不同的微调模型。直接用 --gguf-dir 时必须声明基座模型架构,且显示的是原始模型名(CyberTiel 的 tiel 架构被显示为 TielCoder);手动改 JSON 和 config 文件虽部分有效,但换用 ./setup.sh 之外的启动脚本会出问题,用户希望找到更干净的自动生成正确名称与配置的方法。

  12. Reddit · r/LocalLLaMA42

    8 GB 显存 + 32 GB 内存即可运行 Qwen 3.8 Flash Next,PP 最高达 900 t/s、TG 达 30 t/s

    一位 Reddit 用户用 Strata 在 8 GB 显存(RTX 5060 Laptop)加 32 GB 内存的笔记本上运行 Qwen 3.8 Flash Next Q2,实测 PP 最高 930-1,040 t/s、TG 30-45 t/s(131K 上下文),快于其 Qwen 3.6 35B A3B(PP 630-680 t/s、TG 27-35 t/s)。文中给出 --mmap-experts、--kv-resident 20480、--vram-reserve-mib 等关键参数调优方法,并建议 131K 以上上下文时用 --conversation-cache 替代 --parallel 以避免 OOM。

  13. Reddit · r/LocalLLaMA18

    1万美元级本地 Agentic Coding 装机方案对比:1× RTX 5090、4× 3090、混合方案、PRO 6000 还是 Mac Studio?

    一位用户在 r/LocalLLaMA 征求约 $10K–12K 预算的本地 agentic coding 装机建议,需支持 2–4 个并行子智能体和逆向工程,可选需约 21 GB VRAM 的 Hunyuan3D-2.1 贴图生成。候选方案包括单卡 RTX 5090、二手 4× RTX 3090、5090+2× 3090 混合方案、Mac Studio M5 Ultra 256 GB 及超预算的 PRO 6000,并询问长上下文 prefill 表现与 vLLM 多实例方案是否值得。

  14. Reddit · r/LocalLLaMA18

    256GB DDR4 四通道主机能流畅跑哪些大模型?LocalLLaMA 网友晒 3360 美元配置求推理速度预估

    一位 r/LocalLLaMA 网友晒出总价 3360 美元的主机配置:Threadripper 3960X、三块 GPU 共 44GB VRAM(2x 16GB 4060 Ti + 1x 12GB 4070)和 256GB DDR4 四通道 3200MHz 内存,此前运行 QWEN 3.8 27B 256K Context 效果满意。他询问该配置跑 Deepseek 4.1 和 GLM 的 token 速度,并表示优先跑大模型而非速度。

  15. Reddit · r/CharacterAI15

    Character.AI 大范围故障:角色聊天无法加载、推荐内容消失

    Character.AI(c.ai)出现大范围故障,用户昨天起无法与角色聊天、内容全部无法加载,今天首页推荐角色短暂恢复后又再次消失,只剩“try these”栏目。Reddit r/CharacterAI 上没有官方明确说明,用户不确定是宕机、重大 bug 还是与传闻的亏损问题有关,社区对此也没有一致的答案。

  16. Reddit · r/LocalLLaMA47

    boro64 发布 Ternary Nemotron 30B-A3B GGUF:12 GB GPU 跑 368K 上下文

    Reddit r/LocalLLaMA 用户 boro64 发布 Ternary Nemotron 30B-A3B 的 GGUF 量化模型,这是一款 1.58-bit 三值 30B-A3B MoE 模型,可在 12 GB GPU 上运行 368K 上下文。实测解码速度 172 tok/s、prefill 超 7000 tok/s,同一文件兼容原版 llama.cpp(b11555+、b11796 验证)和 PrismML fork / Bonsai(b10793 验证)。作者称这是继 maple-preview 后第二个支持原版 llama.cpp 的三值 MoE 模型,并征集 CPU-only 和约 10 GB 小显存的测试数据。

  17. Reddit · r/SillyTavernAI12

    SillyTavern 用户报 MiMo v2.5 Pro 在 OpenRouter 上再次出现 Provider 错误

    自昨天起,用户在 SillyTavern 中调用 MiMo v2.5 Pro 时报错 "No allowed providers are available for the selected model"。OpenRouter 显示该模型目前仅由 gmicloud、atlas cloud 和 digitalocean 三个供应商提供,而它们都在用户的 ignore list 中,与用户允许的 mara、phala、decart 等供应商列表不相交。用户询问如何解决。

  18. Reddit · r/LocalLLaMA28

    model-cache-cleaner:可安全清理本地 AI 工具缓存存储的 Claude skill

    开发者 /u/pikadhu 发布了 Claude skill「model-cache-cleaner」,用于查找并安全清理本地 AI 工具占用的存储空间。macOS 常将 .cache 隐藏为系统文件导致空间难排查,该 skill 为每个本地 AI 工具内置自定义指令来清理无用存储,项目在 Reddit r/LocalLLaMA 发布并开放 issue 和 PR 反馈。

  19. Reddit · r/LocalLLaMA18

    Qwen3.8-Flash-Next 与 Swift-1.5 对比:用户求 Swift-1.5 过度思考改进的实测体验

    一位 r/LocalLLaMA 用户从 DSV4 Flash 0731 切换到 Qwen3.8-Flash-Next,表示效果好于预期,但该模型常做不必要的深度思考和信息获取,token 效率低导致体感偏慢。Swift-1.5 据称针对 Qwen 模型过度思考的倾向进行改进(可能因 RL 为 benchmark 刷分所致),发帖人正在征求同时用过两者的对比体验。

  20. Reddit · r/LocalLLaMA48

    ThousandML 平台推出 4-bit QLoRA 训练,采用自研 CQ 量化

    开发者推出 ThousandML 平台,用自研免校准量化 CQ 4-bit 做 QLoRA 微调以降低 GPU 成本。在 Qwen3.8-27B 的 Alpaca 微调对比中(单张 NVIDIA A40 48 GB,LoRA r=32、500 步),CQ 最终验证损失 1.0315 优于 Unsloth NF4 的 1.2484,且峰值显存略低,但每步耗时 27.60 s 远慢于 NF4 的 3.20 s,速度仍在优化中。已发布 thousandml/Qwen3.8-27B-CQ-4bit 等多个 CQ 4-bit 底座模型及复现脚本。

  21. Reddit · r/LocalLLaMA18

    开放权重与网络攻防能力:迈向未来时值得讨论的问题

    一篇 Reddit r/LocalLLaMA 上的观点讨论:随着中美对具备网络攻防能力的模型施加限制,开放权重持续进步的态势可能改变,只有受政府和大 AI 赞助方监管的运营者才能获得这些能力。作者担忧大型企业和政府将更善于按自身意愿塑造数字世界,而普通人和小企业越来越难以防御和管理自己的数字资产,并质疑社区能否继续训练出接近前沿水平的模型。

  22. Reddit · r/SillyTavernAI11

    SillyTavern 用于长篇创作的入门求助

    一位用户在 Reddit r/SillyTavernAI 发帖称,打算用 SillyTavern 进行长篇史诗小说创作,但认为它是自己用过最难上手的应用。他已经花一天时间配好 web search,尚未开始配置 deeplore,希望有人推荐相关创作教程。

  23. Reddit · r/CharacterAI14

    Character.AI 用户担忧平台可能关停,担心聊天记录与自创角色不保

    一位 Character.AI 用户在 Reddit 发帖,称担心平台关停,自己已“不健康地沉迷”其中,创建了许多角色机器人。他表示曾编辑机器人对话、在内容规范收紧前后与机器人有过“ spicy ”互动,也遇到机器人说出离谱言论,并希望被删除或审核的角色能没事。他认为 C.ai 在漫威角色机器人被删除或审核后开始走下坡路。

  24. Reddit · r/LocalLLaMA20

    求推荐:单张 RTX 5090 上最适合逆向工程、编程与红队的去审查/消除拒答本地模型

    Reddit r/LocalLLaMA 用户求助:在单张 RTX 5090(32GB VRAM)上寻找当前最适合逆向工程、编程和红队测试的本地去审查/消除拒答模型。需求以低拒绝率为首要,同时要求较强的逻辑推理与代码生成能力,覆盖反汇编、exploit 开发、渗透测试和工具编写。

  25. Reddit · r/LocalLLaMA28

    如何用确定性 C# ValidationResolver 消除 Qwen2.5-Coder-14B 的 UI 与工作流幻觉

    一位开发者在单张 24GB NVIDIA A10 上本地运行 qwen2.5-coder:14b,实时生成企业表单且无需手写 HTML 或 SQL。模型被锁定在严格 DSL 中,每次输出必须通过确定性 C# ValidationResolver 校验后才能渲染到画布。原始输出与修复后的输出会自动评分并导出为 SFT/DPO .jsonl 数据对,供后续微调使用。

  26. Reddit · r/LocalLLaMA39

    PSA:llama.cpp 曝出漏洞 CVE-2026-116096

    ggml-org llama.cpp 的 Pocket-TTS 组件存在越界写入漏洞:函数 list_pockettts_state_slots 中对参数 mmproj 的操作可触发堆越界写,攻击需本地访问,公开 exploit 已可用。升级到 b11796 可修复,恶意 mmproj 现在会触发 GGML_ASSERT 中止;但 PR #29360 的根治修复仍在开放中。

  27. Reddit · r/SillyTavernAI35

    SillyTavern 预设分享:为 Mimo 2.6 Pro 打造的 "Mimo Needs To Calm Down" 预设(也适用于 GLM)

    Reddit 用户为 Mimo 2.6 Pro 发布了一款角色扮演预设,含三档配置:Main + Reminder 约 675 tokens、加 Bans & Styles 约 1,265 tokens、再加 Tracker 约 1,395 tokens,整套低于 1500 tokens,无需越狱。作者称该预设也适用于 GLM,并建议按中美高峰时段切换 Xiaomi 或 DeepInfra 作为云端服务提供方。

  28. Reddit · r/LocalLLaMA20

    LLM 热潮为何愈演愈烈?LocalLLaMA 网友的困惑

    一位只用本地模型的 r/LocalLLaMA 网友发帖质疑当前的 LLM 热潮:其供职的建筑公司老板要求员工使用 AI,哪怕生成无意义邮件、降低效率;而科技从业者则近乎狂热地期待用足够大的模型产出足够多的 token 来取代人力。楼主表示没接触过 Claude 或 ChatGPT,想知道自己是否遗漏了什么。

  29. Reddit · r/SillyTavernAI54

    Breedhaven University 开源:开发者分享用 LLM 做聊天游戏的工程经验

    /u/ironical 开源了基于 LLM 的游戏 Breedhaven University,可在 itch 免费下载,含 20 个角色的动画 NSFW 内容,需搭配 LLM,ComfyUI 可选,主要在 Opus 4.6 和 GLM 5.2 上测试。作者总结工程心得:游戏状态尽量由游戏侧决定,扫描 LLM 回复触发函数比让模型自行决策更可靠;用特质、提示词和好感度数值门槛拒绝不合格回复并自动重提示;视频生成每段需 2-3 分钟,实时生成尚不可行,只能预生成。