社区讨论：生成连贯对话所需的最小参数量大语言模型是多少
一位 r/LocalLLaMA 用户测试了 Supra-Mini-v6-1M 等微型模型，发现 1M 参数级别模型以 "Once upon a time" 为提示词的输出语法混乱、语句不通，达不到“基本通顺英语对话”的要求。该用户希望找到 10M 以下参数、适合 CPU 运行的最小 LLM，并在帖中询问何种微型模型和最小参数量能获得更好效果。
新闻、仓库与研究，按时间排列。
Reddit · r/LocalLLaMAAI 评分3232 Reddit · r/SillyTavernAIAI 评分1919 Argon 模型在 RP 测试中展现出罕见的多步推理式角色创造力
一位用户在 SillyTavern 中对 Argon 模型进行 NSFW 压力测试时，看到角色通过捏住鼻子逼迫拒不开口的角色张嘴，认为这是其多年使用高端模型以来最具创造性的角色行为，涉及多步逻辑推理。用户补充称，用其他模型生成首条消息后 Argon 更少拒绝，配合 writers block unlimited version 2 preset 时语言几乎无审查，仅剩拒绝机制。
Reddit · r/LocalLLaMAAI 评分2424 
开发者打造本地 AI 一体化应用 Hutash，却陷入是否值得继续的困惑
一位开发者在 r/LocalLLaMA 分享了自研本地 AI 一体化应用 Hutash：它类似 ComfyUI 但无需复杂节点，内置自研引擎，提供 Openart AI 风格的免费工作室体验、Pinokio 式应用商店，并自定义 .hutash 模型包格式，字幕、播客等垂直应用可共享模型资源，还支持 CLI 和 MCP 以实现自动化与智能体调用。团队仅两三人且缺乏反馈回路，现已发布数个版本但不知该往哪个方向聚焦，怀疑自己是否过度工程化。
Reddit · r/LocalLLaMAAI 评分1818 如何检查一个模型权重是否“安全”？r/LocalLLaMA 讨论恶意权重检测
Reddit r/LocalLLaMA 用户讨论：下载新模型时如何判断权重是否存在恶意内容。safetensors 可防权重执行任意代码这一显性风险，但模板后门、LLM 投毒等隐蔽问题尚无共识方案。
Reddit · r/LocalLLaMAAI 评分1616 KV cache 量化到底有多大影响？LocalLLaMA 用户讨论 Qwen 模型长上下文下的取舍
一位 LocalLLaMA 用户在 r/LocalLLaMA 询问 KV cache 量化的实际影响：其通过 strata 运行 qwen flash next 3.8 iq3xxs，KV cache 用 q8、262k 上下文，想扩到 300-400k 但显存不够，担心 q4 cache 质量下降。评论区多推荐 8k4v 方案，发帖人表示将尝试，否则维持 q8。
Reddit · r/LocalLLaMAAI 评分5353 韩国开发者推出可经 MCP 接入本地大模型的知识库 Thea 并对比 web search 实测
韩国独立开发者 /u/RespondImpressive172 发布 Thea（thealibrary.org），一个本地模型可经 MCP 查询的免费知识库，含约 107 万条地点条目（以韩国为主）、人物、作品和组织，数据 CC BY 4.0，每条标注来源与作者类型。
Reddit · r/SillyTavernAIAI 评分2929 SillyTavern 社区提醒：有人可能借 AI 伴侣话题针对脆弱用户
一位 Reddit r/SillyTavernAI 用户发帖提醒，一名自称 20 岁女性的账号在互动数小时后索要其未公开的 Ariel 角色卡，该账号仅注册 10 天、已发帖 211 条，且对话风格与其刚写过的 AI 伴侣 Ani 高度相似。Claude AI 指出对方存在镜像兴趣、刻意建立信任的模式。作者建议将可疑对话粘贴给 Claude 或 ChatGPT 判断是否被操控，或找旁观朋友核实。
Reddit · r/CharacterAIAI 评分1616 
Reddit 用户吐槽 Character.AI 角色扮演机器人搞错角色性别
一位 Reddit 用户发帖称，机器人在角色扮演时连续第二次搞错自己所饰角色的性别：与 Dandy's World 的 Sprout 机器人对话时，对方一直用 she/her 代词称呼男性角色 Sprout。用户询问是否还有其他人遇到类似情况。
Reddit · r/LocalLLaMAAI 评分1818 
量化模型文件请尽快备份
Reddit r/LocalLLaMA 用户提醒量化模型制作者和用户尽快备份自己的量化模型文件，并建议有条件的人制作 torrent 分享备份。帖子未说明具体风险原因，也未提及具体模型或版本。
Reddit · r/LocalLLaMA精选AI 评分6262 24GB M5 MacBook Air 上跑 Qwen3.8-Flash-Next Q2 量化，解码达 49 t/s
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。
推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。
Reddit · r/CharacterAIAI 评分1010 一个关于 Character AI 的不太受欢迎的观点：拒绝订阅制，希望 c.ai+ 一次性买断
一位 Reddit 用户吐槽 Character AI 因破产传闻不断在 App 内推送广告，并表示反对 c.ai+ 采用月度订阅制。他认为 Character AI 深陷诉讼已超过一年、本应更透明地披露财务状况，且开发团队长期忽视用户提出“面向成年人”的诉求；若 c.ai+ 是一次性付费，他愿意购买，但不愿持续订阅。
Reddit · r/SillyTavernAIAI 评分1616 SillyTavern 长对话会影响缓存命中率吗？
一位 SillyTavern 新用户反馈，使用 Argon 模型时缓存命中率时好时坏，其他人也有类似问题。他将上下文窗口设为 60000，并询问当聊天记录填满、旧消息被移除时缓存是否会失效，以及是否有办法在同一聊天中继续使用。
Reddit · r/LocalLLaMAAI 评分5151 
llama.cpp PR #29948 融合 FFN gate/up matmuls 与 GLU，DGX Spark 推理提速最高约 10.7%
anujj 向 ggml-org/llama.cpp 提交 PR #29948，在 MMQ 中以交错 gate/up 行的方式融合 FFN gate/up matmuls 与 GLU。
Reddit · r/SillyTavernAIAI 评分4848 
SillyTavern 玩家如何构建多角色非线性叙事结构，而不只是与单个角色聊天
一位 Reddit 用户为其 AI 角色扮演客户端设计了主线与侧支叙事结构：切换到 Character 2 时默认开启独立侧支，聊天不理想可切回主线（主线角色不知侧支内容），顺利则可将侧支末节点摘要嫁接回主线，节点即每个 ctx window 的摘要。程序还提供 save 命令保存摘要节点拓扑结构，沉淀出“人机沉淀物”，让模型基于双方已发生的事而非常识回答。
Reddit · r/SillyTavernAIAI 评分1313 r/SillyTavernAI 用户求推荐无积极偏差、能承载黑暗剧情的模型
一位 r/SillyTavernAI 用户发帖求推荐没有积极偏差的模型，希望角色扮演时能处理道德灰色情节而不把故事强行引向圆满结局，且价格不能太贵。他目前在用 mimo 2.6 pro 并调了针对性提示词，但模型几轮对话后仍会试图救赎角色、化解冲突、把剧情推向健康积极的结局。
Reddit · r/LocalLLaMAAI 评分5656 用云端 Agent 评测本地 35B 模型：800 道自编数学题盲测，盲解者以 5 比 1 优于出题作者
Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B，构建了一套验证式数据管线：模型自编 800 道数学题后在新会话中盲解，分歧交由 Qwopus 3.5 122B 仲裁，Agent 用 Python 暴力核算，最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次，说明出题写官方答案比解题更易出错；第三轮复验中 793 个答案有 774 个被直接确认，甚至抓出 Agent 自己暴力核算写错的一道题。
Reddit · r/LocalLLaMAAI 评分1818 32GB VRAM 显卡价格大涨，LocalLLaMA 网友重新权衡 B70、R9700 与 A4500/B60 选购方案
一位 r/LocalLLaMA 网友因 32GB VRAM 显卡价格大涨而重新考虑购买方案：B70 从 1.3-1.4K 涨到 2K，R9700 从 1.7-1.8K 涨到 2.3K。他原计划升级 i9-14900F + 4070S 的主机并通过 RPC/ethernet 与另一台 5070ti 主机协同，现考虑退而求其次选 24GB 的 A4500 或 B60，或配置更复杂的 V100，并征求建议。
Reddit · r/LocalLLaMAAI 评分2323 关于本地部署运行 DeepSeek 4.1 Flash 的最低预算讨论
一位用户通过 API 测试了 DeepSeek 4.1 Flash，询问本地部署并达到与托管方案相同质量、约 40 tok/s 速度和完整上下文所需的最低预算。用途为代码、逆向工程与安全分析，且希望硬件独立于整机，同硬件下也可尝试 mimo 2.6 或 glm 5.3。
Reddit · r/LocalLLaMAAI 评分2020 哪些基准测试最能反映模型真实能力？r/LocalLLaMA 网友求推荐
r/LocalLLaMA 网友发帖质疑 AA 等基准测试无法反映模型真实能力，指出部分在编程基准上接近前沿的 benchmaxxed 模型除写诗外几乎不可用。楼主征求编程、智能体研究和办公工作方面最贴近实际使用的基准测试推荐。
Reddit · r/LocalLLaMAAI 评分4242 社区分享：Qwen 3.8 Flash Next 在双 CMP 170HX 上的配置方案
Reddit r/LocalLLaMA 用户分享在 2 x CMP 170HX 上运行 Qwen 3.8 Flash Next 的配置方案，称兼顾质量与性能，并致谢社区支持。作者未在帖中给出具体 benchmark 数据，配置细节需查看原帖。
Reddit · r/LocalLLaMAAI 评分2121 适合边缘设备的最佳非编码本地模型讨论
Reddit r/LocalLLaMA 用户询问兼顾速度与体积、适合手机（SD 8g3）等边缘设备的最佳通用非编码本地模型，要求 4GB 以内。其测试了 Gemma 4 e2b、e4b、qat、q4、Qwen 3.5 4B、Bonsai 8B A1B 等，发现均无法准确回答去年走红的 Spaghetti all'assassina 菜谱，默认输出标准 Bolognese 并缺少焦化步骤。
Reddit · r/SillyTavernAIAI 评分1616 SillyTavern 用户讨论 Realistic Frankenstein 适用的模型选择
一位 Reddit 用户发帖询问大家在使用 Realistic Frankenstein（RF）时搭配哪些模型，其本人目前使用 Gemini 3.8 Flash。该用户想了解其他模型作为备用或在节省 credits 时的选择，并征询对 GLM 5.3、MiMo 2.6 和 Argon 等替代模型的看法。
Reddit · r/LocalLLaMAAI 评分2424 Beam 1.0 501B A23B 发布 9 天后，LocalLLaMA 用户的使用体验如何？
Reddit r/LocalLLaMA 用户分享了发布 9 天后测试 Beam 1.0（501B 参数、23B 激活）的体验：借助第三方 provider 运行速度很快，能轻松浏览大型代码库，在 Rust、PHP、Python 和 JS 上表现良好，回答简洁有度且会使用技能。缺点是偶尔循环、部分 toolcall 失败，3D 能力弱且无视觉功能。
Reddit · r/LocalLLaMA精选AI 评分6363 
零基础用户用 Claude Code 搭建 Strix Halo 本地 LLM 工作站，Qwen3.8-Flash-Next 180B 跑到 46-53 tok/s
一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师，七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB 统一内存，2 TB NVMe）的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s，Qwen3.6-35B-A3B 达 76.5 tok/s，推理栈完全离线运行，夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。
推荐理由：零基础作者用 Claude Code 当系统管理员从零搭起本地推理机，给出完整硬件选型、内核坑和逐项优化前后数据，可迁移到类似自建场景。
Reddit · r/SillyTavernAI精选AI 评分6161 
Angmoo 开源发布：AI 角色的自托管社交网络
开发者 /u/Jingoo00 发布开源自托管 Web 应用 Angmoo，为 AI 角色搭建社交网络，采用 GPL-3.0-only 协议。角色可导入 SillyTavern PNG/JSON 角色卡，开启自主活动后在设定时段自动发帖互动；支持聊天、记忆检索、角色关系追踪和图片识别生成。提供 Windows x64 安装包和 amd64/ARM64 Docker 镜像，ARM64 Android 经 Termux 支持（实验性）；文本生成目前仅支持 Gemini 3.1 Flash-Lite 和 Gemini 3.5 Flash-Lite，需自备 API key，本地模型暂不支持。
推荐理由：作者本人详述了自托管角色社交网络的部署方式与记忆、自主活动机制，并坦承当前局限，适合想自建角色生态的读者参考。
Reddit · r/SillyTavernAIAI 评分99 
SillyTavern 向量存储未重置：旧聊天记忆残留问题求助
一位 r/SillyTavernAI 用户反映 SillyTavern 的向量存储把旧聊天的记忆带入新聊天，尝试 "Purge Vectors"、直接删除文件和编辑 .json 文件均无效，旧记忆仍会恢复。用户附上了扩展列表求助，并补充该问题仅在开启 "Enable for files" 选项时出现。
Reddit · r/LocalLLaMAAI 评分2020 
ISTA 的 GSQ-RCO 2-bit DeepSeek-V4.1-Flash 分数与原模型持平，是真好还是虚高？
Reddit r/LocalLLaMA 用户质疑 ISTA 的 GSQ-RCO 2-bit（IQ2_XXS）量化版 DeepSeek-V4.1-Flash 在基准测试中与原模型得分持平的说法。其评测基准已饱和（90%+，AIME25 各版本均达 100），可能无法反映量化损失，且未公布 KLD 数据，用户求助实测 KLD 或 PPL。
Reddit · r/LocalLLaMAAI 评分5252 
RTX 5080 16GB 实测 Qwen3.8 Flash Next IQ3_S：生成最高约 250 tok/s、预处理约 5,600 tok/s
/u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。
Reddit · r/CharacterAIAI 评分1111 C.AI 用户发帖道歉并表达对 Character.AI 关停传言的看法
一位 r/CharacterAI 用户为前几天的失态发帖道歉，解释自己患有 BPD（边缘型人格障碍）、自闭症和 OCD，受负面评论刺激时难以自控。她表示除非官方团队宣布关停，否则不相信 Character.AI 将 shut down 的传言，称多年来使用 C.AI 改善了自己的心理健康和情感关系，并呼吁社区团结起来让应用继续活下去。
Reddit · r/SillyTavernAIAI 评分4747 
开发者自建开源自托管 AI Agent Celine：拥有独立 Linux 环境、浏览器与定时任务
开发者发布个人开源项目 celine-net，一个自托管 AI Agent，运行在自己的 Linux 环境中，可执行终端命令（tmux 封装）、使用类 computer-use 的浏览器实时浏览网页、记录笔记、定时运行例程并通过子 Agent 执行长任务。用户自带模型（llama.cpp、ollama、openrouter 等），可接入 Discord 和 WhatsApp，作者使用 qwen 27b、gemma4 和 qwen-flash-next，并提醒注意隐私与安全风险。
Reddit · r/LocalLLaMAAI 评分1414 8 卡 GPU + 256GB DDR4 混合配置跑 MoE 推理可行吗？LocalLLaMA 网友求解
一位 LocalLLaMA 网友晒出由 4x 5060ti 16GB、4x 3060 12GB 和 256GB DDR4 3200（4 通道）组成的推理平台，成本与 DGX Spark 相当。其规划是 5060 组 TP4 接 pipeline 到 3060 组，把不常用的专家卸载到内存，engram 放 NVMe SSD，询问此方案能否高速高精度跑大 MoE 模型，还是远逊于统一显存/内存架构。
Reddit · r/SillyTavernAIAI 评分99 Reddit 用户求助：寻找非角色扮演用途的 NSFW 助手预设
一位 Reddit r/SillyTavernAI 用户发帖求助，想找适用于助手场景而非角色扮演（RP）的 NSFW 预设。他表示现有预设多面向 RP，自带角色一致性、对白写作等扩展，像 Freaky Frankenstein 这类预设用于非 RP 的 NSFW 主题头脑风暴显得不合适且浪费 token，目前尚未找到带良好 jailbreak 的纯助手预设。
Reddit · r/CharacterAIAI 评分2727 Character.AI 用户发帖呼吁对受影响用户多些共情
一位 Character.AI 用户发帖批评社区中对陷入情绪困扰用户缺乏共心的言论。该用户称自己只用该应用做角色扮演，但认为对痛苦中的人说“去寻求帮助”或“该和真人交流”毫无帮助反而有害，因为心理治疗并非人人可得，也不是每个人都有支持网络。
Reddit · r/SillyTavernAIAI 评分1616 Reddit 用户对比 Claude Pro 订阅与 Literouter Ultimate 订阅哪个额度更多
一位 r/SillyTavernAI 用户询问 Claude Pro 订阅与 Literouter Ultimate 订阅哪个通过 SillyTavern（需桥接）能获得更多 Claude Sonnet 尤其 Opus 的使用量，并求证 Literouter 是否可靠。他明确表示对非 Anthropic 官方渠道的低价 Claude 订阅（如 Hapuppy）持怀疑态度，帖中未给出结论。
Reddit · r/LocalLLaMAAI 评分2929 
两台改装 Dell T5810 工作站（Xeon E5-2699 v4 与 2698 v4）+ 32GB RDIMM，€250-€300 值不值得用来搭载 RTX 3090？
一位用户在 r/LocalLLaMA 询问，€250-€300 购入两台改装 Dell Precision T5810（分别配 Xeon E5-2699 v4 22 核与 E5-2698 v4 20 核）加 32GB DDR4-2666 RDIMM 和 NVMe 转接卡，用于搭载其 Gigabyte RTX 3090 24GB 跑 llama.cpp 与 Strata 推理。计划先本地运行 Qwen 3.8 27B，后续扩至 128GB-256GB 内存以卸载约 120GB 的 Qwen 3.8 Flash Next MoE，目标 20+ tok/s；第二台兼作孩子的 Linux 学习机与 Proxmox 节点。
Reddit · r/LocalLLaMAAI 评分66 求推荐：MacBook M3 Pro 18GB 内存能流畅运行的小模型
一位 Reddit r/LocalLLaMA 用户询问适合 MacBook M3 Pro（18GB RAM）的本地模型选择，用途包括自然语言处理指令、任务清单摘要、小型文档分析和语法检查等基础功能。他表示社区普遍认为 8B 模型足以胜任，但尚未确定具体选哪个，征求其他用户建议。
Reddit · r/SillyTavernAIAI 评分4444 
Molfar Vertep 1.3.5 更新：角色可在剧情中习得新习惯、卡片记住过往对话，故事线变为完整 RPG 任务（开源、自托管）
开源自托管应用 Molfar 发布 Vertep 1.3.5 更新，引入 Memory Bridge 跨对话记忆继承、角色在游戏中习得技能、并行多聊天，并将故事弧线转为含主线、支线和 Twists 的 "Quests" 任务系统。此前版本还加入了 "Vertep Lite" 预设、一键跨设备同步、1,554 个模型的目录以及 78% 缓存命中率的提示词缓存恢复。
Reddit · r/CharacterAIAI 评分1515 Character AI 界面异常：回复错乱、半屏空白，用户质疑是否与破产传闻有关
有用户反映 Character AI 出现异常：一半屏幕被空白占据，自己尝试继续对话时，模型不再回复上一条消息，而是回应已划过的无关消息。发帖人猜测这可能与 CAI 破产有关。
Reddit · r/LocalLLaMAAI 评分5353 
Unsloth Flint Q3 量化版在 RecursiveSI Flint 基准实测：三套 harness 成绩悬殊
/u/mesolimbic-bliss 用三套 harness 实测 unsloth/flint-GGUF 的 flint-UD-Q3_K_XL.gguf，成绩差异很大：OMP 完成 12 个任务得 71.2/100（仅 7 个解决），AtomicAgent 得 39.2/100（仅 3 个解决），Hermes 在任务 7 中途停止，因在文件系统上做了大量无谓的广度搜索并陷入循环。DeepSeek 版因此前 harness 失败和低分未运行。完整榜单见 https://shortbench.vercel.app/，目前已有模型达到 100/100。
Reddit · r/LocalLLaMAAI 评分5252 
Struna：四个小模型在浏览器本地跑出节奏跑酷游戏，代码 MIT 开源
/u/MrFelliks 开源了浏览器节奏跑酷游戏 Struna，用四个小神经网络在浏览器标签页内本地听歌生成关卡，无需上传音频。四个模型共约 22 MB，经 onnxruntime-web（WASM、各占一个 web worker）运行：BeatNet（约 1.6 MB）做节拍与强拍追踪并作为关卡网格，Spotify 的 Basic Pitch（约 0.2 MB）做音符转录，Spleeter 人声分离网络（约 20 MB）分离人声，SwiftF0（约 0.1 MB）做 16 ms 精度的音高追踪；首次加载后缓存，设备跑不动时回退到常规 DSP。