SillyTavern 新手求助:nanogpt 上哪家 provider 跑 DeepSeek v3.2 最好?
一位 SillyTavern 新手在 Reddit 发帖询问,想在 nanogpt 上使用 DeepSeek v3.2,但面对众多 provider 不知选哪家最好。他还想知道是否有比 DeepSeek v3.2 更便宜且更好的模型,并提到已为 nanogpt 充值了几美元用于尝试。
新闻、仓库与研究,按时间排列。
一位 SillyTavern 新手在 Reddit 发帖询问,想在 nanogpt 上使用 DeepSeek v3.2,但面对众多 provider 不知选哪家最好。他还想知道是否有比 DeepSeek v3.2 更便宜且更好的模型,并提到已为 nanogpt 充值了几美元用于尝试。
作者用本地部署的 Qwen 3.8 FN(Qwen 3.8 flash next),在 opencode 配 vllm 后端加 Docker 沙箱中完成硕士论文模块的项目匹配管理,因数据涉及学生隐私不能上云。实测其速度明显快于 codex,能整合 ms forms、学生数据库和 moodle 的异构 CSV 数据,整体质量不逊于 codex 中的 gpt 5.6。
一位 SillyTavern 用户在微调的 Gemma 4 26B-A4B Q8 模型上测试两段式角色状态/写作 pipeline:同一模型用两个不同提示词,第一段输出传给第二段以强制推理,希望解决角色缺乏深度的问题。该模型速度约 25t/s,Gemma 31B 在 Q6 下仅约 2.5t/s 且效果不更好;常规提示词推理完全无效,两段流程预计耗时 30-40 秒。
一位用户在 r/LocalLLaMA 征求约 $10K–12K 预算的本地 agentic coding 装机建议,需支持 2–4 个并行子智能体和逆向工程,可选需约 21 GB VRAM 的 Hunyuan3D-2.1 贴图生成。候选方案包括单卡 RTX 5090、二手 4× RTX 3090、5090+2× 3090 混合方案、Mac Studio M5 Ultra 256 GB 及超预算的 PRO 6000,并询问长上下文 prefill 表现与 vLLM 多实例方案是否值得。
一位 LocalLLaMA 用户称旧版 OpenCode v1 存在官方不再修复的报错,而 v2 口碑不佳,于是询问转向 Pi 或 DSH 的迁移经验。其此前试过 DSH 0.1,未能完成稍复杂的软件项目;并提到 OpenCode 在 3.8 27b 后表现良好,只需制定计划即可运行再改进。
一位用户在 SillyTavern 社区发帖质疑 Reasoning Effort 设置的实际效果:其通过 OpenRouter BYOK 调用 Google Vertex API 的 Gemini 4 Argon,无论设为 low 还是 high,思考时长都约为 30 秒、输出质量相同。其他模型也有类似但不一致的现象,有时调低会完全跳过推理。用户还发现 Gemini 的推理过程只在某些时段遵循其 CoT 提示词。
一位开发者在单 GPU 上用 Ollama/vLLM 测试 Qwen 2.5(7B/14B/32B)和 Llama 3.1(8B/70B 量化)处理量化逻辑,发现 8B/14B 模型常输出看似合理但数学上颠倒的数字,32B 用 CoT 略有改善但延迟增至三倍。多智能体辩论中,小模型几乎总会附和首个高置信度错误前提,唯一可靠修复是非 LLM 的 Python 硬编码否决门。作者结论是 LLM 应只作语义处理与路由,算术交给原生 Python。
Gemini 4 Argon 与 Claude Sonnet 5.5 已实际移除采样控制:Sonnet 5.5 对非默认 temperature 或 top_p 直接返回 400 错误,Gemini 4 Argon 接受参数但静默忽略。作者认为官方以“推理模型”解释,但大量依赖调低 temperature 的生产流程会失效。作者正用 200 条抽取输入各跑 20 次测试字节级输出一致性,本地 Qwen 在 temp 0 下接近完全一致。
Reddit r/LocalLLaMA 用户发帖称,低量化版本会让思考型模型产生更长的思考块,prompt 处理与 token 生成速度的提升被抵消,在多工具调用的智能体循环中甚至更慢。作者以 Qwen3.8 Flash Next(MTP)和 GLM 5.3 Flash 为例,尚未正式测试,想先收集其他用户的使用体验。
一位 SillyTavern 用户发起讨论,询问大家最爱的模型组合用法:例如用一个模型设定场景、另一个模型写故事,或先用智能写作模型定调、再切换到对 NSFW 更友好的模型。早期混用模型容易出问题,如今体验已好很多,作者也想了解哪些 preset 能发挥最佳效果。
Reddit r/LocalLLaMA 用户征集在 MacBook 上本地推理开源大模型的最优选择,候选包括 Qwen3.8-Flash-Next、Qwen 35B、27B dense 和 Nemotron Bolt,并倾向于 27B 用于编码。其开源项目(Apache 2.0)支持从 M1 到 M5 Ultra 的全部 Apple Silicon 芯片,作者称已在 M4 Pro 上创下 Qwen 35B/27B decode 与 prefill 的 SOTA 成绩。
一位 Reddit 用户在 SillyTavern 论坛询问是否存在 OpenAI 兼容的代理工具,可通过"批评者与写手"循环让角色先思考再输出,以消除 deepseek-flash-4.1 和 GLM-5.3(经 openrouter 调用)在角色扮演中反复出现的 AI 套话模式。
一位用户在 Reddit r/LocalLLaMA 分享同时运行两个 Claude Code 实例的体验:一个用 opus 5.5,另一个用 Qwen flash next q8,并在另一台电脑上配合 Mirai Qwen 27b q4。他表示 opus 5.5 比自己本地能跑的 Qwen 更快更聪明,但仍享受这种“把想法变成现实”的乐趣。
作者用两个月测试三套 AI 编程工作流,发现 DSH + QFN-oQ5e-mtp + oMLX 最稳定,QFN 在 5 分钟循环中连续多日可靠运行;CC 15 分钟循环 6 周内至少失败两次;CGPT 每小时监控循环多次自行暂停且无日志,升级到 $100/月 Pro 计划后似乎更差。作者认为本地硬件(M2U 192GB、M3U 512GB)投资值得。
Reddit r/LocalLLaMA 用户发帖询问最佳 VS Code 智能体扩展和通用 Agent 框架,列举了 Zoo/Roo Code、Codex、Antigravity、Cursor、Claude Code、Kilocode、Hermes、OpenCode、OpenHands 等工具,并注意到 Claude Code 和 Hermes 消耗大量 token,同时询问哪款最适合 ds 4.1 flash 与 6.1 sol 模型。
一位 r/LocalLLaMA 用户预测,6 个月内会出现参数量低于 400B 的模型,在编程和智能体任务上击败 fable 5。作者用 4 台 DGX Spark、NVFP4 量化、GLM 5.3 Flash 和 SGLang(向朋友借用)测试生成一个 Three.js 3D 太空主题作品集网站,并使用 zcode 与 DeepSeek harness,其中联网变体仅用于快速修复 bug 和托管。
一位 Reddit r/LocalLLaMA 用户分享 Project Maya 搭配 Q2 GLM 5.3 Flash 的使用问题:被要求开启新项目时,模型仍继续在名称相近的旧项目上工作且几乎无改进,作者称其他模型未犯过同样错误。该模型在其 3090 + DDR4 + SSD 环境下跑出约 15tks 的速度。
Anthropic 在 Claude Code 写下约 90% 代码后重新设计了代码评审流程。2026 年 6 月到 9 月,其合并 PR 翻倍以上,同时 revert 率下降超 40%。
一位 r/LocalLLaMA 用户报告,在 Pi harness(含 Swift-Qwen)中本地运行 Qwen3.8 时,要求模型用自建 cli 工具 web_fetch 做网页研究时,它会先在 /tmp 写文件又立即删除,反复几次后才调用正确工具;其他 cli 工具任务无此现象。作者称 curl 无法渲染动态网页,其工具在后台运行真实浏览器,并征求解决办法。
一位开发者在构建覆盖约 400 万份斯洛伐克法院判决的法律检索与分析引擎,已用稠密嵌入加 BM25 实现基础检索,但在复杂查询上难以接近 100% 精度。纯嵌入和扁平 JSON 抽取分别败于枚举爆炸与递归法律逻辑(如多层嵌套的撤销-驳回-请求链)丢失证据性信息,作者正权衡三种架构,包括带 ID 关联和认知限定符的事件图谱方案。
一位 Reddit 用户在 RTX 5000 Pro 上本地运行 Qwen 3.8 27B NVFP4,让智能体全权管理活期账户:付款、查账单、推荐供应商、追踪客户回款、记账并撰写合同,已使用 2 个月。账户中只保留不足一个月收入的零头,其余直接转入储蓄账户,数据完全留在本地。
Terry Angelos 分析智能体商业引发的支付竞争,指出其中两场核心战斗:谁为智能体提供付款能力,以及谁让智能体以用户本人身份进行交易。文章梳理了这一领域的竞争格局与可能走向。
一位用户从 GLM 5.2 转向 MiMo V2.6 Pro,认为其表现力和角色刻画更好,但仍在寻找最佳服务商和聊天预设。实测显示 OpenRouter 的 Xiaomi 每次回复需 3–5 分钟,NanoGPT 的 NeuralWatt 不到 30 秒但担心推理处理不佳,还出现过推理内容泄漏进回复的情况。作者询问哪家质量最好、快速响应是否意味着量化版本,以及 temperature、reasoning effort 等预设建议。
Reddit r/LocalLLaMA 用户认为 GPU 价格合理,RTX 5090 是强推理机:可跑 Qwen3.8-27b,低量化下可跑 Qwen3.8-Flash-Next,速度达 200-300 tokens/sec,远超云 AI 约 50 tokens/sec。用户称开发者借此可 24/7 并行运行编码智能体,替代每月超 200 美元的 Claude 订阅。
Pydantic AI 创始人 Samuel Colvin 发文认为图库是个错误,代码本身就是图,通过类型提示获得类型安全、通过 async 获得并行执行。他提出图 API 存在类似 CAP 定理的取舍,类型安全、并行与快照三者不可兼得,并以此解释为何在 pydantic-graph V2 移除持久化、将持久执行交给 Temporal。
Netflix 上线一部关于 HuggingFace 相关讨论的纪录片,发帖人观看了预告片后指出其中大量使用拟人化表述,如用“利他”“牺牲”“士兵式自我牺牲”等战争类比描述 AI agent。帖子质疑这种把 AI agent 当作有意识生命体来讲述的叙事方式,并指出工程领域本有 kill、pkill 等终止进程的术语可用。帖文还注意到该片从讨论到上线 Netflix 的速度之快。
Reddit r/LocalLLaMA 网友发帖质疑 RLM(递归语言模型)是否只是炒作:此前热度很高,如今讨论和实践中几乎没人使用。RLM 由主 orchestrator 和子智能体组成,双方在 Python 环境中存数据、执行代码、调用子智能体,目标是让最少 token 进入 orchestrator 上下文,子智能体还能递归调用新子智能体。作者认为这可缓解 opencode 中上下文膨胀导致的频繁压缩问题。
一位在 RTX 5090 上做本地推理的新手称,其先后尝试 Qwen 3.8 27b 与 Flash next 用于编程任务,发现 27b 不太遵守 AGENTS.md 和 agent skills 中的指令,分析广度与前瞻性也不如 Flash next,目前对 Flash next 满意。他向 r/LocalLLaMA 社区请教升级到更大模型是否值得:能否换来明显更好的质量、是否因智能程度更高而减少手工引导、以及是否有人升级后又后悔退回小模型。
一位 Reddit 用户分享 Qwen 3.6 35B(Unsloth UD_Q4_K_XL 量化版)的日常使用体验:它不适合写代码、会幻觉,但擅长通用 Agent 任务,如智能家居控制、提醒、传话等。在两张 Tesla P100 上可实现约 120-140 t/s 生成速度、0 上下文约 1000PP 的处理速度。用户认为它速度快、任务专注,但角色扮演能力弱于 Gemma4,希望下一代模型保持速度、更聪明且不要过度偏重编程。
一位 Reddit 用户实测对比:让 Siri 汇总医疗账单 PDF 的付款总额,Siri 先只看首页,指出错误后跨页求和仍出错;而 Qwen 3.8 Flash Next 通过 Hermes 提取文本完成求和,还用视觉能力自查结果。作者感叹这又少了一个购买新 iPhone 的理由,并指出 Apple 实际也在使用云端托管的 Gemini 等 AI。
一位 r/LocalLLaMA 用户在约 $14k–$15k 预算内权衡本地 agentic coding 方案:$13,500–$14,000 的 Mac Studio M5 Ultra(512GB RAM)可跑大模型和 128k+ 上下文,但 TTFT 慢、生成约 35+ tok/s;两台 DGX Spark 共 $14,000、prefill 快,但仅 256GB VRAM,只能用 IQ3/IQ2 低比特量化。按每月 $500+ 的 API 账单算,$14k 约等于 2 到 2.5 年云服务费用,作者发帖征求真实使用经验。
Reddit r/LocalLLaMA 有用户询问,Opus5.5、Sol6.1、Fable 和 Astra 已被证明能完成反编译/重编译项目,开源模型(包括 K3、GLM5.3、Qwen3.8-Max、Mimo-2.6)是否也能胜任。发帖人还问 GLM 5.3-Flash、Qwen 3.8-Next-Flash、V4.1-deepseek Flash 等较大模型能否处理 GBA 和 PSP 这类 ROM 较小、工具链成熟的更简单项目。
r/LocalLLaMA 网友分享检验新发布模型是否有真实对话能力的提问法:让它描述 2010 年代动画片的角色阵容,如 Totally Spies、Slugterra 等。30B 级别的多数模型(作者点名 Qwen)答不好,能答上的则说明可进行真正的人类对话。
一位 r/LocalLLaMA 用户称,Qwen Flash Next 在 iq4_xs 量化下虽快且一次性任务和 benchmark 表现好,但更常不遵循指令、幻觉增多、token 用量低于 27B,长期智能体助手工作不如 Qwen3.8 27B。其在 Strata 上未遇到循环问题,最终决定换回 Qwen3.8 27B。
AxiomCode 团队认为编程智能体靠“搜索→打开文件→grep→追踪引用”探索大型代码库,会重复重建调用、继承、依赖等本已确定的关系。他们提出基于编译器/类型信息构建代码知识图谱,让智能体先查询图谱再决定读取哪些源码,使 LLM 把 token 花在推理结果上,并已开源该项目。
一位开发者发帖询问大家如何在真实编码工作流中组合本地模型与托管模型,例如用 Claude 处理复杂架构和核心实现,用本地 Qwen/Gemma 跑测试、小修复和重复任务。他正在开发开源项目 AX Code,提供让多个编码智能体在隔离环境中运行、测试并比较结果的运行时,并想知道现有方案中哪些好用、哪些仍有痛点。
GitHub 上的 LLM_Chronicle 项目用 AI agent 协作编写大模型编年史,体例仿史书,分编年、纪传、志、表、评曰,体例规范为 v2.2。全书追踪两条主线:模型能力演进与 Agent 行动权变化,从 ReAct、AutoGPT、MCP 到 Claude Code、OpenClaw 等,并单列中国 Agent 生态与个人 Agent 产品线。
一位已下单 M5 Max Mac Studio 128GB(18 核 CPU/40 核 GPU、1TB SSD)的用户发帖征集该配置的真实本地 LLM 使用数据。
一位用户想为公司搭建类似 RPA 的智能体系统,但不愿使用 Codex 的 Computer Use MCP(由小型创业公司 Sky 构建),原因是企业版问题。他认为现有开源 MCP 都不及 Codex,考虑从零自研一套。
有用户在 r/LocalLLaMA 反馈,Qwen3.8-Flash-Next 在编码和语音智能体场景中工具调用过于频繁,常在只要求分析时直接改代码,甚至自行创建 issue。对比之下,DeepSeek v4 flash 同样激进,而 MiMo-V2.6-Flash-MOPD 作为编码智能体体验更佳。发帖者询问能否通过提示词控制该行为。