跳到正文
今天10月27日周二2 条
  1. Reddit · r/LocalLLaMA36

    本地模型胜过云端:Qwen 3.8 FN 实战验证

    作者用本地部署的 Qwen 3.8 FN(Qwen 3.8 flash next),在 opencode 配 vllm 后端加 Docker 沙箱中完成硕士论文模块的项目匹配管理,因数据涉及学生隐私不能上云。实测其速度明显快于 codex,能整合 ms forms、学生数据库和 moodle 的异构 CSV 数据,整体质量不逊于 codex 中的 gpt 5.6。

10月26日周一
  1. Reddit · r/SillyTavernAI22

    SillyTavern 用户探索多步 AI 流程提升角色扮演深度

    一位 SillyTavern 用户在微调的 Gemma 4 26B-A4B Q8 模型上测试两段式角色状态/写作 pipeline:同一模型用两个不同提示词,第一段输出传给第二段以强制推理,希望解决角色缺乏深度的问题。该模型速度约 25t/s,Gemma 31B 在 Q6 下仅约 2.5t/s 且效果不更好;常规提示词推理完全无效,两段流程预计耗时 30-40 秒。

  2. Reddit · r/LocalLLaMA18

    1万美元级本地 Agentic Coding 装机方案对比:1× RTX 5090、4× 3090、混合方案、PRO 6000 还是 Mac Studio?

    一位用户在 r/LocalLLaMA 征求约 $10K–12K 预算的本地 agentic coding 装机建议,需支持 2–4 个并行子智能体和逆向工程,可选需约 21 GB VRAM 的 Hunyuan3D-2.1 贴图生成。候选方案包括单卡 RTX 5090、二手 4× RTX 3090、5090+2× 3090 混合方案、Mac Studio M5 Ultra 256 GB 及超预算的 PRO 6000,并询问长上下文 prefill 表现与 vLLM 多实例方案是否值得。

  3. Reddit · r/SillyTavernAI10

    Gemini 4 Argon 的 Reasoning Effort 设置到底有没有用?用户实测存疑

    一位用户在 SillyTavern 社区发帖质疑 Reasoning Effort 设置的实际效果:其通过 OpenRouter BYOK 调用 Google Vertex API 的 Gemini 4 Argon,无论设为 low 还是 high,思考时长都约为 30 秒、输出质量相同。其他模型也有类似但不一致的现象,有时调低会完全跳过推理。用户还发现 Gemini 的推理过程只在某些时段遵循其 CoT 提示词。

10月24日周六
  1. Reddit · r/LocalLLaMA49

    8B/14B/32B 本地模型量化推理实测:为什么 Agent 框架不该让 LLM 算数

    一位开发者在单 GPU 上用 Ollama/vLLM 测试 Qwen 2.5(7B/14B/32B)和 Llama 3.1(8B/70B 量化)处理量化逻辑,发现 8B/14B 模型常输出看似合理但数学上颠倒的数字,32B 用 CoT 略有改善但延迟增至三倍。多智能体辩论中,小模型几乎总会附和首个高置信度错误前提,唯一可靠修复是非 LLM 的 Python 硬编码否决门。作者结论是 LLM 应只作语义处理与路由,算术交给原生 Python。

10月23日周五
  1. Reddit · r/LocalLLaMA46

    Gemini 4 Argon 与 Claude Sonnet 5.5 移除 temperature 采样控制,社区质疑确定性影响

    Gemini 4 Argon 与 Claude Sonnet 5.5 已实际移除采样控制:Sonnet 5.5 对非默认 temperature 或 top_p 直接返回 400 错误,Gemini 4 Argon 接受参数但静默忽略。作者认为官方以“推理模型”解释,但大量依赖调低 temperature 的生产流程会失效。作者正用 200 条抽取输入各跑 20 次测试字节级输出一致性,本地 Qwen 在 temp 0 下接近完全一致。

10月22日周四
  1. Reddit · r/LocalLLaMA24

    社区讨论:低量化模型思考更长,可能不如直接用硬件能装下的大量化模型

    Reddit r/LocalLLaMA 用户发帖称,低量化版本会让思考型模型产生更长的思考块,prompt 处理与 token 生成速度的提升被抵消,在多工具调用的智能体循环中甚至更慢。作者以 Qwen3.8 Flash Next(MTP)和 GLM 5.3 Flash 为例,尚未正式测试,想先收集其他用户的使用体验。

  2. Reddit · r/SillyTavernAI12

    SillyTavern 用户讨论最爱的模型组合搭配

    一位 SillyTavern 用户发起讨论,询问大家最爱的模型组合用法:例如用一个模型设定场景、另一个模型写故事,或先用智能写作模型定调、再切换到对 NSFW 更友好的模型。早期混用模型容易出问题,如今体验已好很多,作者也想了解哪些 preset 能发挥最佳效果。

  3. Reddit · r/LocalLLaMA18

    在 MacBook 上跑开源模型的现实之问:Qwen3.8-Flash-Next、Qwen 35B 还是 27B dense?

    Reddit r/LocalLLaMA 用户征集在 MacBook 上本地推理开源大模型的最优选择,候选包括 Qwen3.8-Flash-Next、Qwen 35B、27B dense 和 Nemotron Bolt,并倾向于 27B 用于编码。其开源项目(Apache 2.0)支持从 M1 到 M5 Ultra 的全部 Apple Silicon 芯片,作者称已在 M4 Pro 上创下 Qwen 35B/27B decode 与 prefill 的 SOTA 成绩。

  4. Reddit · r/LocalLLaMA39

    DSH + QFN(+ oMLX)比 CGPT + CC 组合更可靠:两个月本地工作流实测

    作者用两个月测试三套 AI 编程工作流,发现 DSH + QFN-oQ5e-mtp + oMLX 最稳定,QFN 在 5 分钟循环中连续多日可靠运行;CC 15 分钟循环 6 周内至少失败两次;CGPT 每小时监控循环多次自行暂停且无日志,升级到 $100/月 Pro 计划后似乎更差。作者认为本地硬件(M2U 192GB、M3U 512GB)投资值得。

10月20日周二
10月19日周一
  1. Reddit · r/LocalLLaMA23

    LocalLLaMA 用户预测:6 个月内将出现 400B 以下模型在编程与智能体任务上击败 fable 5

    一位 r/LocalLLaMA 用户预测,6 个月内会出现参数量低于 400B 的模型,在编程和智能体任务上击败 fable 5。作者用 4 台 DGX Spark、NVFP4 量化、GLM 5.3 Flash 和 SGLang(向朋友借用)测试生成一个 Three.js 3D 太空主题作品集网站,并使用 zcode 与 DeepSeek harness,其中联网变体仅用于快速修复 bug 和托管。

10月18日周日
10月17日周六
  1. Reddit · r/LocalLLaMA32

    Qwen3.8-27B 在网页研究任务中出现反复写删 /tmp 文件的怪癖

    一位 r/LocalLLaMA 用户报告,在 Pi harness(含 Swift-Qwen)中本地运行 Qwen3.8 时,要求模型用自建 cli 工具 web_fetch 做网页研究时,它会先在 /tmp 写文件又立即删除,反复几次后才调用正确工具;其他 cli 工具任务无此现象。作者称 curl 无法渲染动态网页,其工具在后台运行真实浏览器,并征求解决办法。

  2. Reddit · r/LocalLLaMA27

    用本地 LLM 从 400 万份斯洛伐克法院判决中抽取结构化事件图谱

    一位开发者在构建覆盖约 400 万份斯洛伐克法院判决的法律检索与分析引擎,已用稠密嵌入加 BM25 实现基础检索,但在复杂查询上难以接近 100% 精度。纯嵌入和扁平 JSON 抽取分别败于枚举爆炸与递归法律逻辑(如多层嵌套的撤销-驳回-请求链)丢失证据性信息,作者正权衡三种架构,包括带 ID 关联和认知限定符的事件图谱方案。

10月16日周五
10月15日周四
  1. Reddit · r/SillyTavernAI18

    MiMo V2.6 Pro 如何优化设置与选择服务商:用户实测对比

    一位用户从 GLM 5.2 转向 MiMo V2.6 Pro,认为其表现力和角色刻画更好,但仍在寻找最佳服务商和聊天预设。实测显示 OpenRouter 的 Xiaomi 每次回复需 3–5 分钟,NanoGPT 的 NeuralWatt 不到 30 秒但担心推理处理不佳,还出现过推理内容泄漏进回复的情况。作者询问哪家质量最好、快速响应是否意味着量化版本,以及 temperature、reasoning effort 等预设建议。

10月14日周三
  1. AIHOT · 精选51

    Pydantic AI 创始人 Samuel Colvin:图库是个错误,代码本身就是图

    Pydantic AI 创始人 Samuel Colvin 发文认为图库是个错误,代码本身就是图,通过类型提示获得类型安全、通过 async 获得并行执行。他提出图 API 存在类似 CAP 定理的取舍,类型安全、并行与快照三者不可兼得,并以此解释为何在 pydantic-graph V2 移除持久化、将持久执行交给 Temporal。

10月13日周二
  1. Reddit · r/LocalLLaMA26

    Netflix 纪录片聚焦 HuggingFace 讨论:AI Agent 的拟人化叙事引热议

    Netflix 上线一部关于 HuggingFace 相关讨论的纪录片,发帖人观看了预告片后指出其中大量使用拟人化表述,如用“利他”“牺牲”“士兵式自我牺牲”等战争类比描述 AI agent。帖子质疑这种把 AI agent 当作有意识生命体来讲述的叙事方式,并指出工程领域本有 kill、pkill 等终止进程的术语可用。帖文还注意到该片从讨论到上线 Netflix 的速度之快。

  2. Reddit · r/LocalLLaMA28

    RLMs(递归语言模型)是昙花一现还是真有实用价值?

    Reddit r/LocalLLaMA 网友发帖质疑 RLM(递归语言模型)是否只是炒作:此前热度很高,如今讨论和实践中几乎没人使用。RLM 由主 orchestrator 和子智能体组成,双方在 Python 环境中存数据、执行代码、调用子智能体,目标是让最少 token 进入 orchestrator 上下文,子智能体还能递归调用新子智能体。作者认为这可缓解 opencode 中上下文膨胀导致的频繁压缩问题。

10月11日周日
  1. Reddit · r/LocalLLaMA13

    用比 Qwen 3.8 Flash next 更大的模型有什么好处?LocalLLaMA 新手升级模型请教

    一位在 RTX 5090 上做本地推理的新手称,其先后尝试 Qwen 3.8 27b 与 Flash next 用于编程任务,发现 27b 不太遵守 AGENTS.md 和 agent skills 中的指令,分析广度与前瞻性也不如 Flash next,目前对 Flash next 满意。他向 r/LocalLLaMA 社区请教升级到更大模型是否值得:能否换来明显更好的质量、是否因智能程度更高而减少手工引导、以及是否有人升级后又后悔退回小模型。

10月9日周五
  1. Reddit · r/LocalLLaMA37

    Qwen 3.6 35B 好用分享帖:通用 Agent 任务表现稳定,Unsloth UD_Q4_K_XL 量化版体验

    一位 Reddit 用户分享 Qwen 3.6 35B(Unsloth UD_Q4_K_XL 量化版)的日常使用体验:它不适合写代码、会幻觉,但擅长通用 Agent 任务,如智能家居控制、提醒、传话等。在两张 Tesla P100 上可实现约 120-140 t/s 生成速度、0 上下文约 1000PP 的处理速度。用户认为它速度快、任务专注,但角色扮演能力弱于 Gemma4,希望下一代模型保持速度、更聪明且不要过度偏重编程。

  2. Reddit · r/LocalLLaMA27

    Qwen 3.8 Flash Next 处理文档任务胜过新 Siri

    一位 Reddit 用户实测对比:让 Siri 汇总医疗账单 PDF 的付款总额,Siri 先只看首页,指出错误后跨页求和仍出错;而 Qwen 3.8 Flash Next 通过 Hermes 提取文本完成求和,还用视觉能力自查结果。作者感叹这又少了一个购买新 iPhone 的理由,并指出 Apple 实际也在使用云端托管的 Gemini 等 AI。

  3. Reddit · r/LocalLLaMA23

    本地硬件 vs Cloud API:为真实 agentic coding 买 Mac Studio 还是 2x DGX Spark 值不值?

    一位 r/LocalLLaMA 用户在约 $14k–$15k 预算内权衡本地 agentic coding 方案:$13,500–$14,000 的 Mac Studio M5 Ultra(512GB RAM)可跑大模型和 128k+ 上下文,但 TTFT 慢、生成约 35+ tok/s;两台 DGX Spark 共 $14,000、prefill 快,但仅 256GB VRAM,只能用 IQ3/IQ2 低比特量化。按每月 $500+ 的 API 账单算,$14k 约等于 2 到 2.5 年云服务费用,作者发帖征求真实使用经验。

10月8日周四
  1. Reddit · r/LocalLLaMA28

    开源模型能搞定反编译/重编译项目了吗?

    Reddit r/LocalLLaMA 有用户询问,Opus5.5、Sol6.1、Fable 和 Astra 已被证明能完成反编译/重编译项目,开源模型(包括 K3、GLM5.3、Qwen3.8-Max、Mimo-2.6)是否也能胜任。发帖人还问 GLM 5.3-Flash、Qwen 3.8-Next-Flash、V4.1-deepseek Flash 等较大模型能否处理 GBA 和 PSP 这类 ROM 较小、工具链成熟的更简单项目。

10月7日周三
10月6日周二
  1. Reddit · r/LocalLLaMA48

    编程智能体是否在用错误的方式做代码搜索?AxiomCode 尝试代码知识图谱方案

    AxiomCode 团队认为编程智能体靠“搜索→打开文件→grep→追踪引用”探索大型代码库,会重复重建调用、继承、依赖等本已确定的关系。他们提出基于编译器/类型信息构建代码知识图谱,让智能体先查询图谱再决定读取哪些源码,使 LLM 把 token 花在推理结果上,并已开源该项目。

  2. Reddit · r/LocalLLaMA18

    如何在编码中把本地模型与 Claude/Codex 搭配使用?

    一位开发者发帖询问大家如何在真实编码工作流中组合本地模型与托管模型,例如用 Claude 处理复杂架构和核心实现,用本地 Qwen/Gemma 跑测试、小修复和重复任务。他正在开发开源项目 AX Code,提供让多个编码智能体在隔离环境中运行、测试并比较结果的运行时,并想知道现有方案中哪些好用、哪些仍有痛点。

  3. GitHub · 去对齐工具与仓库41

    tmzncty/LLM_Chronicle:用 AI agent 协作编修大模型纪事

    GitHub 上的 LLM_Chronicle 项目用 AI agent 协作编写大模型编年史,体例仿史书,分编年、纪传、志、表、评曰,体例规范为 v2.2。全书追踪两条主线:模型能力演进与 Agent 行动权变化,从 ReAct、AutoGPT、MCP 到 Claude Code、OpenClaw 等,并单列中国 Agent 生态与个人 Agent 产品线。

  4. Reddit · r/LocalLLaMA18

    Qwen3.8-Flash-Next 是不是太“手痒”了?用户实测吐槽其工具调用过于激进

    有用户在 r/LocalLLaMA 反馈,Qwen3.8-Flash-Next 在编码和语音智能体场景中工具调用过于频繁,常在只要求分析时直接改代码,甚至自行创建 issue。对比之下,DeepSeek v4 flash 同样激进,而 MiMo-V2.6-Flash-MOPD 作为编码智能体体验更佳。发帖者询问能否通过提示词控制该行为。