新闻、仓库与研究，按时间排列。
Reddit r/LocalLLaMA 用户发布了一个自建视觉问答 benchmark，面向能在 48GB VRAM + 128GB RAM 内运行的模型，目前 Qwen3.8-Flash-Next 领先。测试含立陶宛语和俄语 OCR 题，结果对相关模型有偏向；Qwen3.8-27B 相比 Qwen3.6-27B 表现退步，Muse-Glimmer-30B 在细节识别上表现突出，DeepSeek-V4-Flash-Vision-Exp 排名垫底。
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
一位 SillyTavern 用户分享了 Argon 模型管理复杂高奇幻世界观设定的体验：约 80 条 lorebook，涵盖货币、地理、历史、虚构语言、历法和魔法系统，Argon 是首个能保持这些细节连贯性的模型，配合 Megumin suite v10 使用，表现连 Claude 等 SOTA 模型都未能达到，只是它总爱把所有人叫成"Vance"。
Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B，构建了一套验证式数据管线：模型自编 800 道数学题后在新会话中盲解，分歧交由 Qwopus 3.5 122B 仲裁，Agent 用 Python 暴力核算，最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次，说明出题写官方答案比解题更易出错；第三轮复验中 793 个答案有 774 个被直接确认，甚至抓出 Agent 自己暴力核算写错的一道题。
r/LocalLLaMA 网友发帖质疑 AA 等基准测试无法反映模型真实能力，指出部分在编程基准上接近前沿的 benchmaxxed 模型除写诗外几乎不可用。楼主征求编程、智能体研究和办公工作方面最贴近实际使用的基准测试推荐。
Reddit r/LocalLLaMA 用户分享了发布 9 天后测试 Beam 1.0（501B 参数、23B 激活）的体验：借助第三方 provider 运行速度很快，能轻松浏览大型代码库，在 Rust、PHP、Python 和 JS 上表现良好，回答简洁有度且会使用技能。缺点是偶尔循环、部分 toolcall 失败，3D 能力弱且无视觉功能。
/u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。
/u/mesolimbic-bliss 用三套 harness 实测 unsloth/flint-GGUF 的 flint-UD-Q3_K_XL.gguf，成绩差异很大：OMP 完成 12 个任务得 71.2/100（仅 7 个解决），AtomicAgent 得 39.2/100（仅 3 个解决），Hermes 在任务 7 中途停止，因在文件系统上做了大量无谓的广度搜索并陷入循环。DeepSeek 版因此前 harness 失败和低分未运行。完整榜单见 https://shortbench.vercel.app/，目前已有模型达到 100/100。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
一位 r/LocalLLaMA 用户发布了自己在 16GB VRAM、32GB RAM 环境下进行的 5 项算法任务模型测试 V2，相比上一版收紧了任务设置并更换了参测模型阵容，同时开源了 GitHub 仓库供他人复现。结果显示 CyberTiel 和 Ornith 表现意外出色，而 LFM 和 Mellum 在真实负载下表现不佳。
Reddit 用户实测 Spark X2.6 4B，称其工具调用能力在同级模型中表现出色。在 pi cli 测试中，它能编写 Blender Python 脚本生成并渲染红色立方体，理解复杂 Rust 代码库，12 次工具调用即完成任务，还能读取全局 agents.md 并在每轮后列出变更文件。模型小、速度快、KV cache 占用小，temp 1.0 下思考精准，但缺少视觉能力，MTP 支持即将跟进。
Reddit r/LocalLLaMA 用户 EmilPi 发布近期测试模型的量化版本初步 benchmark 结果，DeepSeek-V4-Flash-Vision-Exp（MXFP4）以 Delta score 2.86 居首，Qwen3.8-Flash-Next-Q4KXL-STRATA 得 2.38。测试覆盖智能体编程、推理、空间推理等任务，作者在 2xRTX3090+128GB RAM 上发现没有新模型超越数月前的 DeepSeek/Qwen 老模型，并意外发现 Qwen3.8-Flash-Next 加 Strata 无质量损失且更快。
作者让 Kimi K3.1 与 GPT-6 Astra 各跑一次相同的 Three.js 3D 飞行 Agent 任务并对比数据。K3.1 用时 12:28、20 步、读 725K prompt tokens、输出 49.2K tokens，Astra 用时 9:17、35 步、读 1.2M prompt tokens、输出 22.2K tokens；K3.1 推理占比 56%、成本约 $1.1-1.4（估算），Astra 约 $2.63。作者指出步数少可减少 prefill 负担但 decode 更重，并提醒本地部署需在所有子调用中固定 temperature 为 1；K3.1 因图像审查工具参数错误盲跑，Astra 首跑因工具参数问题被拒 29 次调用。各仅一次运行，成本为估算。
作者在单张 RTX 5090（400 W）加 128GB 内存的 Linux 机器上，对 Strata、Infernix、capy-flash、ninfer-ext、ninfer、llama.cpp 和 Basalt 七个 Qwen 3.8 FN 推理引擎做了基准测试，每个引擎各自转换 NVIDIA NVFP4 权重后跑相同的七个 greedy 请求，每个请求独立冷启动。
作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next：DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文，而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后，Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似：TF-IDF 相似度 0.572、共享 200 个四词短语，分析方法几乎一致。
作者在相同的 Opus 5.5 规划、3 worker 并行设置下，用 llama.cpp Q8_0 在 RTX PRO 6000 Blackwell 96GB 上实测三个小型 MoE 编码同一个 Three.js 万圣节连锁反应场景。Flint 40B-A2.5B 综合最优：墙钟 7:36、修复 6 次、Opus 花费 $0.41；Nemotron 3.5 Lightning 解码最快但生成约 5 倍 token、修复 16 次、花费 $0.95，其编辑成功率仅约 17%。作者指出换 worker 模型使规划者账单从 $0.41 涨到 $0.95，裸 tok/s 并不决定总耗时，且三者在单轮内都没产出完全可用的场景。
推荐理由：同一任务同机实测三个小型 MoE 当编码 worker，给出 token 消耗与 Opus 花费对比，显示编辑成功率比裸速度更影响实际耗时。
作者在单张 RTX 5090 上对 Qwen3.8-Flash-Next NVFP4 的 basalt、capy-flash、ninfer-ext 三个引擎做了 262,144 token 全上下文对照测试，统一开启 MTP 推测与 int8 KV。结果 basalt 在所有上下文深度最快，prefill 8.1k-9.2k tok/s、greedy decode 176-265 tok/s；decode 排名与 MTP draft 接受率一致（0.74/0.57/0.56），采样解码使各引擎 decode 下降 7-10%。
在 17 分 29 秒的 AMI 四人会议音频上，MOSS-Transcribe-Diarize 0.9B 在 M5 Pro MacBook（64 GB、mps）上以 fp32 单次完成转写、说话人标注和时间戳，耗时 714 秒，约 0.68x 实时。四个说话人全部识别，0.25 s collar 下说话人混淆率 0.08%，整体 DER 15.4%；317 段中 87 段为重叠语音且均标注了不同说话人。
作者 /u/Joralk_ 自建 harness，在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务，每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首，35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平，工具调用可靠性比模型规模更关键；开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96，但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。
推荐理由：作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现，还给出 thinking 模式开关的量化代价，方法可复用。
Reddit 用户实测 LFM2.5-24B-A2B-Q4_K_M.gguf 后给出负面评价：在 llama.cpp 优化版上 RTX A4500 跑出 130tk/s 但反复循环，换 LM Studio 后行为稳定。在 Hermes 桌面端测试 Microsoft Garnet 插件任务时，经 GPT 检查发现代码残缺、缺少必要功能且未做端到端测试就声称验证通过，模板修复后改善有限。
Reddit 用户 /u/GapNew4766 在 M5 MacBook Pro 32GB 上用 Qwen3.5-4B（Q4_K_M、64K 上下文、llama-server）对 Pi、goose、Crush、Cline、OpenClaw、OpenCode、Hermes、Qwen Code、Codex CLI、Atomic Agent 共 10 个 Agent 框架各跑 5 个小任务，10 个中 6 个全部通过。失败不来自工具调用解析，而是精确匹配编辑无法逐字节复现旧文本导致反复重发、只修可见测试用例、数错 ERROR 行（40 vs 43）、模糊指令被字面执行写错位置；相同硬件和模型下最快框架 1m36s、最慢 17m43s，快 11 倍。
一位 LocalLLaMA 用户让 Argon 修改 Strata 上的 KV Cache 配置，再将 DeepSeek V4.1 Flash 与 QwenFlashNext（QFN）的评审结果交回 Argon 复核。Argon 最初建议改用 K8V8，但看到另两家评审后收回该建议，且对比中未列出自身分析；作者指出 Argon 运行环境可见性更高，结果仅供参考。
社区在单张 RTX 5080 16 GB（Linux/Fedora 44）上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文，中位解码速度 150 tok/s，16K-32K 预填充约 4,400 tok/s，4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%，每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败，统一用 g++-15 编译可解决。
一位 Reddit 用户在 r/SillyTavernAI 发帖比较 GLM 4.7 与 GLM 5.3 flash 的智能、逻辑与一致性表现，称 GLM 5.3 flash 多次测试都出现理解偏差和逻辑不连贯，而记忆中的 GLM 4.7 理解能力更好。两个模型总参数量均约 300B，但激活参数不同：GLM 4.7 为 32B，GLM 5.3 flash 为 18B。用户也提到 GLM 5.3 flash 智能上优于 GLM 5.2，并怀疑是自己对 GLM 4.7 的旧印象造成偏好。
AIMultiple 团队推出 AIM System One Index，用于评测以单次前向返回带概率决策的决策模型（System One models），榜单综合浏览器任务、1,655 道单决策分类题和偏差测试三项基准，以 z-score 计分。57 个模型中 AutoJev-27B、d1-ultra 和 decider-12b 并列第一（60 分）；d1-ultra 浏览器任务得分 74%，成本 $0.026 per 1,000 decisions；Decider Flash V1.2 最便宜，为 $0.007 per 1,000 decisions；Laya 最快，每决策 30 ms。
/u/SamSausages 因 Intel B65 几乎没有公开跑分，自建 4x B65 平台，用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描，覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍（0 上下文 84.5 对 42.7 tokens/sec），200K 上下文下降到 45.8；Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。
推荐理由：作者自建 4x Intel B65 平台，实测多款模型在 16K 到 200K 上下文下的吞吐数据，并给出 MTP 开关与不同精度的对照。
Reddit r/LocalLLaMA 用户反馈，ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S 在 Basalt 上运行时工具调用失败明显增多，最多连续四五次失败才成功，而 Qwen3.8-27B 在 4bpw 以上量化及 llama.cpp、vLLM、exllamav3、NInfer 引擎下几乎无失败。作者计划用 BFCL v3 或 v4 测试不同配置以收集数据。
Reddit r/LocalLLaMA 用户用"降噪耳机原理"单文件 HTML canvas 动画提示词对比 Nvidia Nemotron 3.5 Super VL 120B A12B（Q4_K_M）与 Qwen 3.8 27B（Q8_0）。前者思考 7 分钟、31 tps，后者思考 20 分钟、15 tps，测试在 AMD Strix Halo 128GB、Win11 LM Studio 上进行，Nemotron 效果明显更好。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。
/u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。
一位 Reddit 用户在 SillyTavern 社区发帖询问：Gemma 4 31B dense 模型用于角色扮演是否明显优于 Gemma 4 26B MoE。他用 Q5 量化对比测试，发现 31B 更能利用角色卡细节，但仍有细节翻转问题；而 26B MoE 借助优化 KV cache 运行很快，31B dense 因 CPU offloading 在其 RTX 3060 12GB 机器上生成极慢，因此纠结是否值得为升级投入大量硬件成本。
Reddit r/SillyTavernAI 发布 10 月 18 日当周的模型与 API 每周讨论汇总帖，集中讨论各规模模型与 API 服务，禁止再单发“哪个模型最好”类帖子。帖子按参数规模分类：≥70B、32B 至 70B、16B 至 32B、8B 至 16B、<8B，另设 API 和综合讨论区，用户可在对应分区提问和分享推荐。
Reddit 用户测试发现，EmbeddingGemma 2 嵌入模型（Q8 约 330MB、768 嵌入维度）可用于在图片内检索文本。测试覆盖 22448 张英/韩/日截图，查询余弦相似度最高达 0.76813；该模型能一定程度跨语言理解词义，但对措辞敏感，且文本特征常主导相似度、视觉特征作用较弱。
Reddit 用户发布 browsecomp-plus-mini，从 BrowseComp-Plus 的 830 条查询中选出 15 条子集，用于低成本比较搜索智能体。该子集与完整基准的加权 Spearman 排序一致性达 0.88（随机 15 条为 0.75），全基准分差超 10 分的两个系统约 96% 情况下保持排序。答案均为 1-4 个词，按归一化精确匹配评分，无需 LLM judge，成本不足完整运行的 2%。
一位 Reddit r/LocalLLaMA 用户自建测试：让模型学习一种新图形语言的语法并生成可被程序解析的图形。Qwen 3.8 与 Ornith-1.5 表现最佳，两者仅 27B，却在语法理解和想象力上击败了 DeepSeek 4 flash、Qwen 3.5 122b、GLM 4.7 等更大的本地模型，想象力甚至超过 Haiku 5.5；GLM 4.7 已生成 66k token 思考仍未完成。
作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。
推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。
作者在 Terminal-Bench 2.0 全部 89 个任务上测试了 9 条思考规则：同一模型 GLM-5.3-Flash 配 mini-swe-agent，High thinking 下加规则得 59.6%，不加规则为 52.8%。该成绩高于 Claude Opus 4.6 + Claude Code（58.0%）和 Gemini 3 Pro（56.9%），低于 GPT-5.5 的 82.2%。作者称排行榜分数为多次尝试平均，其结果为单次尝试，仅供参考。
一位 Reddit 用户在本地硬件上对 Qwen Flash Next 的 q3_xxs、q3_s、q4_xs 三种量化版本，分别在 temp 1（官方推荐采样参数）和 temp 0 下各跑 3 次共 12 组测试，任务为浏览器内 Tetris 游戏。结果显示各量化版本质量均可接受，低量化版本因思考与额外工具调用生成更多 token，总解码量与任务时间随量化等级提升而下降；temp 0 或略降任务时间并提升一致性，但样本太少不足以下结论。作者建议在硬件允许下选最高量化，关注任务时间而非解码速度。
Reddit r/LocalLLaMA 用户发帖称，开源模型在 jev 官方基准（如 calibration 校准）上的表现与开源基准排名不一致，kev 在官方基准排第二却进不了非官方 jev decision index 首页，说明两者中至少一方有问题。他希望有人做一个与官方基准强相关、按图像解析、视频解析、数学、代码、游戏等技能细分并覆盖不同输入格式的开源基准；现有 jevbench 结果太少且只测游戏能力。
一位 r/LocalLLaMA 用户在 4x 3090 上实测 Qwen 3.8 Flash Next UD-Q4_K_XL，与 Qwen 3.8 27B Q8 直接对比后认为差距明显，Flash Next 并不如社区宣称的那样好。在用两个提示词生成 Windows 俄罗斯方块独立 .exe 的测试中，27B 模型首提示出现两个 bug（暂停和游戏结束后按键仍生效），但第二次提示自行修复；strata 框架跑 4 小时未产出可玩 exe，生成速度虽快但结果比 llama.cpp 更差。