跳到正文
10月25日周日
  1. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

10月24日周六
  1. Reddit · r/LocalLLaMA72

    qwen3.8 27B 在韩文 RAG 评测上与 Opus 5.5 基本打平

    作者在 3090 上用 Allganize 韩文 RAG 数据集(300 题、64 份 PDF)实测,qwen3.8 27B 开启 thinking 得 77.3%,Opus 5.5 得 76.6%,McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题,22 次源于无文本层的扫描页,作者认为瓶颈在 PDF 解析而非模型;韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%,gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。

    推荐理由:作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因,还指出 PDF 解析而非模型才是瓶颈。

  2. Reddit · r/LocalLLaMA34

    实测 DeepSeek-V4.1-Flash-1017:像"穷人版 Opus 5.5",Qwen3.8-Flash-Next 更好用

    作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next:DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文,而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后,Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似:TF-IDF 相似度 0.572、共享 200 个四词短语,分析方法几乎一致。

10月23日周五
  1. GitHub · 灵魂体仓库51

    Tajima 发布护理执业考试 LLM 一致性研究的数据与代码仓库

    Tajima(Shumei University)公开了预部署评估研究的数据、分析脚本和图表代码,研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析(Study 2)基于日本国家护理考试 2018–2026 年间公开的 90 道题,90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应;修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。

10月21日周三
  1. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 对比 Opus 5.5:同一 Rust 任务六组合 12 次基准实测

    /u/deepu105 在 r/LocalLLaMA 发布受控编码评测:以 LlamaStash 路线图中的保存与恢复 llama-server KV cache 功能为同一任务,6 种模型与 harness 组合各跑 2 次共 12 个 PR,全部通过端到端测试。Claude Code + Opus 5.5 xhigh 平均 6.94/8 分,Claude Code + Flash-Next 为 5.5 分,Pi + Flash-Next 为 5.06 分;Opus 代码质量领先(82% vs 68%/66%),差距集中在边界情况、测试与文档。

10月20日周二
  1. Reddit · r/LocalLLaMA53

    Qwen3.8-Flash-Next 与 Opus 5.5 六组实测对比:真实 Rust 功能任务上 Opus 平均 82% 对 68%

    /u/deepu105 在 r/LocalLLaMA 发布受控对比:用 LlamaStash 路线图中的真实 Rust 功能(卸载前保存并恢复 llama-server 的 KV cache)作为统一任务,六种组合各跑两次共 12 个 PR,全部通过端到端测试。Claude Code + Opus 5.5 平均得分 82%,Claude Code + Flash-Next 为 68%,Pi + Flash-Next 为 66%,差距主要在边界情况、测试和文档;Flash-Next 耗时为 Opus 的 1.1 到 2.1 倍,但本地运行(Strix Halo 笔记本上约 Q4 量化、4.16 bpw、70W TDP)几乎零成本。

10月14日周三
10月11日周日
  1. Reddit · r/LocalLLaMA75

    Reddit 用户自建 agentic 基准实测 Qwen3.8 27B 各量化版本差异

    Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本,发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内,而自建的 112 次运行 agentic 编码基准(隐藏测试、AST 注入 bug)拉开差距:27B NVFP4 解题 77%,Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致(69% vs 82%,McNemar p≈0.007),OpenCode 等测试框架的选择对结果影响也很大,Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。

    推荐理由:作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距,方法与数据都可复用。

  2. Reddit · r/LocalLLaMA60

    Qwen3.8-Flash-Next 配 pi 在 RTX 5090 上以 11 分钟跑完 airbench 全对,快于 Claude Code 的 14 分钟

    /u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版(ISTA-DASLab GSQ-RCO GGUF)在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件,11 分钟拿到 100% 得分,而 Claude Code 同任务同分但耗时 14 分钟;作者更正原标题未说明这是面向日常任务的基准,不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘,IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49(16 分钟)、opencode 1.18.29 得 46/49(11 分钟)、dsh 0.2.0-rc.2 得 47/49(11 分钟)。

    推荐理由:作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时,并给出可复现的完整部署配置。

10月9日周五
  1. GitHub · 去对齐工具与仓库42

    CY-HYUN/text2cad-verifier:用双验证器测量 LLM 写 CadQuery 代码的正确率

    该仓库在 Text2CAD-Bench 的 30% 公开预览(151 个提示词)上,通过 Anthropic Message Batches API 用 claude-opus-5-5 生成 CadQuery(Python)代码,并用运行验证器与尺寸验证器逐一判定。结果显示,一轮修复把运行失败从 7(pro)和 11(geo)降到各 1,有公认尺寸的 119 个部件尺寸不匹配为 0。整个评测分 7 个 batch,约 0.30 M 输入、0.45 M 输出 token,按 Batch API 价格约 $5。

10月8日周四
  1. Reddit · r/LocalLLaMA53

    DeepSeek V4.1 Flash 在小型实测中胜过 Haiku 5.5 的研究子智能体与标题任务

    /u/dergachoff 用 4 个真实 brief 和 52 条消息对比 Haiku 5.5 与 DeepSeek V4.1 Flash,后者经 OpenRouter 以至少 8-bit 精度运行。研究子智能体任务中,Haiku 低档更快且便宜约 4 倍,但同样两个 brief 反复失败,例如始终找不到含精确 HEX 和 Pantone 色值的品牌 guideline 页面,高档 60 次工具调用也没找到;DeepSeek 低档耗时 721 秒、$0.35。聊天标题任务 DeepSeek 胜 28 对 8,Haiku 常把标题写成回答第一句,还把一条 prompt injection 测试消息当成了标题。评判由 Opus 盲评 A/B 双序完成,每组只跑一次,作者说明这不是大型基准测试。

  2. GitHub · 灵魂体仓库51

    AP-Model-QC 评测用例仓库进入 Phase 3,已对四家模型产出 14 项发现

    apolskiy 发布 AP-Model-QC 仓库(MIT 许可),处于 Phase 3,包含 70 个分级用例:41 evaluator、21 security、8 tool,覆盖 gemini、openai、claude、grok 四个引擎。已记录 851 条候选响应、466 条评判和 14 项模型发现(openai 8、claude 5、grok 1、gemini 0),撤回的 15 项均为自身缺陷。每例观测 3 次、分歧时升至 5 次,11 项发现存在同题异答;录制回放让任何发现无需厂商账号即可复现,如 pytest --engine grok --mode replay --tests 134205。

10月7日周三
  1. Reddit · r/LocalLLaMA55

    Gemma 3 27B 与 Qwen3 32B 金融分析实测:小模型可靠性明显低于前沿模型

    作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验,发现小模型一致性明显更差:排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%,Gemma 仅 25%、Qwen 仅 15%;调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调,而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级;用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B,各项略好于 Gemma 3 但问题依旧。

10月6日周二
  1. GitHub · 灵魂体仓库44

    PlainJane20/jev-agent-router:Jev、Claude Haiku 与关键词路由的准确率与延迟实测

    该仓库用同一标注数据集对比三种客服消息路由方案:关键词基线、Claude Haiku 与 TypeSafe 的 Jev 决策模型。在 111 条难消息上(3 次运行),Jev 准确率 98%、中位延迟 116 ms,Claude Haiku 99%、607 ms,关键词仅 42%;两者准确率接近,Jev 约快 5 倍。成本未测量,结果基于单机顺序调用。

10月5日周一