跳到正文
  1. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

  1. Reddit · r/LocalLLaMA72

    qwen3.8 27B 在韩文 RAG 评测上与 Opus 5.5 基本打平

    作者在 3090 上用 Allganize 韩文 RAG 数据集(300 题、64 份 PDF)实测,qwen3.8 27B 开启 thinking 得 77.3%,Opus 5.5 得 76.6%,McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题,22 次源于无文本层的扫描页,作者认为瓶颈在 PDF 解析而非模型;韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%,gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。

    推荐理由:作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因,还指出 PDF 解析而非模型才是瓶颈。

  1. Reddit · r/LocalLLaMA75

    Reddit 用户自建 agentic 基准实测 Qwen3.8 27B 各量化版本差异

    Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本,发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内,而自建的 112 次运行 agentic 编码基准(隐藏测试、AST 注入 bug)拉开差距:27B NVFP4 解题 77%,Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致(69% vs 82%,McNemar p≈0.007),OpenCode 等测试框架的选择对结果影响也很大,Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。

    推荐理由:作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距,方法与数据都可复用。

  2. Reddit · r/LocalLLaMA60

    Qwen3.8-Flash-Next 配 pi 在 RTX 5090 上以 11 分钟跑完 airbench 全对,快于 Claude Code 的 14 分钟

    /u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版(ISTA-DASLab GSQ-RCO GGUF)在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件,11 分钟拿到 100% 得分,而 Claude Code 同任务同分但耗时 14 分钟;作者更正原标题未说明这是面向日常任务的基准,不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘,IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49(16 分钟)、opencode 1.18.29 得 46/49(11 分钟)、dsh 0.2.0-rc.2 得 47/49(11 分钟)。

    推荐理由:作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时,并给出可复现的完整部署配置。

已经到底了