跳到正文
  1. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

  1. Reddit · r/LocalLLaMA65

    M3 Max 36GB 实测五大推理引擎:Kapitsa 稠密 41.3 tok/s,oMLX 与 Kapitsa 在 Qwen3.6-35B-A3B 上约 123 tok/s 打平

    作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先,oMLX 34.1;MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平;Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身;MTP 接受率稠密 75-78%、MoE 81-85%。

    推荐理由:同一台 Mac 上五个推理引擎用统一协议实测,还标明各引擎权重与投机配置差异,数字可直接对照自家硬件选型。

  1. GitHub · 灵魂体仓库72

    halu-sys 开源 llm-probes:本地 llama.cpp 栈的部署级评测探针

    halu-sys 在 GitHub 开源 llm-probes,为本地 llama.cpp/llama-swap 栈提供部署级评测探针,回答只有本机才能回答的问题,如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成(可复现、无训练数据污染),由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过,并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。

    推荐理由:针对本地 llama.cpp/llama-swap 部署的实测探针,给出各探针的真实运行结果与踩坑复盘,方法可直接复用。

  2. GitHub · 灵魂体仓库63

    AMD Strix Halo 机器上 42 个大语言模型生成速度实测清单

    作者在 AMD Ryzen AI MAX+ 395(Radeon 8060S iGPU、128 GB LPDDR5X 统一内存)一台机器上汇总了 42 个模型的生成速度实测数据。

    推荐理由:作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度,并给出各引擎配置和测量口径,便于横向比较本地部署方案。

  1. Reddit · r/LocalLLaMA64

    llama.cpp Metal 优化 PR:few-row MMA matmul 与批量拷贝加速推测解码

    ggml-org/llama.cpp 收到编号 #29869 的 Pull Request,为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。

    推荐理由:原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照,读者可以据此评估该 Metal 优化在不同任务下的实际收益。

  2. GitHub · 去对齐工具与仓库63

    Jiaming Yue 实测 Qwen3.5-9B、Qwen3.8-27B 与 gemma-4-26B-A4B-it 本地工具调用能力

    作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目,用官方 BFCL 数据和逐条评分代码对比三个本地部署模型,三个模型各完成全部 3641 个单轮用例。

    推荐理由:作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现,并公开全部原始输出与复现脚本,便于核对与复跑。

  1. Hugging Face Blog74

    微软与 Hugging Face 发布 ThinkingBox 基准,以数据库终态评测 Agent 并要求 20 次重复运行

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench,通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用,而非只看工具调用或回复文本,覆盖 507 个有状态业务工作流,每任务独立运行 20 次,已通过 OpenEnv 上线 Hugging Face。

    推荐理由:基准不看工具调用而看数据库终态,18 个模型在 507 任务上跑 20 次,区分了单次成功与可依赖性,并给出每次可靠任务的成本对比。

已经到底了