方向
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测，尤其是针对无对齐模型与角色扮演场景的那部分。
192 条精选近 30 天 192 条共收录 879 条
peymanpro 在 GitHub 发布 AI-Evaluation-Engineering V1.1，一个供 AI 系统做测量、对比与回归测试的中立于提供商的评测层。V1.1 新增带类型化的 Agent 轨迹回放与任务/步骤成功分离分析、对抗性安全回归用例、配对 bootstrap 置信区间的发布决策 compare（evaluate_release_candidate，含 Bonferroni 校正与 PASS/FAIL/INCONCLUSIVE/INVALID_EVIDENCE 四种判定）、方向感知回归门控、失败记录转回归套件的 JSONL 失败记忆，以及质量/成本与质量/延迟权衡前沿分析和可审计证据包。
推荐理由：作者把评测当工程学科来设计，给出了配对 bootstrap、回归门控和失败记忆等可复用做法，对搭建 AI 评测体系有参考价值。
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
Lavie-purple 发布 llm-radar 开源项目，将 LMArena、Artificial Analysis、llm-stats、LiveBench 四个评测源按 6 大类 17 子类并排呈现，不合成总分，只展示源内名次与跨源分歧度。页面零依赖、双击 index.html 即可打开，数据管道仅用 Python 标准库；当前快照收录 195 个模型、矩阵 124×17 共 2108 格，填充率 18.1%。项目还内置 selftest.js（236 条断言）、visual_check.js（148 项）、falsify.py（17 条证伪用例）与 check_deploy.js 四层守卫，并记录了 LiveBench 2.0 改版适配、抓取体检、行尾差异等实测踩坑。
推荐理由：作者解释了为何不合成跨源总分、分歧度如何计算，以及四层自检守卫的实测踩坑，方法可直接迁移到类似数据管道。
清华、百度等机构在 NeurIPS 2026 发表 When Less Is More，发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论，覆盖 27 组配置（9 个模型规模 × 3 种压缩率）：更大压缩器重构误差更低但忠实度下降，中型压缩器常优于大模型。论文归因于知识覆写（如白色草莓被改写为红色草莓）与语义漂移（如 Alice hit Bob 被改写为 Bob hit Alice），64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。
推荐理由：论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据，并公开了诊断数据集与 QA 生成提示词，方法可复用于其他压缩评测。
szymonkobus 发布 code-model-reliability 仓库，用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力（D50）和可靠性（D99）。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试；仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本，代码 MIT、数据 CC BY 4.0。
推荐理由：用同一难度尺度同时刻画模型能力 D50 和可靠性 D99，覆盖 71 个模型配置的可复现评测框架。
作者发布 llm-deployment-benchmarks 项目，在 Fireworks AI 上做两组实验，比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中，GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5，9B 模型响应快 4–7 倍也打平，而对含噪标签微调反而变差；国际象棋任务中，对 73k 局面的微调把合法走子率从 36% 提到 71%，但最佳走子准确率仍是 3%，只有前沿级开源模型 Ember-1 接近 Claude，约为每步 4 倍时间和成本。
推荐理由：作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距，结论是 prompt 质量常比模型大小更关键。
protocol/perun 发布，这是一套以文本文件形式分发的技能包，让 Claude Code、Cursor 等 AI 编码助手按固定流程完成从审查到交付的工作，核心是带证据的深度代码审查，另含 token 成本优化、门控智能体交付等技能。作者用统一测试环境实测 39 个真实 bug 修复案例，Perun 在 claude-sonnet-5-5 上比普通提示词多抓 bug 但区间下界为 0，相比 Claude Code 内置 /code-review 抓到的 bug 数量相当而误报大幅更少，与三个流行的审查技能对比均为平局；在更强的 claude-opus-5-5 上与普通提示词打平。大改动场景下多次独立审查比任何单一方法更有效，项目同时附上成本核算和诚实的局限性说明。
推荐理由：项目附上统一测试环境和多组对照基准数据，连不利的平局结果也如实列出，读者可自行判断这套 review 技能包的真实增益。
作者在 3090 上用 Allganize 韩文 RAG 数据集（300 题、64 份 PDF）实测，qwen3.8 27B 开启 thinking 得 77.3%，Opus 5.5 得 76.6%，McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题，22 次源于无文本层的扫描页，作者认为瓶颈在 PDF 解析而非模型；韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%，gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。
推荐理由：作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因，还指出 PDF 解析而非模型才是瓶颈。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
Local Quench 发布，这是一款面向本地 LLM 的 AI 编码智能体，支持 LM Studio、llama.cpp、Ollama 和 vLLM，代码不出本机，提供 Windows、Linux 和 Android 版本。它针对本地模型常见失误（宣布步骤后停止、改测试直到通过等）设计了 harness 纠偏规则，且每条规则可单独关闭并测量；内置 QuenchBench 基准，还可通过 quenchbench.py 一条命令跑 SWE-bench Verified、Terminal-Bench 2.0、Aider Polyglot 等评测。8 GB VRAM 即可起步，应用自带模型顾问推荐适配显存的模型和量化方案。源码不开放，仓库提供发布包、issue 跟踪和基准脚本。
推荐理由：为本地模型设计了针对常见失误的 harness 纠偏机制，且每条规则都可单独关闭并用 QuenchBench 实测，方法可迁移到自己的本地部署。
Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1（MIT），不生成文本，而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分，与 d1-ultra 持平，成本约 $8/1M tasks，约为 d1-ultra（约 $31）的四分之一；Jev Decision Index 0.4 得 62.65，为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分，Omniscience 非幻觉率 93 但准确率仅 12，倾向回答不知道。
推荐理由：原文给出 Decision Index 得分、成本对比和分项基准数据，还说明了训练数据构成与架构改动来源，便于判断适用场景。
研究者推出 IGG 基准，要求智能体先通过交互使目标可见再点击，含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%，GPT-5.5 为 79.4%，最强开源 VLM 仅 31.6%；干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%，瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。
推荐理由：论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别，方法可迁移到 GUI 智能体的评测设计。
arXiv:2610.32483 提出评测 LLM Agent 执行框架（harness）与底层模型交互的框架，包含有效完成率（VCR）、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型，加上两组原生固定组合，共 111 个评测设置、52,168 条轨迹；结果显示框架排名随模型和基准变化，OpenCode 跨模型表现第一，DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。
推荐理由：论文把 Agent 拆成模型与执行框架两部分联合评测，给出五项指标和 52,168 条轨迹的实测，可帮助读者理解框架排名为何随模型和基准而变。
arXiv 论文 DMAIC-Bench（arXiv:2610.32305）提出评测 LLM 智能体自我克制能力的基准，用 97 个种子任务、覆盖四个行业 15 个工业案例，基于 Lean Six Sigma 的显式统计前提构建，配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示，GO 决策路由准确率平均 92%，NO-GO 决策仅 19%；盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动，区间 31% 至 61%。论文含 54 页 14 图，代码与数据已公开。
推荐理由：论文用反事实变体把自我克制从任务完成度里拆出来测，给出 GO/NO-GO 路由准确率的量化差距，可作为评估智能体决策的新方法参考。
论文提出 SWE-Shift，一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准，包含 120 个场景、12 类变更族，并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线，GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率 20.34%；工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由：这个基准专门测任务执行中途环境被改动时的表现，17 个系统的成绩都下降，暴露了保留已有工作与刷新证据的短板。
作者在相同的 Opus 5.5 规划、3 worker 并行设置下，用 llama.cpp Q8_0 在 RTX PRO 6000 Blackwell 96GB 上实测三个小型 MoE 编码同一个 Three.js 万圣节连锁反应场景。Flint 40B-A2.5B 综合最优：墙钟 7:36、修复 6 次、Opus 花费 $0.41；Nemotron 3.5 Lightning 解码最快但生成约 5 倍 token、修复 16 次、花费 $0.95，其编辑成功率仅约 17%。作者指出换 worker 模型使规划者账单从 $0.41 涨到 $0.95，裸 tok/s 并不决定总耗时，且三者在单轮内都没产出完全可用的场景。
推荐理由：同一任务同机实测三个小型 MoE 当编码 worker，给出 token 消耗与 Opus 花费对比，显示编辑成功率比裸速度更影响实际耗时。
Shinzuu 发布 free-model-bakeoff 评测，六个免费模型在 126 次评分尝试、14 个对抗性问题上跑生产级 tool-calling 流程。openai/gpt-oss-20b 答对 88%、工具路由正确率 95%，超过比它大六倍的模型（64%/76%）；同一权重换托管方降到 64%、中位延迟 28 秒。关键发现包括每日 20 万 token 的隐性限额（约等于全团队每天 60 个问题）、一句补充 'open' 定义的系统提示词带来最大准确率提升，以及评测中发现并修复的六个 harness bug。
推荐理由：实测给出六个免费模型的准确率与工具路由数据，并指出同权重不同托管方的表现差异可能比模型间差距更大。
riccardogiorato 发布 SurfBench 基准，用 50 个真实任务（分 4 个层级）统一评测 parallel、exa、tavily、firecrawl、keenable、linkup 等网页访问 API，检查各服务商能否找到并抓取正确页面。评分按质量 0.50、可靠性 0.35、速度 0.15 加权，使用固定的 MiniMax M3 读取模型和 Kimi K3 + GLM-5.3 评审面板，给出 95% 置信区间与每千个通过任务的成本列，完整结果包、任务检查器与方法论页面随仓库公开，MIT 协议，可自行运行复现。
推荐理由：这是一个可直接复现的网页访问 API 评测基准，方法论、提示词与评分细则全部公开，还给出了置信区间与成本列。
作者 /u/Joralk_ 自建 harness，在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务，每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首，35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平，工具调用可靠性比模型规模更关键；开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96，但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。
推荐理由：作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现，还给出 thinking 模式开关的量化代价，方法可复用。