方向
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测，尤其是针对无对齐模型与角色扮演场景的那部分。
193 条精选近 30 天 193 条共收录 882 条
aicharts 将已发布的 AI 基准分数与每任务成本、token 用量绘在同一张图上，并在每个预算档标记最优分数，图表见 https://aicharts.io。项目提供本地收集器测量自己 Agent 的 token 用量，Linux x86-64 与 Apple silicon Mac 构建发布在 GitHub Releases，Mac 构建已签名公证；收集器可通过只读 MCP 服务器让 Agent 查询本机用量历史，数据默认不离开本机。基准数据涵盖 Terminal-Bench 4.0、ARC-AGI-2/3、Artificial Analysis Intelligence Index v4.3.2 等，各快照记录来源、版本与检索时间，站点与基准所有方无隶属关系。
推荐理由：把已发布的基准分数与成本、token 用量放在同一张帕累托图上，还提供本地用量收集器，读者可自行核对不同预算下的最优配置。
ashe-wb 在 GitHub 发布 tuieval，一个让用户用自己的 eval packs 同时评测本地模型（llama.cpp GGUF、LM Studio、Ollama、vLLM）和 OpenRouter 前沿模型的工具，同时测量准确率、速度和 token 用量，给出 PASS / FAIL / INCONCLUSIVE 判定，无内置基准、无 LLM 评委。它提供 TUI、Smoke/Screen/Certify 两级评测、自动调速、selftest 自检、verdict 历史记录，支持 code 类测试需在容器或 VM 中运行，MIT 许可，可通过 pip install tuieval 安装。
推荐理由：原文详细说明了用自有题目同测本地与前沿模型的方法，判定门槛和评分机制都写清楚了，方法可直接复用。
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由：原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方，权重、数据和推理管线都已开放。
kifu-bench 让 Claude Opus 5.5（Claude Code）和 GPT-6.1 Sol（Codex）在 9×9 围棋上对战 KataGo 人类段位档案，每位玩家各下 200 局，记忆仅存于工作目录文件中。结果显示没有玩家变强：Opus medium 前 50 局胜 14 场、后 50 局胜 13 场，Sol medium 4 胜变 6 胜且几乎只对 20k 最弱档案；CLAUDE.md 从 35 行增长到 3820 行，但每局失误数未下降，审计未发现任何使用引擎或搜索走法的作弊行为。
推荐理由：这是作者自建的 Agent 自学围棋基准，给出 Elo、笔记增长和审计数据，可用来观察 Agent 通过文件自我改进的实际效果。
tilt 在 GitHub 发布 llm_arena，一个针对本地（Ollama、LM Studio）和远程（OpenAI、Anthropic）模型的开源评测场，覆盖反射、工具使用、代码执行、ReAct、规划和多智能体等智能体模式。每个流水线步骤可绑定不同模型角色，按步骤和端到端打分并生成静态 HTML 排名报告，支持替换研究、控制策略对比、Docker 沙箱和浏览器 Pyodide 模式。
推荐理由：这个评测场把智能体模式按流水线步骤绑定模型角色并逐步打分，还支持替换研究来量化单步换模型的收益。
sferarc 在 GitHub 发布 peeksafe，一个零运行时依赖的 TypeScript 库，为非确定性 eval 套件提供可任意早停且保持错误控制的统计门控，通过 npm install peeksafe 安装，要求 Node 22 或更新。README 指出先验地观察结果再加 Benjamini-Hochberg 校正没有错误控制，并在 20 个无变更 PR 上实测：每 4 次运行窥视一次时，m=10 的套件每个 PR 产生 0.65 个假发现，m=200 为 0.20；同样的运行在固定样本量单次检验下为 0 个假发现。
推荐理由：原文用同一批 no-op PR 实测了边看边停加 Benjamini-Hochberg 的假发现成本，并给出可复用的 e-value 门控方案。
talhayme 在 GitHub 开源了 evalkit（llm-eval-harness），一个 LLM 功能评估与发布门槛工具，把提示词变更的效果变成 CI 可阻断的检查项。默认离线运行，无需 API key，全量套件 1 秒内跑完；支持绝对阈值（通过率、准确率、幻觉率、p95 延迟、成本）与基线回归对比，检查失败时以非零退出码阻止合并。groundedness 刻意不用 LLM-as-judge，采用可单测的确定性指标；用例以 JSON 数据形式编写，支持 expect_refusal 标记拒绝类场景；提供 FallbackProvider 处理提供商超时与限流，配套 CI workflow 还包含一个反向检查，确保已知坏的运行必须失败。
推荐理由：原文给出了评估门槛的完整做法，从确定性指标、阈值到基线回归都可直接复用到自己的 LLM 发布流程。
GitHub 项目 luo-sri/llm-arena 发布 v1.2.0（约 118.13 MB，附 SHA256），一款纯本地运行的多模型评测竞技场，通过 OpenAI 兼容接口接入模型，用相同题目、顺序和参数评测并自动判分、生成排行榜。内置 6 个预设套件、难度 L1~L5 题库（L4+L5 占比约 71%），采用规则判分加模型评审双通道，数据落在本机 SQLite 不上传，支持一键生成网页/Markdown/JSON 分享报告，仅支持 Windows 10/11 64 位。
推荐理由：本地评测工具把同题同参同判分做成可复现流程，做模型选型对比时可以直接复用这套公平性设计。
Prasthana Lab 发布 itact-785，一套针对印度《Income-tax Act 2025》的 785 道合规任务评测集，sha256 锁定、严格实体匹配判分、不用 LLM judge。最佳前沿模型 glm-5.3-flash 严格准确率 30.2%；四部分 ICAI 式合规任务所有模型 0/99；基于 Qwen3.5-4B 微调的 karsastra-4b 得 45.7%，超过全部前沿模型。数据与文档 CC BY-4.0，评测代码 Apache-2.0。
推荐理由：评测集在跑分前锁定题目并用严格实体匹配判分，读者可以借此核对各家模型在印度新税法合规任务上的真实差距。
friteuseb 在 GitHub 发布 reponse_opti 仓库，提供 12 行规则让 Claude、ChatGPT、Codex、Cursor 等助手以受控法语写作，灵感来自 Andrej Karpathy 建议让 LLM 按 80% ASD-STE100 航空维护标准解释。作者用 Claude Sonnet 5.5 在 10 个技术问题上做四条件盲测，由 Claude Opus 5.5 评判，v3 版分场景处理，行动类回答 7/10 更清晰且 8/10 更有用，解释类 10/10 更清晰但丢失 49% 信息，Kandel-Moles 可读性分从 78.5 升至约 84。规则可复制进 CLAUDE.md 等规则文件，或作为 Claude Code skill 按需启用，MIT 许可。
推荐理由：作者把 Karpathy 提到的 ASD-STE100 受控写作移植到法语，并附上四条件对比实测数据，方法可直接复用到 Claude Code 等工具。
GitHub 仓库 dryvist/mlx-benchmarks 提供了一套针对 MLX 量化和本地托管 LLM 在 Apple Silicon 上的可复现基准测试框架。它通过统一版本化的 schema. 结果契约、mlx-bench-publish 发布流水线和 Gradio 查看器，把 lm-eval 与 vllm benchmark_serving 等上游评测工具的原始输出转换后上传到 Hugging Face 数据集，文件名按内容寻址避免覆盖，并可读作 pandas DataFrame。
推荐理由：原文讲清了跨评测工具的统一结果契约与发布流水线，读者可以借此复用在 Apple Silicon 上量化模型的本地评测。
marinsokol5 在 GitHub 发布 am-i-nerfed，一个本地逻辑谜题自测工具，以 CLI 和 Agent Skill 形式判断模型当天是否被降智。任务由随机种子在本地生成，默认中等难度限时 180 秒，支持 Claude Code 和 Codex。2026-10-05 的初步横评中 gpt-6-astra 以 85.0% 排名第一，claude-opus-4-6 因从未在截止前保存答案得 0 分；作者还观察 to Anthropic 模型难以遵循简单指令、Fable 5.1 因安全分类器误拦无法可靠测试，以及 Anthropic 推理速度比 OpenAI 快约 4-6 倍。
推荐理由：工具让用户在自己的订阅环境里用私有任务自测模型当日状态，作者还附上了十三款模型的初步横评结果。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
ykstorm 发布 Goldset 0.3.0，一个在 CI 中对 AI 应用运行行为评测的 GitHub 工具，提供 goldenDataset、llmJudge、structural 和 grounding 四个 runner，分别捕捉输出偏离标准答案、开放式输出行为回退、输出结构破坏和答案缺乏上下文支持四类失败。它在每个 pull request 上以 GitHub Action 形式运行 *.eval.ts 评测文件，发布 delta-vs-base 评论并在评测失败或回退时使检查失败，只有当分支保护将其列为 required status check 时才会阻止合并。
推荐理由：原文给出了四个 runner 的失败模式、性能数字和 judge 成本实测，读者可以据此评估是否把它接入自己的 CI 流程。
r-siddiq 发布 llm-nexus 仓库，提供面向编码智能体的版本化编排协议与 Codex 配置，开发过程覆盖 GPT-5.6、GPT-6 和 GPT-6.1 的 100 多次基准测试。q10 对比中 v7/config v1 达到 11/30 通过、覆盖 7/10 任务族，v7/config v2（GPT-6.1 Sol、CLI 0.159.3）通过 12/30 但耗时 10 小时；v8 增加验收措辞后覆盖和耗时反而变差。维护者推荐的两文件 setup 未做基准测试，并指出 CLI 与桌面端的 developer_instructions 生效差异（对应 Codex issue #11004）等问题。
推荐理由：仓库给出了六个协议配置组合在同一基准下的实测对比和复现指南，读者可以据此评估配置调优对编码智能体工作流的实际作用。
PBH Applied Systems 在 GitHub 发布 quant_eval 公开语料库的推导工具，该语料库对全权重与量化大语言模型在八类 Agent 相关任务上做逐案例行为评测，含配对统计检验和公开 ground truth。仓库只发布推导契约而非评测引擎，通过源文件 SHA-256、build_manifest. 输出摘要构成可核查的完整性链；包含 build_datasets.py 和 make_figures.py 两个脚本，共七个数据集（D0-D7）， deposited on Zenodo（DOI 10.5281/zenodo.22009419），镜像到 Hugging Face 和 Kaggle。
推荐理由：原文公开了从源包推导评测语料的完整校验链和撤回声明，读者可以据此核查量化评测数据是如何生成的。
halu-sys 在 GitHub 开源 llm-probes，为本地 llama.cpp/llama-swap 栈提供部署级评测探针，回答只有本机才能回答的问题，如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成（可复现、无训练数据污染），由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过，并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。
推荐理由：针对本地 llama.cpp/llama-swap 部署的实测探针，给出各探针的真实运行结果与踩坑复盘，方法可直接复用。
aagit 开源了 synthmerge，一个基于 Patchpal 研究的命令行工具，利用 AI 自动解决 cherry-pick、merge、rebase 等操作产生的 Git 冲突，要求 git config merge.conflictStyle diff3。工具支持并行查询多个 AI 端点（Patchpal-backend、llama.cpp/vLLM 自托管模型、OpenAI、Gemini、Claude），按共识对结果排序，AI 生成的代码仍需在编辑器中人工审查后才能提交。内置 benchmark 在 1129 个 C 语言冲突上评测，单个模型最高为 Gemini 3.8 Flash（准确率 72.19%），全部模型加全部变体和 beam 聚合后准确率达 84.85%。
推荐理由：仓库附带完整的跨模型冲突消解基准数据，读者可以直接对比各模型和多端点聚合方案的实际准确率。
Teyeray 在 GitHub 发布终端工具 llmtap，可对任意 OpenAI 兼容端点测量 TTFT、吞吐（tok/s）等指标，并用 6 项固定检查（regex 评分，0–100 分）探测中转站是否降级模型，还能通过 GET /models 扫描端点全部模型。支持 OpenAI、DeepSeek、Moonshot、Qwen、OpenRouter、Ollama、LM Studio、vLLM 等，数据不出本机，提供 TUI、中英双语界面与可选成本统计，MIT 协议开源，安装需 Python 3.10+。
推荐理由：终端工具 llmtap 集延迟、吞吐、降级探测与中转站扫描于一体，还给出与同类工具的功能对比，便于按需选型。
AgentField 团队发布面向开源模型的编码 harness CodeAF，Apache 2.0 协议，Go 编写的单个二进制文件仅 53 MB。在 DeepSWE 用 DeepSeek V4 Flash 对十个 harness 的对比中，其 /senior-dev 子 harness 解决 issue 最多且单题成本最低，超过 Claude Code、Codex、OpenCode、Kilo 和 DeepSeek 自家 harness。产品以单窗口管理多项目任务，按任务自动分配 worker、planner、checker 六个模型席位，支持 headless 运行、远程 devbox 驱动和手机 ssh 接入，目前为 early preview。
推荐理由：官方给出了在 DeepSWE 上与 Claude Code、Codex 等十个 harness 的同模型对比数据，可据此评估其解题数与单题成本。