方向
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测，尤其是针对无对齐模型与角色扮演场景的那部分。
193 条精选近 30 天 193 条共收录 882 条
作者发布 agent-time-bench 基准，测量 LLM 智能体在用户表述、工具参数（ISO 8601 UTC）和渲染答案三种时间表示之间转换的准确性，含 10 个领域 × 10 个单轮场景，goldens 经手工推导并机械交叉验证。对 7 个模型的研究显示，使用基于 nl2time 的确定性时间工具后，工具调用时间边界达 94–98%，时间戳渲染 86–98%，一个约 4B 激活参数的开源模型边界准确率从 14% 提升到 94%。代码采用 Apache License 2.0，内容采用 CC BY 4.0。
推荐理由：原文给出完整的场景构造、评分方式和7个模型的实测结果，读者可以了解智能体处理日期时间任务的真实水平与改进方法。
DaveEuson 发布 RigMatch，一款本地工具，通过 Ollama 在用户真实硬件上基准测试本地模型，按速度、答案质量和硬件契合度给出 0-100 Match Score 和等级，并选出 Top Match。应用提供面向新手的五步引导向导和含自定义测试套件、日志的 Advanced Mode，支持 Windows、macOS、Linux 和 Jetson，全程本地运行、无账号无遥测。许可为 source-available 而非开源，允许使用但不授权复制、修改或再分发；0.4.2 及之前的 macOS 版本未签名，首启可能需手动清除隔离并本地重签。
推荐理由：把选本地模型包装成相亲游戏，按你自己的硬件实测速度、质量和匹配度并给出 0-100 分，比看通用榜单更贴合实际。
作者 Erik Hill 在 GitHub 开源 model-drift，一个 LLM 可观测性看板：冻结测试集按计划对 17 个在线模型每日各跑 35 个任务、每模型 3 次取中值，追踪准确率、速度、冗长度、可靠性与拒绝率五个指标，约 1,800 次调用每晚成本仅几美分。35 个任务全部由确定性评分器（精确匹配、子串、正则、数值比较）机械打分，温度设为 0（拒绝该参数的模型除外）；可靠性低于 50% 的运行不计入准确率点，identity.py 通过回显的模型 id 检测别名或路由降级。
推荐理由：作者详细说明了确定性评分器、可靠性指标与三次取中值等设计，读者可以据此评估漂移追踪工具如何区分真实回归与采样噪声。
vamsi513 在 GitHub 发布 EvalForge，一个基于 FastAPI、Next.js 16 和 SQLAlchemy 的 LLM 评估平台，提供 5 信号确定性评分、OpenAI/Anthropic/Mistral/Ollama judge 适配、实验排行榜、发布门禁与异步任务，已部署在 AWS EC2 和 Vercel 并附在线 demo。60 例 judge 基准显示三种 judge 的平均分数在 n=60 下无统计差异，本地 qwen2.5:7b-instruct 与 OpenAI 通过率一致度 93.3%、Cohen's kappa 0.859。
推荐理由：作者用真实 API 调用实测了各家 LLM judge 的延迟、成本与一致性，还给出拒绝措辞掩盖泄密这一评分陷阱的具体案例。
GitHub 项目 northwindlight/zhanguo 发布，这是一个 N 个 LLM agent 各治一国、在纯文本大战略游戏中互相竞争的项目，同时定位为考察长程决策能力的 LLM 基准。游戏提供 35 个 function calling 工具、外交与间谍体系、按总消费排名的评测指标与对抗性实验证明其不可刷分；地图由 (seed, size) 决定、同种子可完全复现，唯一依赖是 openai，无 API key 的国家由内置规则 AI 代打（v11plus 比 v10 实测多拿约四成地）。上下文按递归长期记忆加非滑动周期压缩布局，压缩调用实测前缀缓存命中率 93.6%（2026-10-02 端点实测），另有 feat/rl 分支维护 BC/PPO 训练线，许可为 MPL-2.0。
推荐理由：把长程能力基准做成可复现的纯文本大战略游戏，同种子对照与缓存优化设计都写在明处，适合想实测模型长程决策的人拿来直接跑。
SeraphimSerapis 在 GitHub 发布 tool-eval-bench，一个针对智能体工作流中大语言模型工具调用质量的开源基准，支持 vLLM、SGLang、LiteLLM、llama.cpp、TensorFold 及 Gemini、Anthropic 端点。它通过 OpenAI 兼容接口运行 69 个确定性场景（另有 23 个可选 Hard Mode），按 pass/partial/fail 评分并生成对话 trace；附带吞吐、长上下文检索、GSM8K/MMLU/IFEval 等评测，安全违规且安全组得分低于 50% 时评级封顶三星。
推荐理由：这是一个面向自托管推理栈的工具调用质量基准，场景设计、评分规则和部署元数据分组都写得具体，适合想对比本地模型工具调用能力的人参考。
作者发布 InferBench 基准，用 20 个场景、2.8k 段对话测试 12 个 LLM 从指令中推断用户优先级的能力。优先级明确时模型选对率 89%，部分未说明时降到 60%；GPT-6 Astra 76%、MiMo V2.6 Pro 75%、Gemini 3.1 Pro 69%。Astra 在偏好未说明时总会追问澄清，Grok 4.6 在 64 段对话中仅 18 次追问；288 个错误决策中 105 个以 >90% 置信度提交。完整报告：https://laugh.so/research/inferbench/
推荐理由：作者自建 InferBench 评测并给出 12 个模型的推断准确率与置信度数据，开源与闭源模型的差距有具体数字可查。
Nextron-Labs 在 GitHub 发布 THOR finding 分诊基准，用 10 份 THOR 报告中 189 条专家分类的发现评测 81 个完整模型，按分类质量与运营实用性对比人类专家基准。按部署档位给出画像冠军：gemini-3.7-flash 以 0.0% Critical Miss 领跑高安全与均衡 SOC 画像，qwen3.6-max 以 22.7% False Review Load 领跑降噪画像但有 12.7% 漏报；开源消费级硬件档由 gemma4-31b 与 qwen3.6-27b 领跑。评测不使用外部工具与模型专属提示词，结果强调没有单一最优模型，需按漏报风险、审阅负载、成本与部署约束选择。
推荐理由：THOR 官方发布的域内分诊评测，按部署档位给出画像冠军而非单一总榜，为安全运营选型提供了可复用的权衡框架。
kamui 在 GitHub 发布 code-review-bench，一个用于在开源 PR 上对比代码评审配置的本地浏览器，当前展示 v1 记分卡，690 次已收录评审全部完成评分。语料含 16 个 PR 任务、52 个因果问题族（30 个严重、22 个其他实质）和 17 种配置，内置 Claude Code 与 Codex 评审、ce-code-review 和 thermo-nuclear-code-quality-review，个人 /review-code 配置（Sonnet 5.5）为实验项。评估员审计第一轮仍在进行，最后一次评分提出 14 个待裁定候选问题，因此暂不显示总体推荐。
推荐理由：原文详细公开了评分内核、判定规则与证据保留方式，读者可以据此理解该代码评审基准如何保持各维度可比。
riccardogiorato 的 GitHub 仓库记录了在一张 2018 年 8 GB 显存的 RTX 2080 上实测的 25 个模型，按 AG-Bench v2.1（11 个 canary 校验任务）给出 Top 10 排名，每个模型附完整 artifact、运行时 digest、启动配置与可复现命令，失败也一并记录。关键发现包括：约 2 bits-per-weight 以下推理链断裂（IQ1_S 空转、Flash-Next-125B 直达 EOS），Bonsai 仅靠把上下文从 8K 提到 64K 分数就从 5/11 涨到 8/11；UBBoost 主张被复现，A3B 用 -ub 4096 预填充提速 24%。仓库含 recipes、raw JSONL 证据与基准套件。
推荐理由：在同一张 8 GB 老卡上跑通 25 个模型并给出可复现配置与量化下限结论，想选本地模型的人可以直接对照结论。
dripston 在 GitHub 开源 vindex 0.6.0，用于评测印地语、Hinglish 及其他印度文字的 LLM 应用，捕捉纯英文评测工具漏掉的失败。
推荐理由：针对英文评测工具漏掉的印度语系文字不匹配问题，提供免费确定性检查与 CI 集成，方法可直接迁移到多语言应用。
onprs 在 GitHub 开源 OnprsBench_Core，一个本地优先的 LLM Benchmark Lab，用于长期评测、对比和追踪大语言模型的真实推理能力。
推荐理由：把评测对象定义为模型、渠道、思考强度等组合，并给出程序判题、成本留档与历史重评等可复用的长期评测做法。
作者在 AMD Ryzen AI MAX+ 395（Radeon 8060S iGPU、128 GB LPDDR5X 统一内存）一台机器上汇总了 42 个模型的生成速度实测数据。
推荐理由：作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度，并给出各引擎配置和测量口径，便于横向比较本地部署方案。
ErixWong 发布 llm-benchmark，一个针对 OpenAI Chat Completions 兼容端点的命令行压测工具，可测量 token 生成速度、首 token 延迟、吞吐与成功率，输出 JSON / Markdown / HTML 报告。
推荐理由：作者开源了自研的 LLM 端点压测工具，指标口径与 NVIDIA AIPerf 等对齐，并给出 ttft 口径变更等测量陷阱说明。
推荐理由：开源评测框架把隐藏测试、确定性评分和成本记录做成完整流程，还支持订阅版 CLI 与原始 API 两种测法，可复现性设计较细。
dzaragoza 发布 LLM-benchmark 仓库，配套独立研究 Small Models, Big Claims（DOI: 10.5281/zenodo.22855666），测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由：作者把整套基准流程做成一条命令加两个离线选型页，读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。
Icaro0310 发布开源项目 devin-evals，一个针对 Devin Agent 工作的评测框架，通过定义带评分标准的用例，回放 Devin 已记录的会话并按时间打分，为「Agent 是否变好」提供数字信号。
推荐理由：这个评测框架用 Devin 会话里已记录的 tool_call_state 做确定性打分，把提示词改动后的回归信号变成可复现的数字。
harshnsawant-source 在 GitHub 发布 evalnoise，一个读取已有逐题评测结果、判断提示词改动是真实提升还是落在噪声内的 Python 工具。
推荐理由：作者用 qwen2.5:3b-instruct 上 240 题的实测说明聚合分数如何被噪声掩盖，并给出 A/A 校准噪声底的可复用做法。
Reddit 用户 /u/PilgrimofHaqq2 发布 9 条可加入 AGENTS.md、CLAUDE.md 或系统提示词的思考纪律规则，在 4 个模型上共 664 次运行测试，任务零损失，最多减少 29% 思考量。
推荐理由：作者用 664 次运行和盲测脚本验证 9 条规则，给出各模型思考量变化和被无证据要求回退时的表现差异，方法可复用。
john-rocky 在 GitHub 发布 edge-llm-bench，一个面向真实设备上本地 LLM 引擎的中立、可复现基准测试框架，覆盖 LiteRT-LM、llama.cpp、MLX、Apple Core AI、Cactus 五个引擎和 Mac Studio (M4 Max)、iPhone 17 Pro、Pixel 8a、Galaxy S26 四台设备。
推荐理由：原文给出了可复现的本地 LLM 引擎基准测试框架，含持久化原始记录、回归判定和跨设备续航测试协议。