方向
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测，尤其是针对无对齐模型与角色扮演场景的那部分。
193 条精选近 30 天 193 条共收录 882 条
GitHub 开源项目 agent-evals 发布，用于测量工具调用型 LLM Agent 的准确率与幻觉，通过保留集验证的改动改进 Agent。框架包含 AWS docs agent（逐条引用与文档快照核对，虚构页面和错引由代码标记）和 boto3 代码 agent（按 botocore 服务模型检查 API 调用，在 moto 无网络沙箱运行）。评分优先用引用检查、关键词检查等纯代码确定性 graders，代码无法判定的部分才用 LLM judge；每个指标带 bootstrap 置信区间、McNemar 检验和 τ-bench 的 pass^k，运行记录含 git SHA、prompt hash 等完整 manifest。
推荐理由：开源的 Agent 评测框架，先跑代码级确定性评分再上 LLM judge 的思路值得借鉴，统计方法部分也可迁移到自家项目。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
hanlinwenyuan 发布开源工具 hlwy-ai-checker，用于检查第三方 AI API 是否掺假及渠道一致性，可完全本地部署以保护 API Key 与测试数据。原理是利用大模型被要求随机选数时的统计偏差形成指纹，先以官方 API key 标定，再测试第三方渠道并比较指纹相似度；作者说明这属于统计检测，结果受模型版本、采样参数等因素影响，不能作为商业纠纷的法律或事实依据。
推荐理由：原文讲清了用随机采样统计指纹检测第三方 API 渠道真伪的原理和使用流程，方法可复现且可本地部署。
GitHub 开源库 figured 发布，提供两类无参考、确定性的在线评测，对每个回答的数字和每次工具调用参数溯源，单次检查约 150 µs、每次工具调用约 25 µs（p99 0.19 ms），零依赖、无模型调用，Python 3.10+，pip install figured 可装。库支持 before_call 的 allow/warn/block/confirm 四种裁决、来源规则限制值只能来自指定通道（可拦下间接提示注入类载荷）、重复调用与预算检查，并能重放 OpenAI、Anthropic、Gemini、Bedrock、LangChain 及 tau-bench、AgentDojo 等格式的记录用于离线评测和 CI。
推荐理由：原文给出基准实测数字、延迟数据和局限清单，读者可据此判断这套无参考确定性检查是否适合接入生产流量。
noonghunna 发布 benchlocal-cli，一个面向任意 OpenAI 兼容端点运行 LLM 行为评测包的 CLI，采用确定性 verifier 判分而非 LLM-as-judge。v0.9 加入 aider-polyglot-30（基于 Aider-AI/aider 的 benchmark.py，覆盖 cpp/go/java/js/python/rust 共30题），并内置 BenchLocal 的8个 MIT 许可评测包、可选推理套件（HumanEval+、LiveCodeBench v6、GSM-Symbolic、GPQA-Diamond）。
推荐理由：README详述了各评测包、确定性判分器和Docker沙箱机制，可了解如何在CI中给量化模型做可复现的质量门槛。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。
shi3z 在 GitHub 发布 npc-llm-bench，用于定量比较本地LLM作为日语游戏NPC的对话质量与速度，结果收录在 RESULTS.md。基准含73个测试，覆盖日语自然度、人格维持、知识边界、记忆一致性、状态反映、角色差异、诱导耐性和长期对话，并测量TTFT、并发吞吐与VRAM，最终输出加权NPC Score与7种排行榜。
推荐理由：作者给出了游戏NPC场景的73项测试、评分权重和RTX 4090等硬件上的11个模型实测结果，方法可复用。
reliable-era 发布 karpathy-jev，一个 Claude Code 技能，在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code，交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上，Claude Code + Sonnet 5 下该方案解决 20/20，虚假完成声明 0 次（原生 2 次），最后一次编辑后真正跑测试的比例 13/20（原生 1/20）；解决数差异在 n=20 下不显著，单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能，强制 hooks 是行为改变的关键。
推荐理由：原文同时给出方法和实测数据，读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。
htang7415 在 GitHub 发布 MaxionBench，一个针对 LLM serving、RAG 和 Agent 的可复现决策评测框架，对比 llm-d 路由的自托管 vLLM、受管 Gemini API 及其混合方案。v0.4 基于 GitHub Copilot 生产流量（301k 会话、中位提示 57k token）实测五种上下文策略：仅 summarize 在校正后判分下准确率显著更高（+20 点），裁写历史会丢失 Gemini 隐式前缀缓存，而缓存感知变体保留约一半缓存、成本比 full 低 17-29%；v0.5 将策略移入 Go 网关后，Gemini 计费 token 减半且准确率未降。
推荐理由：作者用带置信区间的重复实验量化了不同上下文策略在准确率、API 成本和服务端 KV 压力上的取舍，方法可复用。
Caesar 是一个开源自主研究智能体，通过持久知识图谱上的深度网页探索和对自身草稿的对抗式修正来综合答案，定位为 ChatGPT Deep Research 与 Perplexity 的开源替代。在盲评 LLM-as-a-Judge 创造性评测中，Caesar 全文配置得 26.96/30，高于 Gemini 3 Deep Research（23.78）和 GPT-5.2 Deep Research（15.74），Cliff's δ ≥ 0.76，另有 23 人的人类评测佐证；在 ~$5/挑战的等算力对比中仍领先。
推荐理由：原文给出了基于知识图谱探索与对抗式合成的完整架构说明，并用LLM评审和人类评测数据对比主流深度研究产品，方法可复现。
GitHub 上的 local-llm-bench-lab（v0.11.0）发布，用一个 YAML 文件描述模型、llama.cpp 设置和变化参数，自动编译、下载模型、跑完所有组合并存入 SQLite，最后给出胜出配置和对应的 llama-server 部署命令。工具优先为 Raspberry Pi 5 设计，也可在任意 Linux PC 包括 WSL2 上运行，测量速度、延迟、质量与并发，每个结果记录 llama.cpp commit、模型 sha256、完整 flags 和机器信息，附带置信区间、运行间冷却和不稳定标记，并可选用 lm-evaluation-harness 与 LLM judge。
推荐理由：工具用单个 YAML 定义实验矩阵并自动记录 llama.cpp commit、模型 sha256 与硬件信息，可迁移到自己的本地模型对比流程。
danctorres 在 GitHub 发布开源工具 modelcmp，将模型价格与基准并列展示，按编码、Agent、推理等任务在 free、low、mid、high 四档价位推荐最优模型。它读取已安装的 harness（opencode、Claude Code、Codex 等）与本地运行器（ollama、llama.cpp），提供 TUI 筛选比较、收藏、下载运行本地模型，并通过 skills CLI 让 Agent 在分派子任务时用 modelcmp pick 选模型。数据来自 models.dev、Epoch AI、Artificial Analysis 和 Arena，基准缓存 24 小时，支持 -- 脚本调用，MIT 许可，支持 Linux 与 macOS。
推荐理由：把价格与多来源基准并排，按任务和四档价位推荐模型，还能给 Agent 提供 CLI 选型命令，方法可直接复用。
论文提出 HOA（Humanize Olympiads Agent），一个开源的流程级框架，通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时，HOA 在 IMO、IPhO、IOI 2026 满分，IChO 2026 接近满分，PutnamBench 672 题全部解出，并以 251/304（82.6%）位居 Lean-Eval 榜首；改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分，IChO 达 97.1% 金牌水平，部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。
推荐理由：论文提出多会话协作框架替代单会话求解，并给出用开源模型逼近闭源模型奥赛成绩的对比数据，方法可迁移到其他长程推理任务。
super-squalo 在 GitHub 开源 best-llm-for，用 npx best-llm-for 在终端按代码、图像、视频、智能体、数学、推理六个领域查看各模型基准成绩与价格，并提供网页版。只保留模型厂商自己发布的分数，弃用厂商发布会上对竞品的成绩共28条，自报成绩与第三方实测分开标注，数据由 GitHub Action 每日重建、可离线使用，另附带 Claude Code skill 供项目内直接引用该数据。
推荐理由：它把各家只挑对自己有利的分数拼成终端里的一张总表，只保留模型厂商自报成绩并区分自报与第三方实测，信息口径比较透明。
GitHub 项目 cage 通过 13 个固定槽位、逐句要求附上 README 原文引用、代码做字符串核验加模型事实检查（fail closed）、最多 3 次修复，用 qwen3.5:9b 在 8 GB GPU 上生成 GitHub 仓库解说词。盲测中 3 家公司的评委对 16 个仓库共给出 36 份裁决：cage 版本事实错误比无约束的同模型少 94%，错误数 2.7 对比 gold 版 4.6；但未达到预设的超越 gold 版 ≥45% 目标（实测 42%），评委仍更偏好前沿模型的 hook 和声音。单脚本成本 0 美元，单张 RTX 3070 约 6 分钟，代码 Apache-2.0 开源，详见 RESULTS.md 与 PROTOCOL.md。
推荐理由：原文给出预注册协议、三评委盲测与错误率数据，读者可以评估这种凭据约束方法对小型本地模型幻觉的抑制效果。
Pablo Manrique 等在 arXiv 发布 SqueezeBench，一个抗饱和的数学能力基准，每题固定一个仅在小区间取值已知的整数函数 f(n)，提交者用机器证明的 Lean 函数给出更优上下界记录，成功会抬高门槛而非移除题目。基准附带极值组合学十个问题和二十个初始记录，前沿模型代理每记录限 1 小时通过 82 次提交改进全部记录；两个更新模型接续又通过 60 次提交改进了 20 个记录中的 19 个。10 个问题中有 8 个仍至少有一个记录渐近落后于已发表最优界。
推荐理由：提出以记录递进式构造衡量数学能力，缓解基准饱和问题，并给出多代模型代理的实测数据。
作者在 Salesforce/xlam-function-calling-60k 上微调 SmolLM2，135M 全量微调达 21.80%，1.7B LoRA 达 83.47%、QLoRA 达 72.61%，Instruct 起点比 base 起点高 8.4 个点。作者还用 LLM-as-judge 加盲审人类复核审计评测本身，估计约 15.0% 的 exact match 失败是对任何模型都无法产出的参考答案打分，高于此的原始 20.5% 被修正；1.7B 微调模型与 235B 通用模型在 300 例子集上统计上无显著差异。仓库含完整训练、评测、judge 审计脚本与模型和数据集产物。
推荐理由：作者在给出微调结果的同时，用盲审人类复核修正了基准里不可推导参考答案的比例，评测方法本身值得细读。
luongnv89 在 GitHub 开源 m-bench，一套针对自己机器基准测试完整 LLM 配置（serving 参数、thinking 模式、编码代理）的工具，每个任务附参考解，validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4（MoE，约 3B 激活）跑 vLLM，关 thinking，core16+hard12 达 82.1% pass@1，吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分，但在工具循环中可把轮次从 6.8 降到 5.2；同一权重经四个不同代理得分相差最多 23 分。
推荐理由：原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大，为本地部署选型提供了可复用的基准方法和结论。
IIT Madras CeRAI 团队（EMNLP 2026 论文配套 GitHub 仓库）检验 LLM-as-a-Judge 是否真的依据评分标准推理：仅用 rubric 文本训练的探针分类器就能预测 Qwen2.5-7B-Instruct 评审的结论，HealthBench 上平衡准确率达 0.80–0.88。反事实实验中，反转回答仅 37.7% 的样本对上评审如期翻转，反转评分标准时仅 16.8%（Gemma）/ 32.2%（LLaMA），并开源了完整探针、扰动与分析脚本。
推荐理由：IIT Madras 团队用只看评分标准的探针分类器复现判断结果，并给出反事实扰动数据，方法可复用。
justinatusa 在 GitHub 发布开源小书 llm-eval-scoring-taxonomy，讲解模型输出如何经过判对错、合并多次采样、合并多个判官、合成总分变成榜单分数。全书按分数来路把评测分成四类：单独给一个模型打分、对照参考产出与相对比较、真实使用数据、跨 bench 合成指数，并用 data/benchmarks.csv 收录 227 个 bench 的完整标注数据，正文数值例子可用仓库脚本复现，最后解读 Artificial Analysis、LMArena、METR 等主流榜单的头条数字来源。
推荐理由：作者把 227 个 bench 按出分方式分成四类并给出可复现脚本，读者可以借此理解同一评测数字为何差出好几倍。