按兴趣浏览，循来源深入。
Lavie-purple 发布 llm-radar 开源项目，将 LMArena、Artificial Analysis、llm-stats、LiveBench 四个评测源按 6 大类 17 子类并排呈现，不合成总分，只展示源内名次与跨源分歧度。页面零依赖、双击 index.html 即可打开，数据管道仅用 Python 标准库；当前快照收录 195 个模型、矩阵 124×17 共 2108 格，填充率 18.1%。项目还内置 selftest.js（236 条断言）、visual_check.js（148 项）、falsify.py（17 条证伪用例）与 check_deploy.js 四层守卫，并记录了 LiveBench 2.0 改版适配、抓取体检、行尾差异等实测踩坑。
推荐理由：作者解释了为何不合成跨源总分、分歧度如何计算，以及四层自检守卫的实测踩坑，方法可直接迁移到类似数据管道。
作者发布 llm-deployment-benchmarks 项目，在 Fireworks AI 上做两组实验，比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中，GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5，9B 模型响应快 4–7 倍也打平，而对含噪标签微调反而变差；国际象棋任务中，对 73k 局面的微调把合法走子率从 36% 提到 71%，但最佳走子准确率仍是 3%，只有前沿级开源模型 Ember-1 接近 Claude，约为每步 4 倍时间和成本。
推荐理由：作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距，结论是 prompt 质量常比模型大小更关键。
作者开源 agents-per-gpu 仓库，在单张 48 GB A40 上以 Agent 形态负载实测 vLLM 0.32.0、SGLang 0.5.9 和 TensorRT-LLM 1.2.1 服务 Qwen3-4B 的并发容量。开启 prefix caching 后三个引擎均能承载 6 个并发 Agent 会话，关闭时仅 2 到 3 个，且每任务成本降至原来的三分之一到五分之二；8 秒 step SLO 下 SGLang 以 4 个会话领先。INT4-AWQ 量化的 Qwen3-8B 在工具调用精度持平的情况下比 BF16 的 4B 承载更多 Agent。所有数字可用 apg report 从 results/ 复现，方法与细节见 reports/REPORT.md。
推荐理由：作者在单张 A40 上实测三种推理引擎的 Agent 并发容量，并给出 prefix caching 带来的容量差和每任务成本数据。
/u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。
PipeRoll 开源了 seismograph 仓库，一个独立模型行为观测站，自 2026-08-20 起每日对 43 个文本模型（16 家实验室，含 Anthropic、OpenAI、Google、DeepSeek 等）运行固定探针电池，发布行为漂移的 witnessed readings，实测已上线（seismo.piperoll.org）。设计上采用双层电池：Tier 1 固定探针累积基线，Tier 2 每次程序化生成新题用于检测评估作弊导致的固定分与新鲜分 divergence；每次读数经 cosign 签名锚定到 Rekor，附完整 provenance。
推荐理由：每日固定探针加冻结基线的设计，把模型行为漂移变成可追溯的观测记录，方法论与治理规则都公开可查。
jocohen1990 在 GitHub 发布 llm-eval-project，一套针对 RAG 财务问答助手的端到端评测框架，用虚构公司 Kestrel Freight Analytics 的四份文档构造 golden 数据集，含规则 grader、LLM judge 和 CI 质量门。框架用变异测试、人工盲标校准（Cohen's kappa）和重复运行一致性来验证 judge 本身，judge-v2 在 50 条人工标注上 kappa 从 0.83/0.59 提升到 0.87/0.59，57 个植入错误全部被捕获。项目还测出相隔 9 天同一请求有 6/32 答案措辞漂移但无判定翻转，提示单次评测分数差异不能直接当作回归证据。
推荐理由：作者用变异测试、盲标校准和重复运行一致性来验证 LLM judge 本身，还测出相隔 9 天的答案漂移，方法可直接迁移到自己的评测流程。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。
shi3z 在 GitHub 发布 npc-llm-bench，用于定量比较本地LLM作为日语游戏NPC的对话质量与速度，结果收录在 RESULTS.md。基准含73个测试，覆盖日语自然度、人格维持、知识边界、记忆一致性、状态反映、角色差异、诱导耐性和长期对话，并测量TTFT、并发吞吐与VRAM，最终输出加权NPC Score与7种排行榜。
推荐理由：作者给出了游戏NPC场景的73项测试、评分权重和RTX 4090等硬件上的11个模型实测结果，方法可复用。
reliable-era 发布 karpathy-jev，一个 Claude Code 技能，在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code，交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上，Claude Code + Sonnet 5 下该方案解决 20/20，虚假完成声明 0 次（原生 2 次），最后一次编辑后真正跑测试的比例 13/20（原生 1/20）；解决数差异在 n=20 下不显著，单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能，强制 hooks 是行为改变的关键。
推荐理由：原文同时给出方法和实测数据，读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。
super-squalo 在 GitHub 开源 best-llm-for，用 npx best-llm-for 在终端按代码、图像、视频、智能体、数学、推理六个领域查看各模型基准成绩与价格，并提供网页版。只保留模型厂商自己发布的分数，弃用厂商发布会上对竞品的成绩共28条，自报成绩与第三方实测分开标注，数据由 GitHub Action 每日重建、可离线使用，另附带 Claude Code skill 供项目内直接引用该数据。
推荐理由：它把各家只挑对自己有利的分数拼成终端里的一张总表，只保留模型厂商自报成绩并区分自报与第三方实测，信息口径比较透明。
luongnv89 在 GitHub 开源 m-bench，一套针对自己机器基准测试完整 LLM 配置（serving 参数、thinking 模式、编码代理）的工具，每个任务附参考解，validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4（MoE，约 3B 激活）跑 vLLM，关 thinking，core16+hard12 达 82.1% pass@1，吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分，但在工具循环中可把轮次从 6.8 降到 5.2；同一权重经四个不同代理得分相差最多 23 分。
推荐理由：原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大，为本地部署选型提供了可复用的基准方法和结论。
justinatusa 在 GitHub 发布开源小书 llm-eval-scoring-taxonomy，讲解模型输出如何经过判对错、合并多次采样、合并多个判官、合成总分变成榜单分数。全书按分数来路把评测分成四类：单独给一个模型打分、对照参考产出与相对比较、真实使用数据、跨 bench 合成指数，并用 data/benchmarks.csv 收录 227 个 bench 的完整标注数据，正文数值例子可用仓库脚本复现，最后解读 Artificial Analysis、LMArena、METR 等主流榜单的头条数字来源。
推荐理由：作者把 227 个 bench 按出分方式分成四类并给出可复现脚本，读者可以借此理解同一评测数字为何差出好几倍。
作者发布 lmex 项目，将免费档 LLM API 拟为交易所 ticker，以 TTFT p99 毫秒数为价格，每 :07 由 GitHub Actions cron 运行 llm-latency-bench 基准并将结果提交到仓库，dashboard 用绿涨红跌反转色的蜡烛图展示延迟，错误率超 50% 即停牌。收录 Groq、Google Gemini、Cerebras、OpenRouter 等 7 个模型端点，每 tick 仅 6 到 10 次请求以留在免费额度内，743+ 条历史记录发布为 Kaggle 公开数据集，并附 latency-router 实时选择最快端点。项目 MIT 协议，无服务器，dashboard 由 GitHub Pages 读原始文件。
推荐理由：作者公开了整套测量流程、样本量局限和 p99 取舍理由，方法透明，读者可以直接复用或自己 fork 搭建。
作者开源了一个基于 LLM 的发票结构化数据抽取与评测项目，用 claude-haiku-4-5 在 40 份合成测试发票上跑了三种提示词策略：rules 策略全字段正确率达 87.5%，few_shot 75.0%，zero_shot 60.0%，仅 zero_shot 与 rules 的差异通过配对 McNemar 检验显著（p=0.007）。项目具备固定种子、dev/test 切分和 API 结果磁盘缓存的可复现设计，并用确定性校验层检查数字一致性；事后故障注入测试显示完全自洽的错误数字（协调改价）在 49/49 次试验中都无法被算术校验发现，zero_shot 的校验召回率也只有 50%。数据为合成生成且仅测单一模型，结果未必适用于真实发票。
推荐理由：用合成发票把提示词策略、确定性校验和可复现评测串成完整流程，还用故障注入演示了纯算术校验的盲区，方法可迁移到同类抽取评测。
marinsokol5 在 GitHub 发布 am-i-nerfed，一个本地逻辑谜题自测工具，以 CLI 和 Agent Skill 形式判断模型当天是否被降智。任务由随机种子在本地生成，默认中等难度限时 180 秒，支持 Claude Code 和 Codex。2026-10-05 的初步横评中 gpt-6-astra 以 85.0% 排名第一，claude-opus-4-6 因从未在截止前保存答案得 0 分；作者还观察 to Anthropic 模型难以遵循简单指令、Fable 5.1 因安全分类器误拦无法可靠测试，以及 Anthropic 推理速度比 OpenAI 快约 4-6 倍。
推荐理由：工具让用户在自己的订阅环境里用私有任务自测模型当日状态，作者还附上了十三款模型的初步横评结果。
halu-sys 在 GitHub 开源 llm-probes，为本地 llama.cpp/llama-swap 栈提供部署级评测探针，回答只有本机才能回答的问题，如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成（可复现、无训练数据污染），由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过，并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。
推荐理由：针对本地 llama.cpp/llama-swap 部署的实测探针，给出各探针的真实运行结果与踩坑复盘，方法可直接复用。
rafaelKyra 在 GitHub 发布 local-llm-fieldbook 仓库，公开本地大模型在智能体编码场景的实测数据与评分工具。仓库保存 17 个模型构建在 14 项编码任务上的答案（单次运行），附评分脚本 harness/score_grid.py，复算可精确复现已发布的每任务通过数（如 task 1: 3/17）。
推荐理由：作者公开了17个本地模型在14项编码任务上的原始答案与评分脚本，任何人可复算，并区分了测量与主观笔记。