新闻、仓库与研究，按时间排列。
Tajima（Shumei University）公开了预部署评估研究的数据、分析脚本和图表代码，研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析（Study 2）基于日本国家护理考试 2018–2026 年间公开的 90 道题，90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应；修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。
作者发布塞尔维亚语大语言模型基准 serbeval，基于 lm-evaluation-harness 0.4.12，官方集 v1.2 共 351 题，其中 61 题经人工核验、214 题由四模型共识确认、76 题由其派生，重点考查翻译无法覆盖的语法现象如格支配、动词体、aorist/imperfect、正字法与西里尔/拉丁字母一致性。30 个模型经 OpenRouter 零样本评测显示 openai_gpt-6-sol 以 99% 居首，gemini-3.8-flash、claude-opus-5.5、gpt-6.1-sol 98%，前沿模型差距很小，剩余错误多为有争议的正字规范；DeepSeek V4 Pro 达 95% 超过 Sonnet 5.5（94%），Kimi K3 92%。
lablup 在 GitHub 上线 llm-benchmark-inventory 仓库，以韩语整理韩文与英文 LLM 基准、推理性能工具、公开性能对比和 GPU·引擎资源监测资料，英文界面后续单独提供。清单收录韩语基准 57 个（商用可用 28 个）与英文基准 31 个（商用可用 21 个），每个条目附任务示例、许可证、修改/再分发条件、lm-evaluation-harness 是否内建，以及分数出处和确认日期；基准卡还列出同源同配置下得分最高的 3 个模型与 3 个开放权重模型。许可证于 2026-09-26 核对，仓库提醒后续可能变化，使用前需复查原文。
Reddit 用户发布 browsecomp-plus-mini，从 BrowseComp-Plus 的 830 条查询中选出 15 条子集，用于低成本比较搜索智能体。该子集与完整基准的加权 Spearman 排序一致性达 0.88（随机 15 条为 0.75），全基准分差超 10 分的两个系统约 96% 情况下保持排序。答案均为 1-4 个词，按归一化精确匹配评分，无需 LLM judge，成本不足完整运行的 2%。
tgarg01 在 GitHub 开源了 silybench 网站背后的数据集，收录在租用 GPU 上实测的 LLM 服务性能、按日期记录的 GPU 租金与 API 价格表，以及由此推导的自托管与 API 成本对比。每个实验文件夹保留实验配置、硬件指纹、当日报价和原始证据（vllm bench serve JSON、GPU 遥测 CSV、vLLM 日志、lm-eval 结果），价格表每 6 小时由 CI 自动刷新，数据以 CC BY 4.0 许可发布，可用 SQLite、CSV 或 JSON 直接查询。
shi3z 在 GitHub 发布 npc-llm-bench，用于定量比较本地LLM作为日语游戏NPC的对话质量与速度，结果收录在 RESULTS.md。基准含73个测试，覆盖日语自然度、人格维持、知识边界、记忆一致性、状态反映、角色差异、诱导耐性和长期对话，并测量TTFT、并发吞吐与VRAM，最终输出加权NPC Score与7种排行榜。
推荐理由：作者给出了游戏NPC场景的73项测试、评分权重和RTX 4090等硬件上的11个模型实测结果，方法可复用。
作者发布 lmex 项目，将免费档 LLM API 拟为交易所 ticker，以 TTFT p99 毫秒数为价格，每 :07 由 GitHub Actions cron 运行 llm-latency-bench 基准并将结果提交到仓库，dashboard 用绿涨红跌反转色的蜡烛图展示延迟，错误率超 50% 即停牌。收录 Groq、Google Gemini、Cerebras、OpenRouter 等 7 个模型端点，每 tick 仅 6 到 10 次请求以留在免费额度内，743+ 条历史记录发布为 Kaggle 公开数据集，并附 latency-router 实时选择最快端点。项目 MIT 协议，无服务器，dashboard 由 GitHub Pages 读原始文件。
推荐理由：作者公开了整套测量流程、样本量局限和 p99 取舍理由，方法透明，读者可以直接复用或自己 fork 搭建。
该基准用 940 道 NYT Connections 谜题评测大语言模型，每题额外加入最多 4 个干扰词以提升难度，采用 quadratic-v1 计分。GPT-6 Astra（xhigh reasoning）以 98.1% 排名第一，Gemini 3.1 Pro Preview 以 97.4% 列第三；主榜仅收录完成全部 940 题的模型。
Open SLM Evaluations 发布，这是一个包含 106 个 SLM（150M 参数及以下）benchmark 成绩的数据集，附各模型链接、参数量与名称。评测独立完成，每个模型在 Runpod B200 上运行约 30 GPU 分钟，数据以 Apache 2.0 协议开源。
作者开源了一个基于 LLM 的发票结构化数据抽取与评测项目，用 claude-haiku-4-5 在 40 份合成测试发票上跑了三种提示词策略：rules 策略全字段正确率达 87.5%，few_shot 75.0%，zero_shot 60.0%，仅 zero_shot 与 rules 的差异通过配对 McNemar 检验显著（p=0.007）。项目具备固定种子、dev/test 切分和 API 结果磁盘缓存的可复现设计，并用确定性校验层检查数字一致性；事后故障注入测试显示完全自洽的错误数字（协调改价）在 49/49 次试验中都无法被算术校验发现，zero_shot 的校验召回率也只有 50%。数据为合成生成且仅测单一模型，结果未必适用于真实发票。
推荐理由：用合成发票把提示词策略、确定性校验和可复现评测串成完整流程，还用故障注入演示了纯算术校验的盲区，方法可迁移到同类抽取评测。
GitHub 用户 Maicarons 开源了 artificial-analysis-leaderboards 仓库，每日采集 Artificial Analysis 的公开排行榜数据快照，覆盖 LLM、text-to-image、image-editing、text-to-speech、text-to-video、image-to-video 六类榜单，数据每天 05:13 UTC 由 GitHub Actions 抓取，采用 MIT 许可。
法国政府项目 compar:IA 是一个开源 LLM 竞技场，用户提交提示词后由两个匿名模型作答并投票，事后揭晓模型名。项目由 DINUM、法国文化部和欧盟 ALT-EDIC 支持，2026年6月已累计 70 万次对话、25 万次投票（约89%为法语），测试超过 130 个模型。公共榜单以 Bradley-Terry 分数和 95% 置信区间呈现盲投票偏好，数据集以 Etalab Open Licence 2.0 与 CC BY 4.0 发布在 Hugging Face。2026年9月发布的 2.0 版新增消息历史、个人榜单和管理后台，支持企业、行业或语言社区用 Docker 自部署实例，丹麦的 AI-arenaen 已上线第二个实例。
Tinybird 发布了开源工具 llm-benchmark，用于评测各 LLM 依据自然语言问题生成分析型 SQL 的正确性，结果发布在 https://llm-benchmark.tinybird.live/。评测基于 2 亿行 GitHub archive 数据，每个模型需回答 50 个问题，支持通过 OpenRouter 测试 Grok-4、Claude Sonnet 4、DeepSeek Chat v3、Gemini 2.5 Pro、O3 等模型，测量的指标包括 SQL 正确性、执行成功率、首 token 时间、总耗时和 token 用量，生成的 SQL 无效时会将报错回传给模型自动重试最多三次。
作者开源了 gdpval-realworks，为 GDPVal Gold Subset 构建可复现的实验流水线和静态面板，覆盖 9 个行业 44 种职业共 220 项真实专家任务，要求模型产出表格、报告、演示等可审阅文件。仓库将执行完成、产物完整性、Self-QA 与外部评分四类信号分开记录，本地面板无需云端凭据即可运行，云上路径通过 OIDC、镜像摘要固定和 Docker 断网等控制限定边界；默认冒烟配置用 gpt-5.2-chat 生成、gpt-5.6-sol 评分，任务级成本按产生与评分两类分别记账。
GitHub 仓库 hehee9/CSAT-benchmark 记录并统计了各 LLM 解答 2026 韩国大学入学考试（수능）及模拟考题目的大量测试结果。测试覆盖国語、数学、英语、韩国史及物理1、化学1、生命科学1、社会文化四个探究科目（总分450），通过官方 API 进行，不提供系统提示词和搜索、计算器等外部工具，分普通模式（按科目整卷作答）和简单模式（逐题作答），成绩在仪表盘公开。评测对象包括 OpenAI GPT 系列（GPT-6.1 Sol、GPT-5.5 Pro 等）、Gemini、Claude、Grok、DeepSeek、Qwen、GLM、Kimi 等数十款模型的不同推理档位，另含图像题与纯文本题得分对比、API 成本与成绩相关性分析。
工程师学生 Jules 发布个人项目 AutoEval 试点版 0.1.0，在本地用 Ollama 运行 qwen3:1.7b 与 llama3.2:3b（Q4_K_M 量化），基于 3 份 NHTSA 召回报告、9 个案例评测特征抽取、时序分析与有来源摘要，共产生 36 条模型回答，API 成本为 0 欧元。首轮试点中 Llama 3.2 特征抽取得分 63.3%、时序 50.0%，Qwen 3 抽取为 0.0%、时序 40.0%，规则基线抽取 80.0%；语料仍小，结果尚待独立人工复核。
GitHub 项目 metabench 利用各 benchmark 分数间的高相关性，以加权双变量回归、多元回归、梯度下降等方法从其他评测分数预测未知 benchmark 成绩，并以均方误差评估效果。
该 GitHub 项目用 60 条虚构候选人评价比较多个模型在四项判断上的分类表现：Qwen3.5 4B（thinking-on）在有效答案中 47/51 全字段匹配。
GitHub 上的 llm-iq-data 是 llm-iq-dashboard 的独立公开数据仓库，持久化存储自动化流水线生成的评测数据，覆盖鹈鹕自行车基准与 2026 年 14 大前沿工程/视觉特效评测共 140 道题的脱敏运行记录与 SVG 矢量作品。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench，通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用，而非只看工具调用或回复文本，覆盖 507 个有状态业务工作流，每任务独立运行 20 次，已通过 OpenEnv 上线 Hugging Face。
推荐理由：基准不看工具调用而看数据库终态，18 个模型在 507 任务上跑 20 次，区分了单次成功与可依赖性，并给出每次可靠任务的成本对比。