新闻、仓库与研究，按时间排列。
Tajima（Shumei University）公开了预部署评估研究的数据、分析脚本和图表代码，研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析（Study 2）基于日本国家护理考试 2018–2026 年间公开的 90 道题，90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应；修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。
开源仓库 yuri4061/LLM-RGB 收录 15 个测试用例，从上下文长度（最长超 10K token）、推理深度和指令遵从三个维度评估 LLM 在复杂场景下的表现，单项难度之和乘以断言得分计分，15 例满分 100。评测基于 promptfoo 运行，2025 年 3 月 26 日结果为 5 次取平均，欢迎社区贡献新测试用例。
lablup 在 GitHub 上线 llm-benchmark-inventory 仓库，以韩语整理韩文与英文 LLM 基准、推理性能工具、公开性能对比和 GPU·引擎资源监测资料，英文界面后续单独提供。清单收录韩语基准 57 个（商用可用 28 个）与英文基准 31 个（商用可用 21 个），每个条目附任务示例、许可证、修改/再分发条件、lm-evaluation-harness 是否内建，以及分数出处和确认日期；基准卡还列出同源同配置下得分最高的 3 个模型与 3 个开放权重模型。许可证于 2026-09-26 核对，仓库提醒后续可能变化，使用前需复查原文。
作者 /u/zhebrak 发布了自建基准 BrokenML，测试 Agent 在不同权限级别下修复故障 ML 作业的能力，场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散，由独立验证器在全新集群上复跑作业来打分。
justinatusa 在 GitHub 发布开源小书 llm-eval-scoring-taxonomy，讲解模型输出如何经过判对错、合并多次采样、合并多个判官、合成总分变成榜单分数。全书按分数来路把评测分成四类：单独给一个模型打分、对照参考产出与相对比较、真实使用数据、跨 bench 合成指数，并用 data/benchmarks.csv 收录 227 个 bench 的完整标注数据，正文数值例子可用仓库脚本复现，最后解读 Artificial Analysis、LMArena、METR 等主流榜单的头条数字来源。
推荐理由：作者把 227 个 bench 按出分方式分成四类并给出可复现脚本，读者可以借此理解同一评测数字为何差出好几倍。
一项针对 HELM Safety 的心理测量学审计发现，「有害拒答」（模型拒绝危险或违规提示的倾向）可能并非单一可测属性。HELM Safety 四个相关数据集中三个已饱和，对其余的 HarmBench 进行的多维 item response theory 建模与 differential item functioning 分析均显示其分数背后不存单一属性，且 HarmBench 将不同危害行为压缩为一个分数。作者主张安全评分在用于模型比较前应先证明其单一属性解读成立。
该报告从检索相关性与答案质量两个层面、共四项评估考察 Redpine Science——一个通过 MCP 和 API 提供同行评审文献单一入口的工具。在 ScholarQABench SciFact 上，接入 Redpine Science 的智能体答对 94.4% 的断言，无检索时为 87.6%；在专家验证题集上，其答出 80.1% 的必要断言，纯 web search 为 70.2%。检索基准的 Recall@10 为 83.1%，专家盲评的 Precision@5 达 75.2%，PubMed 搜索工具为 39.8%。
Lyther 在 GitHub 发布 YuGiOhBenchmark，一个让大语言模型互相对战游戏王来测试推理能力的基准。项目通过 server ↔ MCP ↔ model 的链路连接模型，复用现有服务器 `koishi.momobako.com:2339` 进行对局。
ForecastBench 是一个动态、无污染的 LLM 预测准确性基准，包含人类对照组，可作为通用智能的参考指标。其排行榜和数据集每晚更新并开源在 GitHub，开发者可按官方说明提交模型参与评测，相关论文已被 ICLR 2025 接收。
作者发布受控版 CivBench，让 LLM 在 Civilization V 中担任战略家，测试长周期决策能力。每局固定三个相同开局，八文明中两个由被测 LLM 控制高层策略、六个由标准 Vox Populi AI 执行，结果显示 GLM-5.3 领先 Opus-5.5，Qwen-3.8-27B 表现出色。