新闻、仓库与研究，按时间排列。
一项研究在六语言因子设计中用 10 个开源模型（3B-14B）检验多语言 P(True) 自我评估，基准为 LSQA、MMMLU 和 TriviaQA。三种语言各自影响评估的不同方面：对齐回答与问题或验证器语言可提升区分度但不改善校准，仅验证器语言就可使校准误差变化达 0.04；未经验证的评分器会把 MMMLU 英-印地语准确率差距从 0.198 缩到 0.038。因此多语言置信度结果只在三种语言均报告且评分器经过验证时才具可比性。
研究者对文档分类标准 benchmark RVL-CDIP 进行系统审计，发现其 400,000 份文档中约 10.5% 标签错误，35.2% 的测试集在训练集中存在重复或近似重复。移除页面识别码后 SOTA 模型损失 11 个百分点，图像模型在分布外文档上损失 16 至 28 个百分点。团队重训 25 个模型并发布去标识化修正语料，重训的 13 个模型准确率提升 0.9 至 2.9 个百分点，最高的 LayoutLMv3 达 96.5%。
一项实证研究评估了四个专用决策模型在越南语零-shot 分类中的表现，覆盖六个任务组共 13 个分类设置，并测试英语、越南语和双语标签描述及 teencode、拼写错误、去声调等语言扰动的影响。结果显示，英语标签描述下 JEV 表现最强，在 11 个分类设置中排名第一，双语描述并无一致提升；去声调导致的性能下降最大，使平均 macro-F1 降低 9.51–15.47 分。
TTS 通常用 ASR 转录输出评估词错误率，但识别器本身的错误也会被计入。在 LibriSpeech 和 FLEURS 上，评估识别器对人类语音中极罕见词的漏识率达 33-67%，用另两族识别器复核后，至少一个识别器听到的词的表观 TTS 错误率降低两到三倍（极罕见 LibriSpeech 词从 10-13% 降至 3-5%）。直接忽略这些漏识词有偏：识别器在这些词上发现 TTS 错误的频率为 4-6% 对 0.2-0.3%，且推翻约半数保留的错误。
一项 arXiv 研究用 601 对天城文-拉丁文审计身份对测试发现，Qwen2.5-7B 在马拉地语提示下，同一人名判断准确率从拉丁文的 35.1% 降至天城文的 8.5%。在 374 对马拉雅拉姆语对上复现了该效应，0.925 AUROC，且标量校准可恢复 87% 的模型-探针平衡准确率差距。对 Qwen 中间层的干预将马拉地语同一人准确率从 6.5% 提升至 33.5%，不同人准确率保持 98.5%。
一项 arXiv 研究让四个 LLM（两个闭源、两个开源）以盲评方式评审来自 Nature、Science、Cell 等 20 本期刊的 200 篇 2026 年已发表论文，800 份评审中 75.6% 建议大修或拒稿，各模型比例从 17.5% 到 100% 不等（p < 0.001）。在被植入一个特定领域方法学或统计缺陷后，各模型检出率为 17.0% 到 60.5%，显示模型间结论高度不一致且假阳性与漏检并存。
研究者提出 PhysTrace，一个无需训练的框架，将 MLLM 生成的历史条件预期与观测视频窗口对齐，以时序定位视频生成模型中的物理违规并给出可解释描述。配套发布的 IntPhys2-Timing 基准为 IntPhys2 加入违规时间区间，PhysTrace 在其上的 Hit Rate 最高达 70.7%，并在 IntPhys2 的可能-不可能判别总准确率上优于对比方法。应用于 diffusion/flow 视频模型的重建视频时，该框架可跨时间步揭示属性与噪声相关的物理违规定位模式。
研究者推出 DuoCook，一个基于 Unreal Engine、受 Overcooked 启发的视觉规划与协调评测 benchmark，由单一视觉语言模型通过俯视视觉观察同时控制两名玩家。benchmark 包含 5 类共 20 张地图，评估任务得分、订单完成率、交付精度、动作接受率和 API 花费，并对共享自写笔记记忆做了消融实验。表现最强的模型 gpt-6-astra 平均订单完成率仅为 26.2%；笔记记忆对 Claude 和 Qwen 平均加分，对 GPT 和 Gemini 则为负向。
一项研究用西班牙 MIR 住院医师考试规则评测了 4 个 8B 至 27B 参数的开源模型，共 1,552 道题。三个较大模型答完全部题目可排进约前 600 至 3,000 名，41 至 43 个专业仍可匹配。但医学微调虽降低过度自信却牺牲准确率，且替换或删除图像不影响成绩，13-38% 的正确答案因临床不合理理由排除干扰项。
一项研究提出用成本感知弃权评估 IT 工单自动路由策略的离线可用性。在 47,837 条工单、八分类的公开语料上，TF-IDF 加逻辑回归在校准数据上选定阈值 0.60 后，测试成本从 0.763 降至 0.472，相对降低 38.1%，错误路由率从 15.3% 降至 3.5%；表现最好的提示配置准确率 0.477，低于同批工单上微调 DistilBERT 的 0.879。研究还报告 correctness AUROC 与 ECE，并强调这是评估框架而非新的弃权算法。
一项基于 PRISM 公开数据集的研究比较了用户的口头偏好与实际评分行为：1,396 名参与者对来自 21 个 LLM 的 29,347 条回复进行了评分。研究发现，回复长度、格式和拒答语言等问卷未涉及的具体特征，对评分的影响不亚于被调查属性的文本代理指标；口头优先级只与模型的感知属性相关，难以预测实际奖励的特征。个人信息对预测留出选择的增益最多仅 0.13 个百分点，而更强的池化模型为 1.11，这对偏好获取和 AI 个性化具有启示意义。
研究者推出 TutorCaseBench，基于教育学、教育心理学和特殊教育的定性案例研究评估 LLM 导师。基准包含 923 段对话、五种挑战类型，通过 1,560 项开放式生成和 2,537 项选择题评测。11 个 SOTA 模型中最强者也仅在 55.8% 的开放式案例中满足评分标准，开源权重模型在情境化适应上的差距更明显，数据已公开。
研究者推出 TRIAD 基准，用文本-图像-音频三元组评测全模态大模型的歧义消解能力，包含 327 个手写问题、86 个场景组和 18 类歧义。对 14 个全模态系统的评测显示，最佳模型的组级准确率仍落后人类 20 分以上；移除答案选项后模型组准确率跌至个位数，且现有系统在文本和图像并存时常低估音频线索。
研究者提出视频中心深度研究报告生成任务，并发布技能工作流与评测基准 OmniDR-Bench。该基准包含 50 个中英文任务、覆盖 19 个真实子类别、共 6,414 条标准，并采用 Omni Atomic Rubric Trees（Omni-ARTs）从视听定位、多模态证据使用和交互式呈现三个维度评估。在 18 个智能体配置中，最佳系统仅得 63.3/100 分，代码与数据已开源。
研究者提出个人智能体基准 ColaBench，覆盖健康与日常生活场景，包含 349 个任务、10 个 Profiles 和 13,033 篇文档的知识库，通过 Evidence Graph 将个人状况与公开交互记录及文档证据关联。配套方法 MemKB 利用状态摘要、规则应用和记忆-文档链接检索知识，达到 86.25% Accuracy，平均每任务 4.07 轮交互。错误分析发现无依据的个人假设和规则误用是主要障碍。
SecLog-Bench 是一个可扩展的网络安全日志推理评测基准，构建覆盖 29 种攻击场景的仿真平台，结合审计日志、应用日志和网络流量多源证据，并为每个样本标注结构化分步证据链。对 8 个主流 LLM 的评测显示，最佳模型准确率仅 44.44%、Macro-F1 为 45.07%，最高 Stage Reasoning F1 仅 54.87%，表明当前模型攻击进展推理能力有限且推理质量与预测准确率常不一致。
arXiv 论文提出评估人工智慧（AW）的基于轨迹的测量框架，将其行为化定义为对判断的情境敏感调节，并用九组件画像、两项转换指标和关键失败报告进行评分。三项简化模拟显示：单准则模拟在每领域 24 个情景时达到精度标准；瓶颈估计在接近平局时存在 0.55 点的下偏；增量预测模拟用 8 和 12 个模型族分别以 .508 和 .742 的概率检测到 0.027 的 Brier 改善。12 模型族目标仍属暂定，画像能否预测超越能力的独立决策结果仍是开放问题。
一篇 arXiv 论文提出，内容审核系统的过度拦截与保护不足同源于依据词汇表面形式而非信息功能判断危害，并归纳为七种失败模式。作者提出一套评估协议，在 11 种语言上测试五个开放系统，55 个系统-语言组合中有 51 个无法在母语者水平区分有害功能与无害形式；能力提升在九种语言中改善判别，但阿拉伯语和罗马化印地语仍接近随机，最受益与最不受益语言社区之间的差距随能力扩大。
一项 arXiv 研究指出，LLM 的 ToM 基准总分混淆了显式 ToM（识别信念）与应用 ToM（用信念预测行为）。在 SimpleToM 上，Llama-3.1-8B 总分 51.5%，但识别心理状态达 99.4%，预测行为仅 28.9%。提出 BSTTT 结合提醒语后，Llama 行为预测提升 40.8 个百分点，其中提醒贡献大部分，BSTTT 额外增加 1.3 至 5.5 个百分点，研究者建议分别报告显式与应用准确率。
arXiv 论文提出 Dual Exam 评测框架，在物理、数字、社会和科学领域分别固定环境响应测试多模态智能体、固定动作干预测试世界模型。Agent 赛道含 1,088 项、15 类报告维度的 10 种配置，GPT 6 Astra 以 31.3 的 Agent Index 居首；World Model 赛道含 400 个案例、8 个场景，GPT-Image-2 以 21.7 的全覆盖总分领先。150 个案例的耦合试点任务成功为零，揭示了任务表现不均与任务相关状态保持失败的问题。
研究者提出 MQAScore，利用大型音频语言模型（LALM）对二元问题的肯定回答概率，沿流派、乐器、情绪主题、人声、用途五个维度逐一验证原子音乐概念。他们还基于存在/缺失标注和 LLM 引导的概念替换构建验证标签，并提出 Sensitivity-Invariance Ratio 衡量评估器对改变语义替换的选择性响应。实验显示概念级评分可提升问答式与相似度式评估器，MQAScore 可作为全局相似度的可靠、可解释细粒度补充。
一项 arXiv 研究指出，成对评测会让同一 prompt 下响应共享的分数成分相互抵消而未被检验。作者提出基于 prompt 间方差占比、兄弟评分回归和 prompt 替换的人类参照审计，测试 18 个已发布评分器与 6 种匹配训练条件；在 HelpSteer2 上，6 个 reward model 的 prompt 间份额为 0.34 到 0.64，而人类评分接近零。研究建议奖励模型评测应分别检验 prompt 间方差、对错误 prompt 的敏感性以及对选择的有用性。
论文提出 ProductWebBench 基准，在真实前端仓库上同时评分需求完成与网站连续性，包含 320 个 Change 任务和 80 个 Build 任务。基于 13 个模型共 8,737 次运行，通过全部需求检查的 Change 运行中仍有 28.2% 未通过连续性检查，18.3% 破坏了已验证状态。此外，静态 DOM 通过的运行中有 29.5% 在交互环节失败。
一篇 NeurIPS 2026 工作坊论文提出“事后审计幻象”：离线测试可能无法揭示智能体更新部署后是否安全。作者用匹配的安全与有害生命周期构造可执行审计边界，并给出错误-弃权权衡定理。Post-Audit Mirage benchmark 覆盖授权、调度与共享容量环境，实验表明监控在有利条件下可恢复关键区分，但对稀有群体、小效应或缺失观测可能仍无法判定。
arXiv 论文提出一种匹配协议，将工具增强问答评测拆分为答案读出、推理、调用决策、工具返回和无调用报告五个步骤，以检验工具是否让模型对比更稳定。在五个领域、五种问法下测试六个开源模型后发现，工具在程序可作答的场景提升准确率，但会扩大许多两两对比的措辞敏感性，其程度随模型调用频率变化。作者建议在准确率之外同时报告调用频率和多措辞下的对比稳定性。
一项多语言研究发现，LLM-as-a-Judge 评估中的提示策略不可跨模型迁移：评测模型的选择比提示策略的选择影响更大，同一策略在不同 judge 上效果方向会反转，且低资源语言下稳定性下降。研究测试了 9 种提示策略、4 个开源 judge 模型、27 种语言、4 个任务共 13 个数据集，产出超 100 万条基于标准答案的点对评分，并经人类判断验证。研究建议提示策略应针对具体评估场景验证，跨研究比较需同时考虑 judge 与提示配置。
GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表，以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。
Tajima（Shumei University）公开了预部署评估研究的数据、分析脚本和图表代码，研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析（Study 2）基于日本国家护理考试 2018–2026 年间公开的 90 道题，90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应；修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。
作者在相同的 Opus 5.5 规划、3 worker 并行设置下，用 llama.cpp Q8_0 在 RTX PRO 6000 Blackwell 96GB 上实测三个小型 MoE 编码同一个 Three.js 万圣节连锁反应场景。Flint 40B-A2.5B 综合最优：墙钟 7:36、修复 6 次、Opus 花费 $0.41；Nemotron 3.5 Lightning 解码最快但生成约 5 倍 token、修复 16 次、花费 $0.95，其编辑成功率仅约 17%。作者指出换 worker 模型使规划者账单从 $0.41 涨到 $0.95，裸 tok/s 并不决定总耗时，且三者在单轮内都没产出完全可用的场景。
推荐理由：同一任务同机实测三个小型 MoE 当编码 worker，给出 token 消耗与 Opus 花费对比，显示编辑成功率比裸速度更影响实际耗时。
Reddit 用户用修改版 BenchKit 对比 Qwen3.8-Flash-Next-W4A16-FP8PLE（129 GB）与 DeepSeek-V4.1-Flash-1017 2.6 bit 量化版（187 GB + 203 GB Engram），Qwen 以 25/25 满分胜过 DeepSeek 的 23/25。HumanEval 第 22 题上 Qwen 18.8 秒答对，DeepSeek 思考 127.9 秒后陷入循环被终止；第 24 题 DeepSeek 等待 297.7 秒未答出，Qwen 34.5 秒给出正确答案。作者表示将继续使用 Qwen。
该仓库发布 NeurIPS 2026 Verify-Agents Workshop 论文的验证可靠性实验代码与数据，共 64,800 次 verification calls，覆盖 HumanEval+、MATH、GPQA-Diamond 三个领域、每域 150 题，报告 headline +13.1 pp 的 self-preference gap。代码为 MIT 许可，派生产物为 CC BY 4.0；GPQA-Diamond 题目文本被隐去，需 HF_TOKEN 本地恢复。
基于 Artificial Analysis 数据绘制的 11 个开源权重模型得分与总参数量（log 轴）对比图。Muse Spark Open（816B，42B active）得 39 分，Qwen3.8-Flash-Next（180B，6B active）得 40 分；最高为 MiMo-V2.6-Pro（1T）的 46 分，DeepSeek V4.1 Flash 1017（552B）和 GLM-5.3（753B）均为 45 分。该指数是 AA 自评的单一综合分，不反映速度、长上下文或视觉能力。
作者发布塞尔维亚语大语言模型基准 serbeval，基于 lm-evaluation-harness 0.4.12，官方集 v1.2 共 351 题，其中 61 题经人工核验、214 题由四模型共识确认、76 题由其派生，重点考查翻译无法覆盖的语法现象如格支配、动词体、aorist/imperfect、正字法与西里尔/拉丁字母一致性。30 个模型经 OpenRouter 零样本评测显示 openai_gpt-6-sol 以 99% 居首，gemini-3.8-flash、claude-opus-5.5、gpt-6.1-sol 98%，前沿模型差距很小，剩余错误多为有争议的正字规范；DeepSeek V4 Pro 达 95% 超过 Sonnet 5.5（94%），Kimi K3 92%。
Microsoft AI 发布顺序诊断基准 SDBench 和 AI 诊断系统 MAI-DxO，相关论文发表于 Science。该组合用于评估和提升 AI 的顺序诊断能力。
Microsoft AI 的 MAI Diagnostic 系统诊断准确率达到急诊医生的 1.7 倍，即使医生可联网查资料时依然如此。该系统成本更低，得出诊断所需的医学检查也更少。相关成果已发表于 Science 期刊，由 Mustafa Suleyman 宣布。
作者在单张 RTX 5090 上对 Qwen3.8-Flash-Next NVFP4 的 basalt、capy-flash、ninfer-ext 三个引擎做了 262,144 token 全上下文对照测试，统一开启 MTP 推测与 int8 KV。结果 basalt 在所有上下文深度最快，prefill 8.1k-9.2k tok/s、greedy decode 176-265 tok/s；decode 排名与 MTP draft 接受率一致（0.74/0.57/0.56），采样解码使各引擎 decode 下降 7-10%。
Shinzuu 发布 free-model-bakeoff 评测，六个免费模型在 126 次评分尝试、14 个对抗性问题上跑生产级 tool-calling 流程。openai/gpt-oss-20b 答对 88%、工具路由正确率 95%，超过比它大六倍的模型（64%/76%）；同一权重换托管方降到 64%、中位延迟 28 秒。关键发现包括每日 20 万 token 的隐性限额（约等于全团队每天 60 个问题）、一句补充 'open' 定义的系统提示词带来最大准确率提升，以及评测中发现并修复的六个 harness bug。
推荐理由：实测给出六个免费模型的准确率与工具路由数据，并指出同权重不同托管方的表现差异可能比模型间差距更大。
riccardogiorato 发布 SurfBench 基准，用 50 个真实任务（分 4 个层级）统一评测 parallel、exa、tavily、firecrawl、keenable、linkup 等网页访问 API，检查各服务商能否找到并抓取正确页面。评分按质量 0.50、可靠性 0.35、速度 0.15 加权，使用固定的 MiniMax M3 读取模型和 Kimi K3 + GLM-5.3 评审面板，给出 95% 置信区间与每千个通过任务的成本列，完整结果包、任务检查器与方法论页面随仓库公开，MIT 协议，可自行运行复现。
推荐理由：这是一个可直接复现的网页访问 API 评测基准，方法论、提示词与评分细则全部公开，还给出了置信区间与成本列。
GitHub 开源项目 llm-research 是一个本地 Java 21 应用，可向 OpenAI、Claude、Gemini、Grok、DeepSeek、Qwen 等多家模型提供商批量发送 questions.csv 中的问题并保存答案。用户通过 .env 配置 API 密钥、application.yml 选择启用的提供商，每次运行在 output/ 目录生成 xlsx、csv、jsonl、json 四种格式的结果，并记录延迟和输入/输出 token。每次调用消耗 API 额度，项目建议首次只用 1 个提供商、1 次重复和少量问题进行验证。
matt-riley 在 GitHub 发布 skill-evaluator，用于对 AI skills 做评测驱动迭代：定义测试用例后，让 agent 分别在有技能和无技能的情况下运行，由 LLM 给输出打分并对比基准结果。工具支持 `skill-eval init`、`skill-eval loop`（运行→评分→基准）和 `skill-eval report` 生成 HTML 报告，可通过 brew 或 `go install` 安装。