新闻、仓库与研究，按时间排列。
一项 arXiv 研究提出一种无标签方法：将 LLM Judge 的评分标准分解为子标准，按评委间分歧排序并由编辑模型改写最具争议的条款。实验涉及 3 家厂商的 5 个评委、共 129,770 次请求，覆盖 SummEval、HealthBench 和 USR Topical-Chat；SummEval 上评委间 Krippendorff's α 提升 0.069（95% CI 0.046–0.092），但与专家评分的一致性无显著变化（Kendall τ 差异 -0.007），HealthBench 和 USR 未达预注册效应标准。作者将发布代码、冻结评分标准与评委分数。
GitHub 上的 cot-monitor-benchmark 仓库对两类监控方式——基于思维链（CoT）的监控与仅基于输出的监控——在不安全 LLM 行为检测上的效果进行了基准对比。该项目以仓库形式开源，可供研究 CoT 监控是否比仅看输出更有效。
一项 arXiv 研究提出四项探针方法，检验开源音频语言模型作为生成音乐评委时评分究竟取决于音乐、文本提示词还是提问方式。在 MusicEval 全部 2,748 个片段及 SongEval 上的实验显示：无音频时没有任何评委超过仅凭提示词的预测，四个较小评委的成对评审跟随片段位置而非质量，改写指令对多数评委相关性的影响堪比更换评委。作者建议音乐评委报告全部四项探针结果。
开源工具 trace-viewer 将大模型采样记录与 LLM 判分记录编译为可离线浏览的单文件网页，支持逐题定位各源答得差在哪一步。前端零依赖，file:// 直接打开即可用，展示 pass@1、pass@4 等分数矩阵，点开格子可查看模型思考过程、最终回答与 judge 三票评分原文，并标注原始 JSON 字段名及字符数、token 数。项目采用 MIT License，要求 Python 3.10+，内置 144 条合成样本演示。
GitHub 上开源了评估 LLM 生成的 Java 单元测试行为盲区的研究代码，核心是 ObligBench 基准，包含 1595 个 Java 方法级任务：895 个高复杂度 treatment 函数和 700 个简单 control 函数。评测报告编译与执行结果并分类失败类型，对成功执行的测试衡量 Boundary-Value Adequacy、Control-Flow Adequacy 和 Oracle Strength 三项指标；公开源码包含 1585 个任务项目，其余 10 个因再分发条款未解决而暂缓分发。
jboix 发布了开源工具 evalmark，通过 GitHub Action 把每次评测运行记录到仓库分支，并生成无服务器、无数据库的静态看板，展示运行记录、趋势、用例、transcript 和模型对比。数据完全留在自己仓库中，PR 上会自动评论与基准分支的对比；支持 promptfoo、Inspect AI 和 JUnit XML 输入，提供 npm 包、CLI 和 JSON Schema，仓库地址为 https://github.com/jboix/evalmark。
GitHub 仓库 edgora-ai/llm-bench-report 发布由 llm-bench 自动生成的模型一次会话完成度对比报告，为只读脱敏合并快照，不含凭据与原始日志。最新 2026-10-08 数据中，Sol 与 6.1-Sol 鳄鱼题人工补跑均正常结束、8/8 检查通过，此前失败记录保留；Astra/Luna 早先黑洞样本的 count_tokens 403 曾被旧评估逻辑误记为路由违规，源码已区分上游与本地拒绝。首页支持在线沙箱运行原作，并可下载自包含离线完整版。
luongnv89 在 GitHub 开源 m-bench，一套针对自己机器基准测试完整 LLM 配置（serving 参数、thinking 模式、编码代理）的工具，每个任务附参考解，validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4（MoE，约 3B 激活）跑 vLLM，关 thinking，core16+hard12 达 82.1% pass@1，吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分，但在工具循环中可把轮次从 6.8 降到 5.2；同一权重经四个不同代理得分相差最多 23 分。
推荐理由：原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大，为本地部署选型提供了可复用的基准方法和结论。
IIT Madras CeRAI 团队（EMNLP 2026 论文配套 GitHub 仓库）检验 LLM-as-a-Judge 是否真的依据评分标准推理：仅用 rubric 文本训练的探针分类器就能预测 Qwen2.5-7B-Instruct 评审的结论，HealthBench 上平衡准确率达 0.80–0.88。反事实实验中，反转回答仅 37.7% 的样本对上评审如期翻转，反转评分标准时仅 16.8%（Gemma）/ 32.2%（LLaMA），并开源了完整探针、扰动与分析脚本。
推荐理由：IIT Madras 团队用只看评分标准的探针分类器复现判断结果，并给出反事实扰动数据，方法可复用。
rffanlab/llm_eval 仓库公开可复跑的本地与云端模型工作能力评测，首期对比本地 Ryzen AI Max+ 395 运行 Qwen3.8 Flash Next 与阿里云 Token Plan qwen3.8-flash。2026-10-07 完成 10 类题、32 个主试验会话＋8 个诊断；2026-10-08 在同一台机器上对比 Halogen 0.9.1/W4B、0.17.2 默认 v2 与 Swift 1.5，完成 10 个题型、48 个主会话，硬验收分别为 15/16、13/16、10/16，Swift 调度器三次 13/13、耗时中位 35.60 秒。仓库仅用 Python 3.10+ 标准库，超时与题量限制表明结论只针对被测任务与当次配置。
Vineeth Kodakandla 在 GitHub 发布 llm-eval-observatory，一个持续运行的 LLM 评测仪表盘：定时 GitHub Action 在 Groq 免费层对 GPT-OSS 20B 和 120B 开源权重模型跑四轨道评测（KYC/AML 自动分诊、能力与漂移、提示注入与越狱鲁棒性、LLM-as-judge 偏差），结果 JSON 提交回仓库并由 Vercel 上的 Next.js 站点渲染。评测统计全部从零实现，含 5,000 次种子 bootstrap CI、漂移标记和 Fleiss' κ（目前 0.94 到 1.0）；每模型每轮约 154 次请求、65K token、约 5 分钟。作者强调判分确定性、KYC 数据集仅 26 例且为合成，项目 MIT 许可。
GitHub 上的 motao123/ai-model-rankings 仓库把 LMArena、Artificial Analysis、SuperCLUE、LiveCodeBench 等 AI 大模型榜单聚到一屏，真人偏好榜与客观基准榜并列呈现。站点提供排名升降追踪、性价比象限图、历史趋势和跨榜共识等功能，所有分数原样搬运，不计算跨榜综合总分，并标注各榜数据来源与新鲜度。代码采用 MIT 协议开源，榜单数据版权归原作者所有。
ISEC-AHU 在 GitHub 开源 LLMFlowAgent，用四个专职智能体加 Coordinator 从自然语言描述生成并迭代修正工作流模型，并提供在线系统。在 TaskBench 300 个任务上，以 GPT-4o 为底座的 LLMFlowAgent 取得 PMR 63.67%、Node F1 96.24%、Edge F1 81.45%、sGED 1.45，全面优于最强基线 LLM4Workflow（PMR 54.33%）；消融实验显示去掉评估与修复环节 PMR 下降 9.34 个百分点，是影响最大的组件。仓库附本地部署指南，需 Python 3.11、Node.js 20、PostgreSQL 16。
研究者推出反事实文本编辑基准 CoBe，测试模型在对话式提示下零样本修改文本场景、同时保留未受因果影响事实的能力。基准含 2000 道题，覆盖医疗、科学与工程、商业及日常场景；前沿模型平均得分 58.05%，且常退化为关联式生成而非保留因果结构。性能与模型规模及输出 token 长度均不一致相关，表明问题可能源于训练目标而非模型容量不足。
justinatusa 在 GitHub 发布开源小书 llm-eval-scoring-taxonomy，讲解模型输出如何经过判对错、合并多次采样、合并多个判官、合成总分变成榜单分数。全书按分数来路把评测分成四类：单独给一个模型打分、对照参考产出与相对比较、真实使用数据、跨 bench 合成指数，并用 data/benchmarks.csv 收录 227 个 bench 的完整标注数据，正文数值例子可用仓库脚本复现，最后解读 Artificial Analysis、LMArena、METR 等主流榜单的头条数字来源。
推荐理由：作者把 227 个 bench 按出分方式分成四类并给出可复现脚本，读者可以借此理解同一评测数字为何差出好几倍。
作者发布 lmex 项目，将免费档 LLM API 拟为交易所 ticker，以 TTFT p99 毫秒数为价格，每 :07 由 GitHub Actions cron 运行 llm-latency-bench 基准并将结果提交到仓库，dashboard 用绿涨红跌反转色的蜡烛图展示延迟，错误率超 50% 即停牌。收录 Groq、Google Gemini、Cerebras、OpenRouter 等 7 个模型端点，每 tick 仅 6 到 10 次请求以留在免费额度内，743+ 条历史记录发布为 Kaggle 公开数据集，并附 latency-router 实时选择最快端点。项目 MIT 协议，无服务器，dashboard 由 GitHub Pages 读原始文件。
推荐理由：作者公开了整套测量流程、样本量局限和 p99 取舍理由，方法透明，读者可以直接复用或自己 fork 搭建。
justsml 开源 ExploitHunter.app，一个本地优先的 AI 智能体安全研究工作台，支持授权台账、审批门、证据存档和本地 lab 运行时。实测中 qwen-3.6-flash 在 Hard Juice Shop 上找到 7 类有证据支撑的漏洞，单次成本 $0.007，而 Claude frontier 路线单次约 $2.00-$2.35；本地 LM Studio 路线（如 lmstudio-gemma-4-e4b）可以 $0 API 成本离线找到 7 类漏洞。作者主张的方案是指挥者模式：廉价或本地模型做广域侦察，frontier 模型只用于深度推理和验证。
推荐理由：同一评测里给出各家模型的实测分数和成本对比，读者可以据此了解廉价模型与本地模型在安全扫描任务上如何分工路由。
TheNomet/ocr-bench 在 GitHub 上开源，用带精确 ground truth 的合成挪威文档对比自托管 OCR 模型（默认 baidu/Unlimited-OCR，vLLM 跑在 SageMaker GPU endpoint）与 Claude 等托管 LLM 的文档读取表现，测量速度、准确率和成本。流程分两阶段转录和字段抽取后打分，生成报告和静态站点；整套基础设施从一个 config 文件部署、一条命令销毁，也可指向任意 vLLM 服务器本地运行。MIT 许可。
VLMEvalKit（python 包名 vlmeval）是开源大型视觉语言模型（LVLM）评测工具包，支持一条命令在多种 benchmark 上评测 LVLM，采用生成式评测并提供精确匹配与 LLM 答案抽取两种判分方式。近期更新包括对 thinking mode 模型的支持（新增 SPLIT_THINK=True）及长响应 TSV 格式保存（PRED_FORMAT=tsv），并已支持 Video-MME-v2、SeePhys 等基准和 200+ 模型、70+ 图像与视频 benchmark。
一项针对 HELM Safety 的心理测量学审计发现，「有害拒答」（模型拒绝危险或违规提示的倾向）可能并非单一可测属性。HELM Safety 四个相关数据集中三个已饱和，对其余的 HarmBench 进行的多维 item response theory 建模与 differential item functioning 分析均显示其分数背后不存单一属性，且 HarmBench 将不同危害行为压缩为一个分数。作者主张安全评分在用于模型比较前应先证明其单一属性解读成立。
研究者提出 BrickBench，一个评估智能体根据文本条件设计乐高套装的 benchmark，要求智能体从离散零件库中选件并同时满足语义、设计与可物理搭建的约束，评测维度包括有效性、一致性与设计水平，并提供 BrickAgent 环境供编码智能体构建、检查和验证设计。结果显示主流智能体基本满足可验证的物理与语义要求，但仍不及人类设计水平，基准与环境已开源发布。
一项 arXiv 研究在 228 个任务和 26 个 AI 上，用样条与项目反应理论重新计算 METR 的 50% 时间跨度，放宽任务难度随人类时间对数线性增长的假设。结果显示难度函数在 2–30 分钟区间近乎平坦，因此从 3 分钟到 30 分钟的时间跨度提升远比同样 10 倍的 30 分钟到 5 小时容易。作者还提供了经交叉验证评分规则检验的点估计及诊断图，建议结合诊断图解读时间跨度。
研究者推出 ReTurn 基准，包含 7,000 个跨视觉与音频证据的基础任务，用于评估多模态模型对对话历史的选择性使用。在 13 个全模态、视觉语言和音频语言模型上，开放式准确率从直接输入的 93.7% 降至对话中的 72.3%；有监督适配仅带来部分提升。
论文评测了专用决策模型 Jev——一种在给定选项间直接返回选择而非生成文本的"System One"模型——在 13 个多项选择 benchmark 上与 19 个 LLM（分 frontier、代表性和小型三档）的表现。Jev 在知识和常识任务上可与 frontier LLM 竞争，在 MMLU-Redux 和 ARC-Challenge 上取得最高分，且优于大多数代表性 LLM 和全部小型 LLM；但在数学应用题上落后，MathQA 比 frontier 中位数低 17.7 分，低于全部 19 个 LLM。结果表明专用决策模型在以知识为主的决策上可匹敌通用 LLM，但无法胜任需要多步计算的决策。
DataVista 是首个数据视频理解基准，包含 961 条真实数据视频和 6,775 道评测题，按数据感知、时间推理、叙事理解三级能力框架组织。对 19 个主流 MLLM 的评测显示，表现最好的 Gemini-3.1-Pro 总准确率为 70.0%，仍远低于人类专家，模型在 Causal Reasoning 和 Narrative Structure 上最弱。增加帧数和字幕主要改善数据感知与时间推理，对叙事理解提升有限。
一项覆盖六个前沿模型、四个 benchmark、五种提示词格式、两种呈现顺序、三种采样温度和十次重复的可靠性审计显示，LLM-as-a-Judge 在温度 0 下同一重复中裁决仍会改变，顺序对调可在困难任务上翻转多数裁决。最具确定性的 judge 通过重复错误答案达到完全一致，与真实标注仅 51% 吻合。研究提出可信裁决率指标 T，并发现从 pairwise 胜率转向整体 rubric 评分比任何单一提示词干预更能提升可信度。
研究提出对抗性启发式学习范式 AHL，并发布包含 12 个对抗性游戏和 1,920 个人类程序存档的 AAArena 基准，让 AI 智能体在固定比赛预算内解读规则、选择对手、分析回放并改写博弈策略。评测中，Opus5.5 配合 Claude Code 获得 6 枚金牌，但没有任何被评测配置能超越其余 6 个人类阶梯；规则更复杂的游戏中表现普遍较弱。实验显示对手选择与密集反馈有助于策略改进，智能体能从自身与他人的比赛回放中学习。
一项 arXiv 研究提出用认知谦逊（EH）评估智能体，涵盖 Identify、Solve、Escalate（ISE）三个轨迹级行为维度，并在受控冲突与多步执行中自然冲突两种知识冲突设置下测试四个智能体。结果显示更高的任务准确率未必带来更大的认知谦逊：部分高准确率配置能在执行中识别冲突，却不在错误的最终答案中沟通未解决的不确定性；智能体常在早期步骤检测到冲突，但难以在后续步骤维持或解决。模型层面的干预可提升 EH，但往往以牺牲任务准确率为代价。
Hongxing Li 等在 arXiv 发布 SpaceCast-Bench，首个直接评估视觉语言模型预测性空间推理的基准，包含来自182个真实场景的3862道题、16种任务类型，分静态感知、局部预测和全局预测三层。21个模型中最强者仅达58.0%，远低于人类的87.2%，空间特化模型接近随机水平；微调使 Qwen3-VL-4B 从34.0%提升到65.7%，并在六个域外基准上有宏观平均提升。
arXiv 论文 2610.12417 提出 WOVEN，一个面向视觉转移推理的训练源与基准，包含 36076 条覆盖 20 种场景、5 种动作和 8 种推理类型的样本。评测 GPT-5.4 和 Qwen3-VL-235B-A22B 等 38 个前沿多模态模型发现其远低于人类水平；用 WOVEN 训练后，每个约 2000 条的子集在 26 个外部基准中的 22 个带来最高 27.3 个百分点的提升，并可替代任务自身 30-50% 的训练数据。
推荐理由：论文用约2千条子集就在26个外部基准中改善22个，给出了按推理操作而非场景选取监督的可迁移训练配方。
研究者推出 FastBench，用于评估流式视频大语言模型（VLM）在真实世界高动态场景下的感知能力，包含 306 个 QA 对，覆盖八个领域、六种能力及前向、即时、回溯三类时间范围，并用 SAM3 和 CoTracker3 轨迹做答案验证。实验显示最强模型 Gemini-3.5-Flash 仅得 50.7%；Qwen3-VL-8B 采样从 2 FPS 提至 24 FPS 后由 32.9% 升至 44.6%，但随历史压缩增益饱和。免训练基线 ProactiveFrame 分别比稀疏均匀采样高 5.4 和 1.5 个百分点，仍远低于 oracle 引导聚焦。
DPJX04 在 GitHub 发布 llm_panel，把 vllm bench serve --save-result 输出的 JSON 结果文件转成浏览器内可读的对比表格与图表，双击 index.html 即可使用、无需安装。面板支持多文件与多种 JSON 格式混入、读取 vLLM 日志补全模型权重与 KV cache 等信息，提供 Overview、Compare models、Model detail、Accuracy、Vector DB 等视图；内置 52 题的 Starter 测试集可在浏览器内对模型服务做准确率测试，另支持 VectorDBBench 结果对比，数据保存在浏览器本地并可导出工作区或 CSV。
推荐理由：原文完整说明了面板的功能、数据格式与指标口径，读者可据此评估是否适合整理自己的 vLLM 基准结果。
aayush-dhg 的 llm-eval-harness 是一个用 pytest 测试基于上下文的 LLM 问答应用的评测工具集，第一阶段已完成 10 个手写评测用例、参数化 pytest 和通过 Ollama 运行的 llama3.2:latest 模型，当前 10/10 用例全部通过。项目正进行更大规模 golden dataset、打分、LLM-as-judge 评测、CI、报告及 prompt/模型对比。开发中曾因测试要求精确匹配 "mutable" 一词而误判正确答案，随后改为接受语义等价表述。
arXiv 论文提出 Design Creativity Bench，从原创性、创意范围和适当性三方面评测 LLM 生成 UI 设计的创造力。结果显示同 prompt 下不同模型设计对的原创性为 0.592，远低于人机对的 0.764；创意范围 0.581 也远低于人类设计的 0.902；但适当性均超 90%，最佳模型达 99.2%，略高于人类的 98.0%。论文指出 LLM 默认输出虽然普遍恰当，但重复性显著高于人类基线。
研究者推出编程助手评测基准 SWE-Journey，用 weak-to-strong 合成流水线自动构建长程编码任务，并基于真实交互数据挖掘四种用户画像、构建用户模拟智能体还原多轮交互。实验显示，模型在软件架构师场景下平均通过超过 75% 的功能测试，非程序员场景下则不足 25%。作者将差距归因于 asking right、finding right 和 fixing right 三项关键能力。
研究团队构建了 ProloNg 合成测试题，用 Prolog 表达的演绎逻辑系统变化推理深度，最难情形达到深度 22、上下文 62k。对 5 个家族共 8 个推理模型的测试显示，随推理深度增加性能大幅下降，多数模型在深度超过 10 后接近随机水平。
一项 arXiv 研究用 4,000 篇 PNAS 前 ChatGPT 摘要及 3 家厂商 23 个 LLM 版本（2023 年 6 月至 2026 年 8 月发布）的重写文本，量化模型版本更迭对 AI 写作筛查的影响。仅用旧版本训练的检测器在模型代际边界处性能崩溃：以误报 1% 人工摘要为基准，边界前可捕获超 99% 的重写，边界后骤降至 3.8%。模拟场景中，覆盖全部 23 个版本的筛查要么误报八分之一的人工摘要，要么漏掉最新版本三分之一的重写，一款商业检测器漏掉了边界后版本的大部分重写。
UXBench Pro 是一个面向多轮对话个性化用户体验评测的基准，包含基于真实用户交互的 1,000 个测试实例，覆盖 12 个任务场景和 82 个领域，每个实例配有刻画七类可解释行为侧面的 FACTORS 用户画像。该基准采用双视角范式：个性化 User Reward Model（URM）提供第三人称评判，Sim4Eval 用户模拟器支持多轮交互并从四个认知状态维度做第一人称评估，并引入 URMBench 和 USimBench 两个元基准检验评估器的可靠性。
arXiv 论文提出 TRACE 协议，通过配对运行、行为对比和重打分，把 LLM agent 分数变化区分为能力变化与评测本身的变化。在 25 个合成任务中重命名工具使脚本 agent 分数降 0.250，打分时恢复原名可完全弥合差距；88 个任务的重命名实验中八个 agent-change 对里七个 reward 变化在 ±0.10 内，误导性工具名则使所有 agent reward 下降 0.20-0.44；相同重跑会翻转 15-36% 的任务结果，两个前沿 LLM 评审在 57% 的相同记录上判断不一致。
推荐理由：论文用配对实验把智能体评测分数变化拆解为能力与测量两类原因，对解读 LLM agent 基准分数的读者有直接参考价值。
开发者让自己 2021 年在 js13kGames 制作的 2D 平台游戏 Cat Goric 接受 AI 模型挑战，目前最好成绩为一次连续运行中通过 14 个可玩关卡中的 8 关。达成该成绩的两个模型是 Qwen/Qwen3.8-Flash-Next 和 Cloudflare/clef。该项目已开源并附上运行说明，欢迎提交 PR 和指定其他模型参与测试。