新闻、仓库与研究，按时间排列。
研究者推出 FastBench，用于评估流式视频大语言模型（VLM）在真实世界高动态场景下的感知能力，包含 306 个 QA 对，覆盖八个领域、六种能力及前向、即时、回溯三类时间范围，并用 SAM3 和 CoTracker3 轨迹做答案验证。实验显示最强模型 Gemini-3.5-Flash 仅得 50.7%；Qwen3-VL-8B 采样从 2 FPS 提至 24 FPS 后由 32.9% 升至 44.6%，但随历史压缩增益饱和。免训练基线 ProactiveFrame 分别比稀疏均匀采样高 5.4 和 1.5 个百分点，仍远低于 oracle 引导聚焦。
arXiv 论文提出 Design Creativity Bench，从原创性、创意范围和适当性三方面评测 LLM 生成 UI 设计的创造力。结果显示同 prompt 下不同模型设计对的原创性为 0.592，远低于人机对的 0.764；创意范围 0.581 也远低于人类设计的 0.902；但适当性均超 90%，最佳模型达 99.2%，略高于人类的 98.0%。论文指出 LLM 默认输出虽然普遍恰当，但重复性显著高于人类基线。
研究者推出编程助手评测基准 SWE-Journey，用 weak-to-strong 合成流水线自动构建长程编码任务，并基于真实交互数据挖掘四种用户画像、构建用户模拟智能体还原多轮交互。实验显示，模型在软件架构师场景下平均通过超过 75% 的功能测试，非程序员场景下则不足 25%。作者将差距归因于 asking right、finding right 和 fixing right 三项关键能力。
研究团队构建了 ProloNg 合成测试题，用 Prolog 表达的演绎逻辑系统变化推理深度，最难情形达到深度 22、上下文 62k。对 5 个家族共 8 个推理模型的测试显示，随推理深度增加性能大幅下降，多数模型在深度超过 10 后接近随机水平。
一项 arXiv 研究用 4,000 篇 PNAS 前 ChatGPT 摘要及 3 家厂商 23 个 LLM 版本（2023 年 6 月至 2026 年 8 月发布）的重写文本，量化模型版本更迭对 AI 写作筛查的影响。仅用旧版本训练的检测器在模型代际边界处性能崩溃：以误报 1% 人工摘要为基准，边界前可捕获超 99% 的重写，边界后骤降至 3.8%。模拟场景中，覆盖全部 23 个版本的筛查要么误报八分之一的人工摘要，要么漏掉最新版本三分之一的重写，一款商业检测器漏掉了边界后版本的大部分重写。
UXBench Pro 是一个面向多轮对话个性化用户体验评测的基准，包含基于真实用户交互的 1,000 个测试实例，覆盖 12 个任务场景和 82 个领域，每个实例配有刻画七类可解释行为侧面的 FACTORS 用户画像。该基准采用双视角范式：个性化 User Reward Model（URM）提供第三人称评判，Sim4Eval 用户模拟器支持多轮交互并从四个认知状态维度做第一人称评估，并引入 URMBench 和 USimBench 两个元基准检验评估器的可靠性。
arXiv 论文提出 TRACE 协议，通过配对运行、行为对比和重打分，把 LLM agent 分数变化区分为能力变化与评测本身的变化。在 25 个合成任务中重命名工具使脚本 agent 分数降 0.250，打分时恢复原名可完全弥合差距；88 个任务的重命名实验中八个 agent-change 对里七个 reward 变化在 ±0.10 内，误导性工具名则使所有 agent reward 下降 0.20-0.44；相同重跑会翻转 15-36% 的任务结果，两个前沿 LLM 评审在 57% 的相同记录上判断不一致。
推荐理由：论文用配对实验把智能体评测分数变化拆解为能力与测量两类原因，对解读 LLM agent 基准分数的读者有直接参考价值。
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
推荐理由：发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比，读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。
一项被 INLG 2026 录用的 arXiv 研究发现，自动化评审已成为不确定性量化器（UQ）评估的常态，但其错误很少经过人工验证。在问答实验中，研究者使用 4 个 LLM、人工与自动判断以及 7 种主流 UQ 方法，结果显示评审模型的表现只能粗略预测其错误对 UQ 评估可靠性的影响，且判断错误最常歪曲信息量较大的 UQ。
研究者推出 UltraText Bench，一个针对密集视觉文字渲染的双语图像生成评测基准，包含 432 个提示词，覆盖 24 个真实场景类别和三个难度级别，中英文各占一半。基准使用 Q-Judger 视觉语言模型从文字保真度、清晰度、空间质量和场景质量四个维度打分，并辅以 10 人参与的人工评估。在 24 个模型配置中，Qwen-Image-2512 的英文综合分从 L1 的 86.50 降至 L3 的 42.86，Z-Image-Turbo 相比 Z-Image-Base 清晰度提升 3.81 分但保真度下降 14.76 分。
Michael Ofengenden 在 arXiv 发布 AgentTime 基准，用来自 18 个来源的 222 个任务测试 Agent 能否按要求时长工作、预测运行时间并事后估计耗时。结果显示各模型偏差差异很大：Claude Code 中的 Fable 5.1 偏离要求时长的典型倍数为 2.9 倍，Codex 中的 GPT-6 Astra 仅 1.2 倍；158 次可分类的 Astra 运行中有 14 次在看似完成任务后直接休眠。回溯实验中移除时间信息使 Sol 和 Astra 的偏差翻倍以上，Fable 接近翻倍。
推荐理由：论文用 222 个任务实测各模型 Agent 的时长控制与时间预测能力，给出了可直接比较的偏差倍数数据。
一项对 100 条推文的评估显示，TextBlob、VADER、Twitter-roBERTa-base 三种专用情感分析工具与 Qwen3-32B、GPT-OSS-120B、Llama-4-Maverick-17B 三个 LLM，和六名人类标注者的一致性都仅属一般。Twitter-roBERTa-base 与人类评分最契合，尤其在区分负面与非负面情感时领先；LLM 彼此一致性较高，在正面分类上表现更好。研究表明领域微调对可靠的情感分析仍不可或缺。
一篇 arXiv 论文提出用陈述偏好经济学的有效性框架（内容、构念、效标有效性、可靠性、激励相容等）评测大语言模型。作者将 Vossler 等 2023 年发表的水质经济价值评估问卷施测于六个模型，以需求向下倾斜、支付意愿随商品范围和收入变化等经济学理论预测为检验。结果分化明显：两个较旧模型在 75,000 美元家庭收入水平上未通过最基本检验，两个最新模型通过全部理论有效性检验但在聚合有效性上出现分歧。
研究团队推出 ArcticQA 数据集，包含来自北极一手科研的 194 道问题，并构建 ArcticAbstain 基准，对比有答案与无答案条件下的弃答表现。评测覆盖 Gemini、Claude、ChatGPT 三个系列的 8 个模型，在 9,312 条记录中，有答案条件下的弃答率为 0.0%–63.0%，替换正确答案平均仅提升 5.05 个百分点，表明需同时评估弃答频率与灵敏度。
一项研究以 FNS 2020 共享任务数据集（伦敦证券交易所上市公司年报及其摘要）为基准，比较了多种预训练 Transformer 摘要方法与抽取技术，并考察不同评估指标的行为差异。研究者认为部分指标无法真实反映摘要能力，提出由 ROUGE-2 与 BERTscore 调和平均构成的新指标 BRUGEscore，并通过统计显著性检验和三种污染方法的对抗分析验证结果稳健性。
研究者提出 RELATE，一个以人设条件化测量 LLM 关系取向的评估框架，区分将 AI 定位为持续支持来源的内向型（IF）语言与鼓励现实人际连结的外向支架型（OS）语言。框架将 76 个求助情境与 3 种模拟用户风格组合成 228 个评估刺激，对 7 个 LLM 各进行 6 轮助手对话，共产生 1,596 段对话和 69,194 句助手句子，用基于量表的 LLM 评判加二次评判评估。结果显示第 6 轮的 IF 句子比例高于第 1 轮，且犹豫、间接的用户得到的 OS 语言明显更少。
研究收集了 4782 个 JetBrains IDE 中真实软件工程师的智能体会话，其中 33% 有至少三条用户消息，发现这些长会话的任务类型与类型间切换分布和 issue 衍生基准任务差异显著。论文提出 SWE-TaskFlow 方法，在保留已验证任务与测试的同时，通过提示词拆分和可验证的仓库问答将交互导向目标 Task Flow，并用 TFAS 分数筛选生成的轨迹；在 700 个 SWE-Bench Pro 任务上的试点显示，将任务拆成多步顺序执行大约使智能体成本翻倍，而 resolve rate 无稳定变化。
推荐理由：论文用 JetBrains IDE 中 4782 个真实工程会话测量任务流分布，指出基准交互协议本身影响评测结果，方法可迁移。
研究者推出 InsClaimBench，一个端到端评测 LLM 保险理赔裁定的基准，涵盖车险、财产险和健康险共 3,780 个案例、375 个案例族、86,656 条原子规则判断。对六个 LLM 的评测显示，赔付决策准确率为 74.23%–80.19%，决策与金额联合准确率降至 47.54%–73.15%；原子规则准确率达 95.48%，但规则向量完全匹配最高仅 36.90%，表明沿决策链的可靠组合与传播仍是关键挑战。
研究者推出 LiveMACEBench，以真实金融市场为持续演化测试床，过程感知地评估 LLM 智能体能力。五个前沿 LLM 在 Tool Use、Persistent Memory、Rule Following 和 Multi-Agent Collaboration 匹配配置下运行，经 30 天实时评测发现明显的"结果-能力差距"：实际收益常与能力特定指标背离。Trace 级诊断揭示了各能力的不同瓶颈，说明机制访问、有效使用与最终表现并非可互换的能力度量。
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由：原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方，权重、数据和推理管线都已开放。
TII 在阿布扎比推出 1.6B 参数语音识别模型 Falcon-ASR，重点支持阿联酋方言，同时支持英语、法语、西班牙语和葡萄牙语。模型在六个阿拉伯语测试集上平均 WER 为 20.92%，优于所对照榜单最佳已发布结果 23.17%；内部阿联酋评测中 WER 22.73%、CER 10.19%，为对比系统中最低。模型支持词级时间戳，现已可在 Hugging Face Demo 试用，API 与原生应用已列入计划。
一项 arXiv 研究（AACL-IJCNLP 2026 短文）提出惩罚框架下的无有效选项 MCQA 设定，在 MMLU-Pro 数学子集上移除标注正确选项，允许模型选择剩余选项或输出 ABSTAIN 并对无效强制作答施加惩罚。实验表明，高 MCQA 准确率并不能完全保证弃权可靠性：即使在明确的无有效选项指令和惩罚计分下，模型仍会对部分原本答对的题目给出无效强制作答，揭示了标准选择题准确率无法反映的可靠性维度。
研究发现 COMET 翻译评测分数受目标语言书写系统影响：在 IndicMT Eval 上，文字身份解释了母语文字分数方差的 22.9%，与标注者的一致性在全部五种语言中均下降。COMET-QN 可将各 (language, script) 组合映射到统一参考分布，使混合一致率从 0.300 升至 0.399，且保证语言内排序不变；基于 parity 特征的回归器再恢复 17.1% 的灵敏度，剩余偏差属编码器，无法通过后处理修复。论文被 WMT 2026 接收。
一项新研究显示，现成的视觉语言模型（VLM）从 logits 中按类别逐一读取答案时，其表现可匹敌甚至超过细粒度情绪识别基准 EmoNet-Face-HQ 的微调模型 Empathic-Insight-Face（EIF Small/Large）。在验证设置下，十一个开源权重 VLM 全部超过专家一致性锚点（κ_w=0.468），达到 κ_w=0.507-0.586，其中三个显著优于 EIF Small 的 κ_w=0.551。收益来自分级概率而非是非问答：将同一概率二值化会损失 142% 的平均收益。
一篇 arXiv 立场论文指出，多语言 LLM 评测依赖的“翻译同构假设”对语用标记、敬语、历时分层词汇等概念在原理上不成立，并定义了 α-unalignability 形式化刻画。论文用 usage-cloud 框架给出三层证据：FLORES-200 翻译失败与语系和资源等级相关而与文字无关，以及九模型 Yami 案例中的 Representation-Intervention Gap。作者提出 Cycle-Consistency、Pragmatic-Load Disagreement、Manifold-Curvature Mismatch 与 RIG 构成的多维诊断框架。
一项预注册研究将 11 个开源模型与提示词及评分方式交叉组合成 880 个大语言模型评分者，对 189 段访谈按 PHQ-8 量表评估抑郁。模型选择解释了症状总分方差的 30.0%，两名 AUC ≥ 0.70 的评分者平均对 40% 参与者的筛查结论不一致。用 40 名标注参与者重校准后准确率从约 60% 升至 75%、分歧减半，但仍有五分之一的参与者结论不同。
一项针对 K-12 数学辅导对话的探索性研究检验了 LLM 对五种学生失败模式（不确定、错误归因、运算符选择、概念缺口、程序性失误）分类的有效性。结果显示人机一致性仅为中等（kappa = .524-.597），而跨模型一致性明显更高（kappa = .755-.781）。这表明 LLM 间共识会造成正确性的假象，不能替代对学习者解读有效性的独立证据。
复用选择 Best-of-N 胜者的评分会高估其期望奖励。论文证明：仅基于每候选 K 个独立评分的固定矩阵，估计器要在所有独立稳定评分律下恰好无偏，当且仅当 J<K；J=K 时无法无偏，但增加一个新胜者评分即可对全 K 策略做无偏评估。Holdout 在该机制下达到 σ²/√K 量级的无偏 minimax 风险，有偏方法可改进到 σ²/K；两候选情形下无偏 minimax 常数为 1/(π√2)。
研究者推出 ParanoiaEval，首个统一评估编码智能体风险处理能力的 benchmark，基于 Avoidance-Transfer-Mitigation-Acceptance 框架构建 200 组证据受控的仓库级任务对。对 8 个代表性模型的实验显示，即便有明确证据，11.2%-58.7% 的运行仍出现不必要风险处理；更强的任务能力并不带来更恰当的风险处理，风险处理是独立的能力维度。
一项 arXiv 研究提出可重复运行评估框架，用主题流失率和数量分歧两个指标测量 AI 智能体分析非结构化数据的稳定性。在 8 个前沿模型、100 到 5,000 条记录的语料测试中，使用 Claude Opus 4.8 时，基于分类体系的智能体（TGA）相比原始生成和层级分解将主题流失率降低 86–88%，匹配主题的数量分歧为零。该框架也适用于财务报告、法律文档等重复性知识工作。
SpeedrunBench 是一个通过电子游戏速通评估前沿 LLM 智能体策略形成能力的基准，覆盖 9 款游戏，要求智能体持续改进策略、反思表现并利用已有知识缩短通关时间。实验显示，前沿智能体在简单平台跳跃游戏中接近人类世界纪录，但在实际预算下于更长、更复杂的游戏中仍落后于人类。
论文提出 ChartBmkAgent，可从稀疏的错误分类学规范出发，由中央 harness 治理多个专用智能体自动构建完整的 Chart QA 诊断样本，保留英文原名。在 300 个分类学样本上，多模态大模型准确率介于 32.7% 到 84.3%；定向跟进样本得分 50.0%，对照样本为 82.2%（p=8.96×10⁻⁶）。多个评估模型判定 86.4% 的样本确实测试了指定的错误类别。
一项 arXiv 研究比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8-bit 与 4-bit 量化版本在二十个确定性工具使用任务、五个提示词上的故障恢复表现。8-bit 与 4-bit 的恢复差异随提示词和评测目标改变方向：Llama 在同提示词下双版本无故障通过的任务上差异为 0 到 +20.2 个百分点，Qwen 为 -50.0 到 +35.0 个百分点。研究指出单一提示词、单一任务集和单一评分策略无法得出关于量化智能体稳健性的稳定结论。
研究者提出 OMIT 基准，用基于 LLM 的五视角哲学角色面板构建 218 个成对框架场景、覆盖 10 类冲突，评估 8 个 LLM 的不作为偏差。结果显示该偏差普遍存在，但在同一模型家族内与模型规模呈负相关。测试的 4 种推理时干预中，鼓励模型先思考道德原则再作答可降低不作为偏差并提升框架一致响应，但低偏差也可能伴随向行动偏置的偏移。
研究者提出统一多模态模型的“视觉拒绝”问题，并发布含 1050 对可行-不可行请求、覆盖 7 类任务的 Draw-or-Decline 基准。评测 8 个 UMM 发现编辑与拒绝能力相互独立：最强编辑器编辑准确率 68.4%，但普通指令下仅拒绝 0.4% 的不可行请求。所提 VisTA 训练方法训练的 VisTA-BAGEL 无需提示即可拒绝 93.0% 的不可行请求、误拒仅 0.8%，并以 74.3% 的可行编辑完成率超过全部 8 个被测模型。
该报告从检索相关性与答案质量两个层面、共四项评估考察 Redpine Science——一个通过 MCP 和 API 提供同行评审文献单一入口的工具。在 ScholarQABench SciFact 上，接入 Redpine Science 的智能体答对 94.4% 的断言，无检索时为 87.6%；在专家验证题集上，其答出 80.1% 的必要断言，纯 web search 为 70.2%。检索基准的 Recall@10 为 83.1%，专家盲评的 Precision@5 达 75.2%，PubMed 搜索工具为 39.8%。
一项 NeurIPS 2026 评测与数据集赛道研究指出，LLM 幻觉检测基准存在“参考忠实性”与“事实正确性”两类标准的标注歧义。研究基于 900 个人工标注的问答对，测试词面相似度指标、NLI 基线和七个 LLM judge，发现各自动标注策略之间及其与人工标注存在显著分歧，且多呈现方向性误差偏置；将忠实性导向提示词换为事实正确性提示词通常能提升与人工标注的一致性并减少误报。
一项 arXiv 研究通过测试多文字语言，考察小型与大语言模型（SLM 与 LLM）是否具备文字系统知识。两项实验评估模型是否将输出文字匹配输入文字，以及是否按明确指令生成指定文字。结果显示所有模型 Latin 文字保真度超过 98%，且高频遵循文字指令，其中 LLM 表现更好，包括非标准文字组合。
一项 arXiv 预印本研究发现，在德国三套模拟心理咨询语料（n=195 场专家评分会谈）上，跨域训练预测专家总体印象优于域内训练：leave-one-domain-out 迁移达到嵌套 Spearman ρ=0.54，域内最高仅 0.48，配对会话级差距 +0.15（训练集大小匹配时仍保持 +0.12）。关键特征来自小型开源权重 LLM 基于专家量表构建的会话级构念分数，量表化特征将单评委从 0.32 提升至 0.41，三模型族集成达 0.51，加入非语言双人块再加 +0.03。
研究者提出 DyaFDB 框架，让两个全双工语音对话模型在指定角色和合作或冲突目标下直接对话，并由外部裁判离线对双方打分，以替代单向评测。该框架包含 4 个任务、140 个场景，记录了 7,560 段对话，覆盖六种自对弈与交叉对弈配对。实验发现模型行为会持续塑造对方，因此每个模型须同时充当考官与考生，相关场景与协议将开源发布。