从 DQI 到 C-DQI：面向计算化话语质量指数的自动编码本生成与评估
研究者提出一套基于 LLM 的编码本自动生成与评估协议 C-DQI，从话语质量指数（DQI）出发，比较自上而下（理论驱动）、自下而上（数据驱动）和混合三种生成方式。他们设计了经人工标注验证的外部代理指标和利用模型间偏差的模型间一致性（IMA）指标。在 100 份以色列议会 transcripts 上的实验显示，数据驱动的归纳式编码本 IMA 更高且保持有效性，可用于大规模政治话语分析。
#能力评测
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分2525 arXiv · cs.AIAI 评分2727 超越校准：LLM 置信度在多语言与本地化场景下的时序评估
研究者对比 LLM 解题前（FOK）与解题后（JOL）置信度信号的可靠性，涵盖两个前沿模型、多个推理领域及英语与马拉地语基准。解题前的低成本信号校准较弱，解题后置信度认知对齐更强但推理成本更高；英语与马拉地语间校准趋势可经翻译迁移，但在本地化马拉地语知识上明显退化，幻觉回答在生成后仍保持高置信度。
arXiv · cs.AIAI 评分5151 研究揭示微调目标如何塑造大语言模型幻觉检测中的层级信息分布
arXiv 论文 arXiv:2610.27711 发现，在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式，原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何，而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow，其上各层高度冗余，截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍，同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3，并在 QNLI 和 SST-2 上重现相同层级结构。
arXiv · cs.AIAI 评分4747 何时经验记忆能帮助闭环 LLM 驾驶智能体？带重采样热身池与 token 匹配对照的受控评估
一项基于 HighwayEnv 测试床、以 gpt-4o-mini 运行的受控评估研究了经验记忆何时能帮助闭环 LLM 驾驶智能体。结果显示：10 个重采样热身池中，检索式记忆仅在 1 个池优于 No-Memory（sign test p=0.011），且任何被测检索设计都未超过 token 匹配的无关填充对照，仅一条 15-token 谨慎指令即达碰撞合并上限。研究表明单池比较会得出被对照反转的记忆增益结论，作者已开源测试床、审计端口、种子与缓存。
arXiv · cs.AIAI 评分2727 Hearsay or Fact？框架设计与引导方式如何影响 LLM 概率更新
一项基于 δ-SNLI 数据集的研究测试了 LLM 收到单条新信息时概率估计的移动幅度，涵盖 Qwen3-8B、OLMo-2-7B 两种本地模型及五种 agent 命令行配置。在直接陈述引导下，全部七种配置均朝标注方向移动 18-28 个百分点；改用“有人说”转述则降低移动幅度 2-5 个百分点。研究还发现，五次加权估计虽减少极端值，但在两个本地模型中使敏感度分别下降 43% 和 68%。
arXiv · cs.AIAI 评分4444 给模型一根手指：视觉语言模型计数能力的发展对齐评估
一项 arXiv 研究借鉴儿童点数时的认知动作（逐项指点、移动物品），以无训练的 Agent 循环让 9 个视觉语言模型在 682 张图片、7 种测试条件下执行计数并留下可审计的标记轨迹。结果显示各模型精确计数范围差异巨大（R80 从 3 到 150 个点），指标记数大多不能提升准确率，但可作为串行视觉推理的审计手段：标签扰动探测表明精确指点的模型是照标签读出答案，且模型很少在看自己的标记后修正答案。
arXiv · cs.AIAI 评分3838 RAG-NIMBF：用于自动化 RAG 配置分析的非侵入式模块化基准测试框架
RAG-NIMBF 是一个模块化基准测试框架，以非侵入方式附加到现有 RAG 管道上，通过受控消融和端到端实验追踪评估 chunking、embedding、检索、reranking、提示词与生成模型的配置空间。在 SQuAD 数据集上的验证显示，MMR 使 nDCG@5 提升 +4 至 +11 个百分点；更详细的提示词指令在 Qwen3.6-27B、GPT-4o-mini 和 Qwen3.5-think 上使答案忠实度提升 +10 至 +13pp，但在 20B 生成模型上效果可忽略。
arXiv · cs.AIAI 评分3232 LLM 跨语言代码翻译中的幻觉：现象与缓解研究
一项系统性实证研究分析了 LLM 在跨语言代码翻译中的幻觉现象。研究覆盖 3 个 benchmark 数据集、6 组语言对、7 个 LLM，人工标注了 13,919 个幻觉案例，并归纳出语义一致性冲突、事实知识冲突和项目上下文偏差三类分类体系。基于该分类，研究者提出 HaluCodeTran 缓解框架，结合基于 BM25 的相关翻译示例检索与分类感知的反思式精炼，为构建更可靠的 LLM 代码迁移工具提供实用基线。
arXiv · cs.AIAI 评分3131 MMEnterprise-Bench：面向演化多模态记录的企业智能体评测基准
研究者推出 MMEnterprise-Bench，包含 1,613 道基于模拟协作项目中演化多模态记录的问题，覆盖证据推理、冲突消解和不可回答三类任务。对 10 个闭源与开源多模态 LLM 的评测显示，最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现吃力。增大检索预算或换用更大检索器能提升证据召回，但不一定转化为更高的回答准确率。
arXiv · cs.AIAI 评分4646 ACE-Compression：以能力为中心评估压缩后的大语言模型
ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架，从程序推理与约束执行、知识基础与真实性、社会认知与情感理解、人格一致性与风格稳定性四个维度考察压缩后模型的能力存续。对来自六个开源权重 LLM 的 35 个以上压缩 checkpoint（涵盖量化和剪枝）的分析显示，压缩会重新分布能力：粗粒度、局部、表层信号往往保留，而细粒度、长尾、依赖上下文的能力变得脆弱；量化在能力保留上始终优于剪枝。部署者可据此按应用所需能力画像选择压缩方法。
Hugging Face Blog精选AI 评分6666 
Ai2 发布 FairStress 基准，测出 LLM 决策公平性中的隐性不对称
Ai2 发布 FairStress 基准，用 300 个真实两难决策场景、扩展后超 1300 万测试用例，测量大语言模型在不同人口身份下的决策稳定性和解释差异。实验发现存在反刻板印象的过纠，模型在对抗性前缀下更容易放弃有利于多数群体的正确决策，匹配前缀下向少数群体切换的概率高出 8.8 到 42.4 个百分点；对 BBQ 的对比显示评测提问和打分方式会改变测得的偏见方向。
推荐理由：不止测最终选择，还用对抗性前缀测决策稳定性，揭示了用固定选项打分的旧基准可能漏掉的反向过纠现象。
Hugging Face Blog精选AI 评分7171 
IBM Research ALTK-Evolve 用学习式记忆登顶 τ²-bench 客服任务榜单
IBM Research 发布 ALTK-Evolve，通过 GPT-4.1 从智能体自身轨迹中蒸馏行为规则并追加到系统提示词，在不更新权重的情况下让 stock ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%，登顶 2026 年 10 月 12 日榜单快照。换用 gpt-5.5 后 airline 以 82.0% 位居第一；对比显示 retail 需 292 条 lossless 全集才见效，airline 的 14 条 sup3 核心反而更可靠，代价主要是输入 token 成本上升，对话轮数略降。
推荐理由：不更新权重，仅靠从轨迹中蒸馏的提示词级规则就把 stock ReAct 智能体推上 τ²-bench 榜首，方法可直接复用。
arXiv · cs.AIAI 评分1919 WhatIf-Bench：评测时间序列基础模型对干预场景的预测能力
WhatIf-Bench 是一个半合成 benchmark，基于数据中心、电网、道路交通和水网络的机制模拟器生成共 37,665 个任务，衡量预测模型利用协变量预测目标对未来事件响应的能力。评测显示 frontier LLM 技能最高、优于最好的 TSFM；各模型在 Replay 任务上达 48-85% skill，但在 Novel 任务上跌至 -7 至 50%，回归基线跌幅最大。对 Novel 场景的泛化是核心挑战。
arXiv · cs.AIAI 评分4545 StepBench：诊断 AI 智能体的真实世界程序性理解能力
StepBench 基准从 wikiHow 抓取 6,885 条经核验的程序性步骤，覆盖 81 个开放域类别，并派生出 5 项诊断任务。对 12 个模型的 14 种配置测试显示，步骤排序最难：最强模型正确排序率仅 63.0%，步骤数达 9 步及以上时降至 33.1%。研究还发现错误步骤检测可预测生成计划的有效性，可作为更低成本的评估替代方案。
arXiv · cs.AIAI 评分2525 LG-Bench：面向生命科学的图结构评测基准
研究者推出首个面向生命科学的图结构评测基准 LG-Bench，涵盖医学、生物学和化学领域超过 10,000 道高质量选择题。该基准通过双向匹配和语义相似度算法构建加权评测图，并设计全局一致性分数（GCS）和知识平衡分数（KBS）两项新指标，分别衡量模型在语义相关邻域内的一致性，以及错误分布揭示的概念盲区。该框架将大语言模型评测从平面的准确率指标转向结构感知分析。
arXiv · cs.AIAI 评分3636 ProteinGeoBench：前沿结构生物学智能体擅长查询但几何计算薄弱
ProteinGeoBench 是一套包含 131 项蛋白质结构任务的评测套件，基于 4 个前沿模型的 4,249 次 rollouts 和 26 个模型的 4,486 次额外试验。结果显示前沿智能体擅长结构元数据查询但几何计算较弱：131 项任务中数值任务占 28 项，却在四个模型全部失败的 12 项任务中占一半；三个前沿模型得分在 0.785 至 0.816 之间难以区分，第四个为 0.707。研究还发现评测排名受评测预算影响显著，单次运行时 23.9% 的 bootstrap 复现会得出不同的第一名，建议评测应按任务族报告结果并注明运行次数、harness 和访问条件。
arXiv · cs.AIAI 评分4949 同样的模拟结果，不同的证据：检索工具输出如何损害 LLM 智能体的准确率
一项基于 USGS 地球化学模拟器 PHREEQC 的研究测量了 LLM 智能体用检索代替上下文读取工具输出时的精度损失。GPT-5.1 和 GPT-5.2 分别下降 11.3 和 7.9 个百分点，Claude Opus 4.6 与 Claude Sonnet 4.6 无明显损失；GPT 模型在检索模式下常跳过报告、改用自身高精度输出文件并错误取整，即“证据替代”失败。指明权威输出可提升 6.3-7.9 个百分点。
arXiv · cs.AIAI 评分4141 AnyGoal：衡量世界模型超越专家轨迹泛化能力的新基准
研究者推出 AnyGoal，一个由常用世界模型环境构建的目标偏移任务变体基准，并配有开源库，用于研究数据覆盖、动力学泛化与规划性能的关系。在多个环境和世界模型家族上，当前模型在重组熟悉状态与动作因子的组合泛化场景下持续失败，该框架为评估面向新规划任务的泛化能力提供了基础。
arXiv · cs.CLAI 评分4343 RouterWorld：面向延迟感知 LLM 路由的对话式 AI 基准发布
arXiv 论文提出 LLM 路由基准 RouterWorld，统一 371k 单轮响应与 76k 多轮智能体轨迹，采用 LLM-as-a-judge 协议和基于硬件的延迟标注，并设计 Cold-Start 与 Voyager 两种部分可观测路由设定。对 13 个路由基线的评估发现，多数路由器在部分可观测条件下过于重视准确率而忽视延迟。代码与基准数据已公开。
arXiv · cs.CL精选AI 评分5959 arXiv 论文研究 Agent harness 的上下文处理如何决定任务成败
论文研究 Agent harness 跨轮次处理上下文（丢弃、摘要、回放模型推理）何时改变 Agent 成败，而非只看成本。预注册合成实验显示，所需事实可重新查回时截断上下文几乎无损失，事实不可再观察时成功率降至随机水平，两种惩罚相差 92.5 个百分点（90% CI [89.5, 95.5]），第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上，Standard harness 与 Provider Adapter harness 存在 63 分差距，改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%，不保留提示恢复 43%，叠加供应商原生推理回放再恢复 57%；这些为单次运行的点估计。
推荐理由：论文用预注册实验拆解 harness 对 Agent 成败的影响，给出可量化的组件归因，对理解上下文管理设计有直接参考。
arXiv · cs.CLAI 评分3737 SpatialScout：VLM 智能体能主动探索并绘制 3D 场景地图吗？
研究者推出 SpatialScout 基准，评测 VLM 智能体在主动物体级 3D 建图上的能力，基准包含 80 个室内场景和 3,140 个目标物体。最强的 Claude Opus 5.5 平均重叠分数仅 41.71%，47.23% 的目标 IoU 超过 0.5，仅 3.25% 超过 0.9。结果显示模型在从粗略布局到精确度量地图构建上仍有明显差距，代码已开源。
arXiv · cs.CLAI 评分3535 HoloCosm：跨多指标超越单一指标的基准压缩方法
HoloCosm 是一种多指标基准压缩方法，通过联合最小化归一化分数重建误差并约束排序失真，解决单指标方法跨指标失效的问题。在 15 个语言、多模态、VLA 和智能体基准配置、85 个组件指标上，80% 压缩率下其平均 NMAE 较最强基线 Random 降低 35.3% 至 0.236，平均 Spearman 相关性升至 0.915。代码与实验结果即将开源。
arXiv · cs.CLAI 评分4040 RefCraft：通过网页开发评测视觉参考条件下的智能体生成能力
arXiv 论文提出 RefCraft 基准，包含 300 个多模态网页开发任务，将自然语言指令与 1-5 个参考网页截图结合，评测智能体解读视觉参考并迭代优化生成结果的能力。在 9 个前沿（M）LLM 上，最强系统总分仅 52.12/100，表明视觉参考条件下的智能体生成对当前模型仍是重大挑战。评测采用可独立验证的 keypoints 以及程序化与 VLM 裁判。
arXiv · cs.CLAI 评分3636 KEEP-Bench：评估上下文压缩中的证据保留能力
KEEP-Bench 是一个诊断性基准，通过 4,102 个案例直接评估上下文压缩的证据保留忠实度。实验显示，即使输入平均仅 3.1K token，最强开源模型（31B）保留全部所需证据的比例也只有 66.8%，最强闭源模型为 61.6%。论文还提出 EPR 指标，发现证据召回在 4B-8B 中等规模达到峰值，主张未来研究应在小计算预算下提升信息保留能力。
Ollama Blog精选AI 评分5252 Cloudflare 27B 多模态决策模型 Clef 上线 Ollama，本地与云端均可运行
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。
推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。
Hugging Face · 新模型：abliteratedAI 评分5050 RTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比
作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本，仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快（代码 69.4 tok/s、散文 58.2 tok/s，比 Huihui 快约 5–7%），德语困惑度略低，通过 88.6K 上下文与全部 6 项工具调用测试，但多占 1.1 GB 显存导致 n-max 3 无法启动；MTP 草稿深度 n-max 2 是综合最优设置，MTP 对 prefill 无帮助反而约损失 5%。
arXiv · cs.CLAI 评分2323 用嵌入向量度量数据多样性：多样性度量方法分类与 EmbDivBench 基准
一项已被 EMNLP 2026 主会接收的研究提出 21 种基于嵌入向量的文本多样性度量方法的分类体系，按计算方式划分为四个家族，并发布 EmbDivBench 基准，从 variety、balance、disparity 三个维度在模拟与自然文本上评测。实验显示，最常用的 Mean Pairwise Distance 在三个维度上均被多种替代方法超越，Graph Entropy 综合表现最佳，研究还给出了度量选择的实用建议。
arXiv · cs.AIAI 评分3333 PatternBench：面向 LLM 代码优化的模式驱动评测，分离超越编译器的语义推理能力
研究者提出 PatternBench 基准，用于评测 LLM 在激进编译器优化之后仍能保留的“超越编译器”代码优化，覆盖七类转换，并将运行时测速与基于 AST 的优化忠实度分析结合。对前沿、开源权重及微调模型的实验显示，仅看运行时加速无法完整反映优化能力，忠实度与实际加速强相关，微调可同时提升两者。结果表明评测 LLM 代码优化应同时衡量性能结果与目标转换是否真正执行。
arXiv · cs.CLAI 评分4343 医疗微调重塑而非降低面向患者的 AI 风险：基于量规与 LLM 评审的评估框架
一项研究提出基于六类风险语言量规、由三评审 LLM 集成分级严重度的医疗问答风险评估框架。对 Mistral-7B、Phi-3.5-mini、Llama-3.1-8B 及 BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B 六个 7-9B 模型在 K-QA 基准 200 个真实患者问题上的评测显示，风险语言与事实幻觉率统计独立（Spearman ρ = -0.065），医疗微调不降低总风险而是重塑风险：BioMistral 与 OpenBioLLM 抑制高警示药物提及却放大过度自信断言，Med42 仅抑制剂量表达。量规、评审提示词与评估代码已开源。
arXiv · cs.CLAI 评分3232 BanglaBBQ：面向孟加拉国语境的问答偏见基准
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，捕捉孟加拉国语境下的刻板印象，保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示：语境模糊时所有模型都倾向刻板印象，且英语结果无法预测孟加拉语中的表现。
arXiv · cs.AIAI 评分4343 我们对 VLM token 剪枝的评估方式对吗？超越准确率与 token 数量的反思
一项 arXiv 研究指出，VLM 视觉 token 剪枝的现有评估存在缺陷：聚合准确率可能掩盖剪枝方法是否真正识别关键视觉 token，而保留 token 数量也不能可靠反映端到端效率。作者提出 PAA-Bench 评估框架，并用 Random-Pass@k 和 Preservation-Constrained Speedup（PCS）分别衡量随机剪枝下的鲁棒性与共享保留目标下的最大端到端加速。在 8 种方法、3 个 VLM 骨干、9 个 benchmark 上的实验表明，更强的 token 压缩未必带来更高加速，效率排名随保留目标而变化。
arXiv · cs.AIAI 评分4040 LLM 智能体能解决服务投诉吗？ServiceBench 首个投诉处理基准发布
研究者推出 ServiceBench，据称是首个专注投诉处理的基准，包含 2,500 个场景、覆盖 184 类投诉和五个服务行业，并提出 APCS 模拟方法与基于公正性的评测框架。实验显示，即便强大的 LLM 智能体也难以主动收集信息、策略性引导对话，常过早补偿。用 SFT 和 DPO 做针对性后训练可显著改善，使小模型在多项结果上追平或超越大模型。
arXiv · cs.CLAI 评分3737 验证人类书写的推理参考链
一项研究提出以参考为中心的评估方法，用 LLM 将人类推理链步骤结论转译为一阶逻辑（FOL），并用 Z3 SMT 求解器检查蕴含。在 P-FOLIO 的 386 条推导中，202 条（52.3%）通过全部检查；230 条未被引用前提集蕴含的步骤中有 191 条在完整前提下可被蕴含，其余归因于 21 处人类推理错误、11 处 FOL 转译错误和 7 处数据集标注错误。结果表明与人类推理参考的不一致可能源自参考本身。
arXiv · cs.AI精选AI 评分6161 arXiv 论文发现决策模型控制器使 Claude Sonnet 5.5 终端 Agent 成本升 19% 而成功率不变
arXiv 论文（arXiv:2610.24649）在 Terminal-Bench 2.1 上预先设定的研究中测试决策模型 Jev 1.13 作为控制器能否让 Claude Sonnet 5.5 终端 Agent 更省。21 个 held-out 任务、315 次试验中，Jev 使单次尝试成本上升 19%（几何均值比 1.19，95% CI 1.02-1.36），通过率不变（73.0% vs 73.0%）；比小模型 Claude Haiku 5.5 控制器便宜（比值 0.81），但比安慰剂贵 22%。离线评估中 Jev 排序优于规则（AUROC 0.78 vs 0.62）但校准差：判为未完成的运行中 87% 实际通过，导致要求验证本已正确的工作；所有控制器都从未选择放弃运行。
推荐理由：论文用预先设定的对照实验测了决策模型控制器对 Agent 成本和成功率的影响，数据具体，结论对脚手架设计有参考价值。
arXiv · cs.AIAI 评分4242 HSPR：通过层级后验推理恢复软件智能体 benchmark 分数
研究者提出 Hierarchical Score Posterior Recovery（HSPR），用少量任务子集和后验引导的自适应查询来估计软件智能体的完整 benchmark 分数。在 SWE-bench 家族四个任务库、10% 任务预算下，HSPR 在其中三个任务库取得最低平均绝对误差（MAE），四个任务库均取得最低最大绝对误差（MaxErr）。Macro MAE 在 5-20% 预算区间内持续下降，消融实验显示去掉组不确定性或自适应查询会推高误差。
arXiv · cs.CLAI 评分3232 VocalGrad：评估音频语言模型的声学感知能力
研究者推出 VocalGrad 基准，以时间变化方向的二元分类任务评估大型音频语言模型（LALM）感知低层声学变化的能力，避开高层推理与语义理解的干扰。结果显示，人类标注者准确率高，而最先进的 LALM 接近随机水平。线性探测分析发现两种失败模式：部分类别的相关信息保留在内部表征但未被语言模型头利用，另一些则随模型层数加深线性可解码性逐渐下降。
arXiv · cs.CLAI 评分3636 识别研究同源性还不够：LLM 医学证据核验中过度采信同试验报告
一项 arXiv 研究发现，LLM 在医学证据核验中能正确识别同一临床试验的多篇发表，却在汇总证据时过度采信同试验报告。基于 14 个经来源审计的临床试验族和五种模型条件测试，GPT-5.5 在每个溯源任务族中 10/10 次识别调用正确，但 5/5 次汇总调用均过度采信；Qwen3-4B 与 Ministral-3-8B 的选定条件呈现同样反差。加入研究分组指令后，GPT-5.5 的过度采信从 4/5 降至 0/5。
arXiv · cs.CLAI 评分5151 arXiv 论文评测 Qwen3-TTS 语音克隆的条件方式、域外表现与失败模式
一篇 arXiv 论文系统评测 Qwen3-TTS 两种克隆接口（ICL 与 X-Vector），对比 Chatterbox、XTTS-v2 和 F5-TTS，覆盖朗读、会议、情感和空管无线电语音，使用十八项客观指标、LLM 评审与听感测试。结果显示两种接口各有优势，ICL 音色更准但对短参考转写错误敏感；语音域差异解释的方差是系统选择的四倍；Qwen3-TTS 可懂度和音高占优但韵律落后，现有反欺诈对策无法识别其克隆音频，空管无线电语音对所有系统都失败。代码和音频已开源。
arXiv · cs.AIAI 评分4040 PresenceBench：探索性评估大语言模型对用户状态的适应性
arXiv 论文提出 PresenceBench，测量大语言模型能否根据用户的功能状态（ready、flow、stability）适当调整响应。探索性评估覆盖 Claude Sonnet 5、DeepSeek V4 Pro、Gemini 3.6 Flash、GPT-5.6 Terra 四个模型的 30 个场景，提供合成状态后四模型人类偏好点估计均高于 0.5，但特异性未能确立。策略交付降低了成本和输出 token，安全底线失败仅 13/360 例。
arXiv · cs.AIAI 评分4343 SIT-Eval：基于情境的对话智能体逐轮交互评测框架
研究者提出 SIT-Eval，一个可调节的对话智能体评测框架：每轮由 LLM-interlocutor 扮演随机抽取的情境，由情境感知的 LLM-judge 依据适用规则评判回复。对 8 个 LLM、1292 轮对话的评测发现，总体分数相近的模型在各条规则遵循度上差异很大，所有模型在澄清歧义和苏格拉底式提问上表现最差。