MedicalHarness：LLM 与 Agent 框架在医疗任务上的受控评测
arXiv 论文提出 MedicalHarness，通过 MedicalHarnessBench 的 107 个任务（覆盖四个领域）对五个开源权重模型与五种 agent 框架进行受控评测，并用 MH-Lab 逐一关闭上下文管理、规划或工具暴露来分析单一机制的作用。结果显示框架及其与模型的交互约占结果方差的四分之一，且没有单一框架在所有模型和任务上最优。代码与数据已公开。
#数据集
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分5050 arXiv · cs.CLAI 评分3333 CLARA：AI 能否评估儿童故事的发展适宜性
研究者提出 CLARA 框架，通过认知（COG）、语言（LAN）、社会情感（SEL）三个维度的结构化标注评估儿童故事的发展适宜性，并构建含 1107 篇中英双语儿童故事的基准数据集。实验显示，结构化发展标注比可读性方法和直接提示基线更贴合人类判断，该工作已被 EMNLP 2026 Findings 接收。
arXiv · cs.CLAI 评分5050 Nash Equilibrium Text：面向文本生成的博弈论解码框架
该论文将大语言模型的文本修订建模为博弈问题：token 位置为玩家、词表为动作、效用为模型对数条件概率，并证明 Nash 均衡的似然可随序列长度增长而指数级高于自回归输出。
arXiv · cs.CLAI 评分5151 HLA：基于分块动态混合的混合线性注意力方法提升长上下文建模
论文提出 Hybrid Linear Attention（HLA），一种面向 Gated DeltaNet 的查询依赖分块级注意力机制，将已完成分块表示为精确仿射状态转移，并用内容依赖路由门控插值历史转移与恒等映射，辅以有效支持正则化。
Hugging Face Blog精选AI 评分7474 
微软与 Hugging Face 发布 ThinkingBox 基准，以数据库终态评测 Agent 并要求 20 次重复运行
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench，通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用，而非只看工具调用或回复文本，覆盖 507 个有状态业务工作流，每任务独立运行 20 次，已通过 OpenEnv 上线 Hugging Face。
推荐理由：基准不看工具调用而看数据库终态，18 个模型在 507 任务上跑 20 次，区分了单次成功与可依赖性，并给出每次可靠任务的成本对比。
arXiv · cs.AIAI 评分4848 PyINE：基于代码执行的可扩展引导与监督框架发布
研究者推出 PyINE 框架，以带插桩的 Python 程序执行轨迹作为可验证基础来研究大语言模型的“捷径”行为监督问题。首个版本 PyINE-v1 包含近 100 万条确定性执行轨迹和超 50 万个匹配的 LLM 生成代码变体，并用 RL 训练出一个会跟随误导性线索的捷径模型。评估发现，便宜的习得式监督器常漏掉罕见的捷径错误，而更强的基于模型的检查更均衡但成本显著更高。
arXiv · cs.CLAI 评分4141 Verb-ICL：重新思考结构化预测任务的上下文学习
Verb-ICL 是一种面向基于 ICL 的结构化预测的选择性标注框架，先用 token 级覆盖策略选取代表性示例，再生成可执行的错误反馈并融入 ICL 演示。在覆盖信息抽取与语义解析的六个数据集上，Verb-ICL 在低资源设置下持续超越强选择性标注基线，且随标注预算增加仍带来增益。该工作已被 COLM 2026 接收。
arXiv · cs.AIAI 评分3232 Knossos 与 Ariadne：用视觉语言模型评测并学习完整图表拓扑抽取
论文提出图表拓扑抽取任务，并发布 Knossos 基准：涵盖 6 个领域的 19,200 张图表，含 245,179 个节点和 439,740 条边，符号生成保证图与标注精确对齐。同时提出 Ariadne 框架，将任务分解为节点抽取与源条件边预测，在 Knossos 上取得评测方法中最高的平均 Edge F1，且在真实世界外部基准上也优于未适配的基座模型。代码与基准已开源。
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出在有限交互下学习澄清模糊意图的强化学习框架
arXiv 论文（arXiv:2610.04719）将 AI 助手澄清模糊用户意图重新定义为信息价值问题：助手应获取缺失后造成最大可避免用户效用损失的信息，并在有限交互下预测其优先级。作者在图像生成场景中构建了基于多轮模拟用户的强化学习框架。在一项含 76 名人类参与者、456 个交互会话的预注册研究中，该方法帮助用户以更少的问题、更短的交互时间和更低的成本显著更好地匹配参考图像。
推荐理由：论文把澄清模糊意图建模为信息价值问题，用强化学习训练助手提出更有信息量的问题，并给出456场人类会话的预注册实验数据。
arXiv · cs.AI精选AI 评分5252 RAGStress：面向知识库退化的 RAG 受控评测基准发布
研究者发布 RAGStress 基准，用于系统测试 RAG 系统在知识库损坏下的鲁棒性，覆盖事实损坏、数字错字、相关性投毒和矛盾注入四类损坏与三个严重度，基于 57 个 MMLU 学科和 182,546 篇文档。52,500 次模型-问题-条件评估显示，干净检索会掩盖鲁棒性差异，语义保真型损坏危害远大于信号效用型扰动，无检索准确率不能预测损坏检索下的鲁棒性，混合知识库准确率不应视为最坏情况。基准附带生成脚本、损坏提示词、元数据模式和评测代码，定位是受控压力测试而非通用排行榜。
推荐理由：论文用受控实验区分了语义保真型与信号效用型知识库损坏的差别，还澄清了无检索准确率与抗扰性的错位。
arXiv · cs.CLAI 评分4343 理解 LLM 在含错误表格问答中的错误发现与处理
一项 arXiv 研究通过在 RADAR-T 人工校验样本上对三个 LLM 做受控实验，分析含错误表格问答中的错误发现与处理。结果显示行顺序变化会改变错误发现，仅提供已验证错误位置不足以保证准确问答；应用人工校验修复后，code-assisted QA 准确率较错误标注表提升 39.0-59.1 个百分点。
arXiv · cs.AIAI 评分3333 MASBench：面向部分可观测环境下的 LLM 多智能体协作评测基准
研究者推出 MASBench，一个在部分可观测约束下评测 LLM 多智能体协作的基准，包含 Reasoning、Scheduling 和 Game 三类递进任务，用于评估 Protocol、Memory、Routing 三种协作机制。基准提供性能分数、通信成本和成本效益等确定性指标，跨多个 LLM 主干的实验可为 MAS 设计提供经验指导，代码已开源。
arXiv · cs.CL精选AI 评分5959 Grounding Probe：基于观察者模型隐状态的生成器无关幻觉检测方法
arXiv 论文提出 Grounding Probe，用观察者语言模型中间层平均池化隐状态的逻辑回归检测 RAG 回答是否基于上下文，观察者只读不生成，与生成器解耦。
推荐理由：论文提出用观察者模型隐状态检测 RAG 幻觉，与生成器解耦，并给出跨六个生成器的 AUROC 数据。
arXiv · cs.CLAI 评分3636 神经网络复杂度能否提升健康谣言检测？一项控制数据泄漏的跨语料库基准研究
一项跨语料库基准研究比较了五种紧凑神经架构（1D-CNN、LSTM、BiLSTM、CNN-LSTM、CNN-BiLSTM）、软投票集成与三个传统机器学习基线在 COVID19-FNIR 和 CONSTRAINT 上的表现。
arXiv · cs.AIAI 评分4040 Label Agreement Does Not Measure Authorization：智能体 LLM 流水线的标签授权问题研究
研究者构建并审计了一个用于标签本体与元数据协调的智能体 LLM 流水线，发现在 COBRE 和 FBIRN 两个神经影像数据集上，标签一致性无法衡量智能体是否有权提出标签等属性。向智能体展示上游提议仅使标签一致性从 0.857 升至 0.870，而对所采取行动的一致性却翻倍（0.409 至 0.830）；JSON 输出在一个模型 10%、另一个模型 33% 的用例上丢失必需字段。作者将三项属性分开测量并配以对照，使失败可见并可转交人工处理，代码已开源。
arXiv · cs.CLAI 评分2323 基于 Twitter 数据的 Emoji 情绪排序系统研究
一项 arXiv 研究基于 2020-2025 年间收集的 100,000 条含 emoji 的 Twitter (X) 回复，构建 emoji 感知情绪分析框架，对每条消息分类 Happy、Angry、Sad、Fear、Surprise 五种基本情绪，并聚合情绪分数建立 emoji 情绪排序系统。
arXiv · cs.CLAI 评分2525 孟加拉国公立vs私立大学话语立场检测：低资源语言数据集与零样本 LLM 评测
一项针对孟加拉国社交媒体上公立vs私立大学两极分化话语的研究发布了 4,060 条人工标注孟加拉语评论数据集，标注为亲公立、亲私立或中立，Fleiss's Kappa 达 0.89。BanglaBERT+XGBoost 混合模型准确率 91.81%，macro F1 91.70%；零样本 Llama 4 Maverick 不经微调即取得 macro F1 0.931、准确率 93.31%，超过所有监督基线。
arXiv · cs.CL精选AI 评分5353 XTurnix：基于两态二分类的大规模自监督轮次控制模型
XTurnix 论文提出一个紧凑文本模型，将实时对话轮次控制建模为基于聆听或说话状态的两个二分类决策，并从完整对话历史预测单一控制 token。模型在 550 万个自动生成的因果动作样本上预训练，再在合成的多轮样本上微调；在四个公开基准上，XTurnix 在全部 SemanticVAD 和 LiveKit 分割上取得最佳结果，在 Smart-Turn Bench 上与原生 Smart-Turn 模型持平，在 Easy-Turn 上取得最高的不完整轮次准确率；在自建平衡基准上达到 89.06% 准确率，比最强第三方基线 68.75% 高出超过 20 个百分点，四个类别 F1 在 84.21% 至 90.63% 之间。代码和交互演示已开放。
推荐理由：论文把对话轮次控制统一为双二分类决策，并在多个公开基准上给出对比结果，读者可据此评估这类紧凑控制器的实际水平。
arXiv · cs.CLAI 评分3232 标注边界一致、标签却不一致：标注者内部动态可作为一种训练数据质量信号
arXiv 论文提出用「标注者内部动态」衡量训练数据质量：一名专家读者与三个 LLM 模型族对三篇苏美尔神话分段并标注七种因果功能。数月间隔的多次运行中，人类切分位置基本一致但标签名称不同，且功能启动错开一步；模型则无此一致模式。作者据此提出该模式可作为数据质量度量和污染检测手段。
arXiv · cs.CLAI 评分4444 SPAE：用注意力引导同时缓解 LLM 谄媚与固执（CoPE-Bench）
研究者提出 SPAE，一个免训练框架，利用模型自身判断识别相关 token，通过 token 级注意力引导抑制用户压力、放大上下文证据，并配套发布含六种条件的 CoPE-Bench。在五个骨干模型上，SPAE 平均降低 18.8 个百分点的顺从压力行为，联合条件下答案更新率较最强基线提升 5.5 个百分点；两轮对话中较最强提示基线平均提升 13.2 个百分点。数据与代码已开源。
arXiv · cs.AIAI 评分4545 4DCodeBench：通过代码生成评测智能体动态场景逆向图形能力的基准
4DCodeBench 是一个面向 4D 逆向图形的基准，要求智能体从视频中重建动态场景并生成可执行的图形程序，涉及形变、流体流动和断裂等物理现象。基准包含真实视频与合成场景，对前沿模型的测试显示，静态重建能力强并不代表能可靠重建复杂动态。
arXiv · cs.AIAI 评分4343 FrugalEvo：面向成本感知的 LLM 引导程序进化框架
论文提出 FrugalEvo，一种成本感知的进化框架：由更强的高成本 LLM 探索解法策略、更廉价的 LLM 负责实现与代码迭代精化，并通过前缀共享提升缓存复用，还引入预算内累计成本曲线下面积指标 BA-AUC。
arXiv · cs.AIAI 评分4545 MRVQ：一种支持维度与码率弹性的向量检索残差量化方法
论文提出 MRVQ（Matryoshki Residual Vector Quantization），一种面向冻结嵌入的事后残差量化器，其单一常驻索引可通过删减残差级或嵌入坐标在码率与维度间弹性切换。
arXiv · cs.AI精选AI 评分5353 大语言模型了解哥伦比亚法律吗：哥伦比亚法律系统可靠性基准发布
论文发布一个经专家校验的哥伦比亚法律系统LLM可靠性基准，含1042道题、十个法律领域和三种题型，用多阶段专家评审的人在环流水线构建，评测了15个专有与开放权重模型。
推荐理由：论文用专家校验的1042题基准实测15个模型在哥伦比亚法律任务上的表现，给出开放题正确率与引用规范真实性的量化证据。
arXiv · cs.AIAI 评分4343 NeutronGym：面向 LLM 智能体的中子仪器设计物理分级环境
研究者推出 NeutronGym，据称是首个可执行的中子仪器设计环境，用 McStas 射线追踪和分级评分替代 LLM 评审。16 个任务的 McStasBench 中七个模型最多解出 7 个，无一达到参考水平。RL 训练使 Qwen3-8B 在 held-out 实例上从 11% 提升至 77%，超过未训练的 Qwen3-32B，但去掉部分得分机制会下降 60 分。
arXiv · cs.AIAI 评分4848 HyperBrowseComp：面向网页浏览智能体的多语言多模态压力测试基准
研究者推出浏览智能体基准 HyperBrowseComp，包含 423 道人工编写并经人工校验的题目，覆盖 13 种语言，答案需通过多步线索链或检查视频、扫描文档、图像、地图等异构证据才能得出。团队在统一智能体协议下用厂商原生搜索与共享外部检索工具评估多个模型，并对部分题目做了人类评测作对照。
arXiv · cs.AIAI 评分5151 FinSkillBench：拆解可验证金融 Agent 工作流中的技能溢价
论文提出 FinSkillBench，包含 2,603 个跨 12 个子任务的时点金融 Agent 评测场景，覆盖组合构建、风险管理与基本面分析，并配隐藏可再生的标准答案与确定性验证器。
arXiv · cs.AIAI 评分4444 Cephalonauts One：用于解码人脑自然语音的深度 fMRI 数据集
Cephalonauts One 是一个全脑 3T fMRI 数据集，记录 3 名受试者收听母语播客时的脑活动，每人 30 小时数据，是当前使用自然语音刺激的最深 fMRI 数据集，并附带音频、转写标注与刺激嵌入。论文还提出以音频片段检索形式构成的脑解码 benchmark，提供标准划分、评测指标和 baseline 解码器，scaling 分析显示解码性能随每人训练数据量持续提升。
arXiv · cs.AIAI 评分5151 arXiv 论文提出推理数据合成的递归构建流程自我改进框架
arXiv 论文 2610.03548 提出任务与构建流程协同进化的框架，在推理数据合成中实现递归式构建流程自我改进（RSI）。在线自我改进把求解器中间失败转化为可复用技能，任务后自我改进在每批任务后修订技能、提示词和工作流，仅当能在成本有界增加下生成更难的有效任务时才采纳候选，模型权重与验证标准保持固定。
Hugging Face Blog精选AI 评分7070 
Ai2 开源科研报告生成模型 AstaBrief 8B 及训练数据
Ai2 开源了基于 Qwen3-8B 的科研报告生成模型 AstaBrief 8B 及训练数据，模型可将研究问题和检索到的文献片段转化为带引用的报告，已在 Asta 平台作为 Fast mode 上线。
推荐理由：官方完整披露了 SFT 与 DPO 数据构建、引用密度过滤和评测细节，读者可复用其数据质量过滤方法。
arXiv · cs.CLAI 评分3333 Shrome 在 Touché 上用软投票集成与反因果增强做因果关系抽取
Shrome 团队针对 Touché 2026 的反因果声明抽取任务，为检测、抽取、极性三个子任务各建一个模型：抽取环节在解码前对三个 RoBERTa-large BILOU+CRF 标注器做 token 级软投票集成，极性环节用 LLM 按 9 种反因果表达模式生成训练句补充稀缺样本。
arXiv · cs.CLAI 评分3636 StanceEval 2026：第二届阿拉伯语立场检测共享任务
StanceEval 2026 是第二届阿拉伯社交媒体立场检测共享任务，要求系统判断写作者对给定目标的立场为 Favor、Against 或 None，设跨目标迁移与跨域迁移两条赛道。共 80 支队伍报名、12 个国家参与，最优系统 F_avg2 分别达 0.8994 和 0.9400，大幅超越基线（0.7366 与 0.7475），且未见目标上的成绩反而更高。
arXiv · cs.CL精选AI 评分5757 arXiv 论文 Nautil：训练 LLM 调查员学会何时结案
论文研究 LLM 调查员能否正确判断证据是否足以结案，提出含 731 个审计案例的 Nautil 数据集及三项结案评估测试。
推荐理由：原文给出了未训练 9B 模型 97% 过度断言到微调后 35% 的前后对比，可据此评估结案判断这一能力的可训练性。
arXiv · cs.CLAI 评分4444 研究单语 RAG 中推理语言与查询语言对齐的作用
一项 arXiv 研究构建了基于桌游 The Dark Eye 的全德语单语 RAG 问答测试床，发现让 agentic RAG 系统的推理语言与查询和检索文档对齐能提升效果：强制德语推理优于强制法语，且检索上下文越丰富、越具结构感知时优势越大；但德语推理仅达到模型原生英语推理水平而未能超越，表明仍需原生多语推理。测试床与 QA benchmark 已公开。
arXiv · cs.CL精选AI 评分5555 MintEval：评测大语言模型能否忠实实现自然语言描述的交易策略
论文提出 MintEval 基准，通过从可组合模块程序化生成参考策略、转译成交易员口语指令再让被测模型重新实现，在相同市场数据和摩擦下逐 bar 执行并比较行为而非代码相似度。
推荐理由：原文用逐 bar 行为对比衡量代码是否忠实执行交易策略，给出了前沿模型仍存在静默失败的具体比例。
arXiv · cs.CLAI 评分3434 揭开宣传检测的面纱：掩码语言模型与因果语言模型的对比分析
基于 SemEval-2020 Task 11 数据集对比掩码语言模型（XLM-RoBERTa、DeBERTa V3）与 OpenAI、Google、Mistral、Anthropic、Meta 的因果模型在宣传技巧检测上的表现，采用 base 与 chain-of-thought 两种提示策略。
arXiv · cs.CLAI 评分4343 SecJev：为 System One 决策模型引入安全领域专长
研究者推出 SecJev，据称是首个面向安全的 Jev 类决策模型家族，参数规模 0.8B 至 9B，基于 Kev 的单遍候选评分器，可从文本、遥测与观察历史中学习布尔、选择和有序决策。
arXiv · cs.CL精选AI 评分5252 HARPO：兼顾忠实与创造力的幻觉感知强化学习框架
论文提出 HARPO 强化学习框架，用可验证反馈训练的幻觉感知生成奖励模型 HA-GRM 联合优化忠实性与创造力，仅对无幻觉输出激活写作奖励，并通过课程从创作任务渐进过渡到幻觉任务。
推荐理由：论文给出了 HA-GRM 在 RAGTruth 上的 F1 对比和 Qwen3-4B 幻觉率与创作分的前后数据，可评估该框架的实际收益。