torque 开源：用声明式类型安全 DSL 轻松构建 LLM 合成数据集
GitHub 上的开源工具 torque 帮助开发者为大语言模型创建合成数据集，采用声明式、类型安全的 DSL，可像 React 组件一样组合对话。它支持可复用模板、多种格式导出与数据工具集成，需 4 GB 内存和 200 MB 存储空间，支持 Windows 10+、macOS Catalina+ 及较新 Linux 发行版。
#数据集
新闻、仓库与研究，按时间排列。
GitHub · 去对齐工具与仓库AI 评分2424 GitHub · 去对齐工具与仓库精选AI 评分5858 AgentDojo-PROV 发布 LLM Agent 执行溯源语料库与工具链
作者开源 AgentDojo-PROV，对 AgentDojo 基准（agentdojo==0.1.35，v1.2.2 四个套件）做无损捕获，并从转录记录纯函数式派生 W3C PROV-O 溯源图。
推荐理由：作者开源了覆盖六个模型的 AgentDojo 执行溯源语料与工具链，标注与图结构可离线重算而无需重跑模型，便于复用。
GitHub · 灵魂体仓库AI 评分5454 NVIDIA 开源 NeMo Data Designer 多模态合成数据生成框架
NVIDIA NeMo 开源了 Data Designer，一个用于生成生产级合成数据集的框架，支持从零生成或基于种子数据生成文本、结构化数据和图像。
GitHub · 去对齐工具与仓库AI 评分3030 synthetic-data-tradeoffs：高斯 copula 与 LLM 合成表格数据的权衡实测
该项目用 breast cancer Wisconsin 数据集（569 行、30 个数值特征）对比 Gaussian copula 与 Gemini（flash tier）生成合成表格数据在保真度、效用、隐私三轴上的权衡。
GitHub · 去对齐工具与仓库AI 评分3030 Matched-Budget-GraphRAG-Benchmark：固定预算下对比 GraphRAG 分块选择策略的开源基准项目
GitHub 开源项目 Matched-Budget-GraphRAG-Benchmark 在固定预算下评估检索质量与 LLM 抽取成本，对比 Random、KET-RAG、LazyGraphRAG 和 FastGraphRAG 四种分块选择策略，基于 HotpotQA 和 MuSiQue 数据集。
GitHub · 灵魂体仓库AI 评分4040 GitHub 开源项目 Odungi：对比单路 RAG、分解式 RAG 与 LLM Wiki 的实验框架
GitHub 项目 Odungi 以 Matter connectedhomeip 技术文档为固定语料，对比单路 RAG、分解式 RAG 与 LLM Wiki 三种系统。
Hugging Face Blog精选AI 评分7474 
微软与 Hugging Face 发布 ThinkingBox 基准，以数据库终态评测 Agent 并要求 20 次重复运行
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench，通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用，而非只看工具调用或回复文本，覆盖 507 个有状态业务工作流，每任务独立运行 20 次，已通过 OpenEnv 上线 Hugging Face。
推荐理由：基准不看工具调用而看数据库终态，18 个模型在 507 任务上跑 20 次，区分了单次成功与可依赖性，并给出每次可靠任务的成本对比。
arXiv · cs.AIAI 评分4848 PyINE：基于代码执行的可扩展引导与监督框架发布
研究者推出 PyINE 框架，以带插桩的 Python 程序执行轨迹作为可验证基础来研究大语言模型的“捷径”行为监督问题。首个版本 PyINE-v1 包含近 100 万条确定性执行轨迹和超 50 万个匹配的 LLM 生成代码变体，并用 RL 训练出一个会跟随误导性线索的捷径模型。评估发现，便宜的习得式监督器常漏掉罕见的捷径错误，而更强的基于模型的检查更均衡但成本显著更高。
arXiv · cs.CLAI 评分4141 Verb-ICL：重新思考结构化预测任务的上下文学习
Verb-ICL 是一种面向基于 ICL 的结构化预测的选择性标注框架，先用 token 级覆盖策略选取代表性示例，再生成可执行的错误反馈并融入 ICL 演示。在覆盖信息抽取与语义解析的六个数据集上，Verb-ICL 在低资源设置下持续超越强选择性标注基线，且随标注预算增加仍带来增益。该工作已被 COLM 2026 接收。
arXiv · cs.AIAI 评分3232 Knossos 与 Ariadne：用视觉语言模型评测并学习完整图表拓扑抽取
论文提出图表拓扑抽取任务，并发布 Knossos 基准：涵盖 6 个领域的 19,200 张图表，含 245,179 个节点和 439,740 条边，符号生成保证图与标注精确对齐。同时提出 Ariadne 框架，将任务分解为节点抽取与源条件边预测，在 Knossos 上取得评测方法中最高的平均 Edge F1，且在真实世界外部基准上也优于未适配的基座模型。代码与基准已开源。
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出在有限交互下学习澄清模糊意图的强化学习框架
arXiv 论文（arXiv:2610.04719）将 AI 助手澄清模糊用户意图重新定义为信息价值问题：助手应获取缺失后造成最大可避免用户效用损失的信息，并在有限交互下预测其优先级。作者在图像生成场景中构建了基于多轮模拟用户的强化学习框架。在一项含 76 名人类参与者、456 个交互会话的预注册研究中，该方法帮助用户以更少的问题、更短的交互时间和更低的成本显著更好地匹配参考图像。
推荐理由：论文把澄清模糊意图建模为信息价值问题，用强化学习训练助手提出更有信息量的问题，并给出456场人类会话的预注册实验数据。
arXiv · cs.AI精选AI 评分5252 RAGStress：面向知识库退化的 RAG 受控评测基准发布
研究者发布 RAGStress 基准，用于系统测试 RAG 系统在知识库损坏下的鲁棒性，覆盖事实损坏、数字错字、相关性投毒和矛盾注入四类损坏与三个严重度，基于 57 个 MMLU 学科和 182,546 篇文档。52,500 次模型-问题-条件评估显示，干净检索会掩盖鲁棒性差异，语义保真型损坏危害远大于信号效用型扰动，无检索准确率不能预测损坏检索下的鲁棒性，混合知识库准确率不应视为最坏情况。基准附带生成脚本、损坏提示词、元数据模式和评测代码，定位是受控压力测试而非通用排行榜。
推荐理由：论文用受控实验区分了语义保真型与信号效用型知识库损坏的差别，还澄清了无检索准确率与抗扰性的错位。
arXiv · cs.CLAI 评分4343 理解 LLM 在含错误表格问答中的错误发现与处理
一项 arXiv 研究通过在 RADAR-T 人工校验样本上对三个 LLM 做受控实验，分析含错误表格问答中的错误发现与处理。结果显示行顺序变化会改变错误发现，仅提供已验证错误位置不足以保证准确问答；应用人工校验修复后，code-assisted QA 准确率较错误标注表提升 39.0-59.1 个百分点。
arXiv · cs.AIAI 评分3333 MASBench：面向部分可观测环境下的 LLM 多智能体协作评测基准
研究者推出 MASBench，一个在部分可观测约束下评测 LLM 多智能体协作的基准，包含 Reasoning、Scheduling 和 Game 三类递进任务，用于评估 Protocol、Memory、Routing 三种协作机制。基准提供性能分数、通信成本和成本效益等确定性指标，跨多个 LLM 主干的实验可为 MAS 设计提供经验指导，代码已开源。
arXiv · cs.CL精选AI 评分5959 Grounding Probe：基于观察者模型隐状态的生成器无关幻觉检测方法
arXiv 论文提出 Grounding Probe，用观察者语言模型中间层平均池化隐状态的逻辑回归检测 RAG 回答是否基于上下文，观察者只读不生成，与生成器解耦。
推荐理由：论文提出用观察者模型隐状态检测 RAG 幻觉，与生成器解耦，并给出跨六个生成器的 AUROC 数据。
arXiv · cs.CLAI 评分3636 神经网络复杂度能否提升健康谣言检测？一项控制数据泄漏的跨语料库基准研究
一项跨语料库基准研究比较了五种紧凑神经架构（1D-CNN、LSTM、BiLSTM、CNN-LSTM、CNN-BiLSTM）、软投票集成与三个传统机器学习基线在 COVID19-FNIR 和 CONSTRAINT 上的表现。
arXiv · cs.AIAI 评分4040 Label Agreement Does Not Measure Authorization：智能体 LLM 流水线的标签授权问题研究
研究者构建并审计了一个用于标签本体与元数据协调的智能体 LLM 流水线，发现在 COBRE 和 FBIRN 两个神经影像数据集上，标签一致性无法衡量智能体是否有权提出标签等属性。向智能体展示上游提议仅使标签一致性从 0.857 升至 0.870，而对所采取行动的一致性却翻倍（0.409 至 0.830）；JSON 输出在一个模型 10%、另一个模型 33% 的用例上丢失必需字段。作者将三项属性分开测量并配以对照，使失败可见并可转交人工处理，代码已开源。
arXiv · cs.CLAI 评分2323 基于 Twitter 数据的 Emoji 情绪排序系统研究
一项 arXiv 研究基于 2020-2025 年间收集的 100,000 条含 emoji 的 Twitter (X) 回复，构建 emoji 感知情绪分析框架，对每条消息分类 Happy、Angry、Sad、Fear、Surprise 五种基本情绪，并聚合情绪分数建立 emoji 情绪排序系统。
arXiv · cs.CLAI 评分2525 孟加拉国公立vs私立大学话语立场检测：低资源语言数据集与零样本 LLM 评测
一项针对孟加拉国社交媒体上公立vs私立大学两极分化话语的研究发布了 4,060 条人工标注孟加拉语评论数据集，标注为亲公立、亲私立或中立，Fleiss's Kappa 达 0.89。BanglaBERT+XGBoost 混合模型准确率 91.81%，macro F1 91.70%；零样本 Llama 4 Maverick 不经微调即取得 macro F1 0.931、准确率 93.31%，超过所有监督基线。
arXiv · cs.CL精选AI 评分5353 XTurnix：基于两态二分类的大规模自监督轮次控制模型
XTurnix 论文提出一个紧凑文本模型，将实时对话轮次控制建模为基于聆听或说话状态的两个二分类决策，并从完整对话历史预测单一控制 token。模型在 550 万个自动生成的因果动作样本上预训练，再在合成的多轮样本上微调；在四个公开基准上，XTurnix 在全部 SemanticVAD 和 LiveKit 分割上取得最佳结果，在 Smart-Turn Bench 上与原生 Smart-Turn 模型持平，在 Easy-Turn 上取得最高的不完整轮次准确率；在自建平衡基准上达到 89.06% 准确率，比最强第三方基线 68.75% 高出超过 20 个百分点，四个类别 F1 在 84.21% 至 90.63% 之间。代码和交互演示已开放。
推荐理由：论文把对话轮次控制统一为双二分类决策，并在多个公开基准上给出对比结果，读者可据此评估这类紧凑控制器的实际水平。
arXiv · cs.CLAI 评分3232 标注边界一致、标签却不一致：标注者内部动态可作为一种训练数据质量信号
arXiv 论文提出用「标注者内部动态」衡量训练数据质量：一名专家读者与三个 LLM 模型族对三篇苏美尔神话分段并标注七种因果功能。数月间隔的多次运行中，人类切分位置基本一致但标签名称不同，且功能启动错开一步；模型则无此一致模式。作者据此提出该模式可作为数据质量度量和污染检测手段。
arXiv · cs.CLAI 评分4444 SPAE：用注意力引导同时缓解 LLM 谄媚与固执（CoPE-Bench）
研究者提出 SPAE，一个免训练框架，利用模型自身判断识别相关 token，通过 token 级注意力引导抑制用户压力、放大上下文证据，并配套发布含六种条件的 CoPE-Bench。在五个骨干模型上，SPAE 平均降低 18.8 个百分点的顺从压力行为，联合条件下答案更新率较最强基线提升 5.5 个百分点；两轮对话中较最强提示基线平均提升 13.2 个百分点。数据与代码已开源。
arXiv · cs.AIAI 评分4545 4DCodeBench：通过代码生成评测智能体动态场景逆向图形能力的基准
4DCodeBench 是一个面向 4D 逆向图形的基准，要求智能体从视频中重建动态场景并生成可执行的图形程序，涉及形变、流体流动和断裂等物理现象。基准包含真实视频与合成场景，对前沿模型的测试显示，静态重建能力强并不代表能可靠重建复杂动态。
arXiv · cs.AIAI 评分4343 FrugalEvo：面向成本感知的 LLM 引导程序进化框架
论文提出 FrugalEvo，一种成本感知的进化框架：由更强的高成本 LLM 探索解法策略、更廉价的 LLM 负责实现与代码迭代精化，并通过前缀共享提升缓存复用，还引入预算内累计成本曲线下面积指标 BA-AUC。
arXiv · cs.AIAI 评分4545 MRVQ：一种支持维度与码率弹性的向量检索残差量化方法
论文提出 MRVQ（Matryoshki Residual Vector Quantization），一种面向冻结嵌入的事后残差量化器，其单一常驻索引可通过删减残差级或嵌入坐标在码率与维度间弹性切换。
arXiv · cs.AI精选AI 评分5353 大语言模型了解哥伦比亚法律吗：哥伦比亚法律系统可靠性基准发布
论文发布一个经专家校验的哥伦比亚法律系统LLM可靠性基准，含1042道题、十个法律领域和三种题型，用多阶段专家评审的人在环流水线构建，评测了15个专有与开放权重模型。
推荐理由：论文用专家校验的1042题基准实测15个模型在哥伦比亚法律任务上的表现，给出开放题正确率与引用规范真实性的量化证据。
arXiv · cs.AIAI 评分4343 NeutronGym：面向 LLM 智能体的中子仪器设计物理分级环境
研究者推出 NeutronGym，据称是首个可执行的中子仪器设计环境，用 McStas 射线追踪和分级评分替代 LLM 评审。16 个任务的 McStasBench 中七个模型最多解出 7 个，无一达到参考水平。RL 训练使 Qwen3-8B 在 held-out 实例上从 11% 提升至 77%，超过未训练的 Qwen3-32B，但去掉部分得分机制会下降 60 分。
arXiv · cs.AIAI 评分4848 HyperBrowseComp：面向网页浏览智能体的多语言多模态压力测试基准
研究者推出浏览智能体基准 HyperBrowseComp，包含 423 道人工编写并经人工校验的题目，覆盖 13 种语言，答案需通过多步线索链或检查视频、扫描文档、图像、地图等异构证据才能得出。团队在统一智能体协议下用厂商原生搜索与共享外部检索工具评估多个模型，并对部分题目做了人类评测作对照。
arXiv · cs.AIAI 评分5151 FinSkillBench：拆解可验证金融 Agent 工作流中的技能溢价
论文提出 FinSkillBench，包含 2,603 个跨 12 个子任务的时点金融 Agent 评测场景，覆盖组合构建、风险管理与基本面分析，并配隐藏可再生的标准答案与确定性验证器。
arXiv · cs.AIAI 评分4444 Cephalonauts One：用于解码人脑自然语音的深度 fMRI 数据集
Cephalonauts One 是一个全脑 3T fMRI 数据集，记录 3 名受试者收听母语播客时的脑活动，每人 30 小时数据，是当前使用自然语音刺激的最深 fMRI 数据集，并附带音频、转写标注与刺激嵌入。论文还提出以音频片段检索形式构成的脑解码 benchmark，提供标准划分、评测指标和 baseline 解码器，scaling 分析显示解码性能随每人训练数据量持续提升。
arXiv · cs.AIAI 评分5151 arXiv 论文提出推理数据合成的递归构建流程自我改进框架
arXiv 论文 2610.03548 提出任务与构建流程协同进化的框架，在推理数据合成中实现递归式构建流程自我改进（RSI）。在线自我改进把求解器中间失败转化为可复用技能，任务后自我改进在每批任务后修订技能、提示词和工作流，仅当能在成本有界增加下生成更难的有效任务时才采纳候选，模型权重与验证标准保持固定。
Hugging Face Blog精选AI 评分7070 
Ai2 开源科研报告生成模型 AstaBrief 8B 及训练数据
Ai2 开源了基于 Qwen3-8B 的科研报告生成模型 AstaBrief 8B 及训练数据，模型可将研究问题和检索到的文献片段转化为带引用的报告，已在 Asta 平台作为 Fast mode 上线。
推荐理由：官方完整披露了 SFT 与 DPO 数据构建、引用密度过滤和评测细节，读者可复用其数据质量过滤方法。
arXiv · cs.CLAI 评分3333 Shrome 在 Touché 上用软投票集成与反因果增强做因果关系抽取
Shrome 团队针对 Touché 2026 的反因果声明抽取任务，为检测、抽取、极性三个子任务各建一个模型：抽取环节在解码前对三个 RoBERTa-large BILOU+CRF 标注器做 token 级软投票集成，极性环节用 LLM 按 9 种反因果表达模式生成训练句补充稀缺样本。
arXiv · cs.CLAI 评分3636 StanceEval 2026：第二届阿拉伯语立场检测共享任务
StanceEval 2026 是第二届阿拉伯社交媒体立场检测共享任务，要求系统判断写作者对给定目标的立场为 Favor、Against 或 None，设跨目标迁移与跨域迁移两条赛道。共 80 支队伍报名、12 个国家参与，最优系统 F_avg2 分别达 0.8994 和 0.9400，大幅超越基线（0.7366 与 0.7475），且未见目标上的成绩反而更高。
arXiv · cs.CL精选AI 评分5757 arXiv 论文 Nautil：训练 LLM 调查员学会何时结案
论文研究 LLM 调查员能否正确判断证据是否足以结案，提出含 731 个审计案例的 Nautil 数据集及三项结案评估测试。
推荐理由：原文给出了未训练 9B 模型 97% 过度断言到微调后 35% 的前后对比，可据此评估结案判断这一能力的可训练性。
arXiv · cs.CLAI 评分4444 研究单语 RAG 中推理语言与查询语言对齐的作用
一项 arXiv 研究构建了基于桌游 The Dark Eye 的全德语单语 RAG 问答测试床，发现让 agentic RAG 系统的推理语言与查询和检索文档对齐能提升效果：强制德语推理优于强制法语，且检索上下文越丰富、越具结构感知时优势越大；但德语推理仅达到模型原生英语推理水平而未能超越，表明仍需原生多语推理。测试床与 QA benchmark 已公开。
arXiv · cs.CL精选AI 评分5555 MintEval：评测大语言模型能否忠实实现自然语言描述的交易策略
论文提出 MintEval 基准，通过从可组合模块程序化生成参考策略、转译成交易员口语指令再让被测模型重新实现，在相同市场数据和摩擦下逐 bar 执行并比较行为而非代码相似度。
推荐理由：原文用逐 bar 行为对比衡量代码是否忠实执行交易策略，给出了前沿模型仍存在静默失败的具体比例。
arXiv · cs.CLAI 评分3434 揭开宣传检测的面纱：掩码语言模型与因果语言模型的对比分析
基于 SemEval-2020 Task 11 数据集对比掩码语言模型（XLM-RoBERTa、DeBERTa V3）与 OpenAI、Google、Mistral、Anthropic、Meta 的因果模型在宣传技巧检测上的表现，采用 base 与 chain-of-thought 两种提示策略。
arXiv · cs.CLAI 评分4343 SecJev：为 System One 决策模型引入安全领域专长
研究者推出 SecJev，据称是首个面向安全的 Jev 类决策模型家族，参数规模 0.8B 至 9B，基于 Kev 的单遍候选评分器，可从文本、遥测与观察历史中学习布尔、选择和有序决策。
arXiv · cs.CL精选AI 评分5252 HARPO：兼顾忠实与创造力的幻觉感知强化学习框架
论文提出 HARPO 强化学习框架，用可验证反馈训练的幻觉感知生成奖励模型 HA-GRM 联合优化忠实性与创造力，仅对无幻觉输出激活写作奖励，并通过课程从创作任务渐进过渡到幻觉任务。
推荐理由：论文给出了 HA-GRM 在 RAGTruth 上的 F1 对比和 Qwen3-4B 幻觉率与创作分的前后数据，可评估该框架的实际收益。