基于结构化推理的长程文本世界建模研究
一项 arXiv 研究提出将多步转移的内部演化转化为对文本世界状态的结构化推理,用稀疏状态变化推理、预测增益目标和中间预测奖励缓解长程预测中的误差累积与弱信用分配问题。在 ScienceWorld、Jericho 和 CEO-Bench 上,该方法平均长程性能超过递归与非递归基线,且视野越长优势越大;反事实研究中其模型是唯一对未来动作具有统计显著敏感性的模型。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究提出将多步转移的内部演化转化为对文本世界状态的结构化推理,用稀疏状态变化推理、预测增益目标和中间预测奖励缓解长程预测中的误差累积与弱信用分配问题。在 ScienceWorld、Jericho 和 CEO-Bench 上,该方法平均长程性能超过递归与非递归基线,且视野越长优势越大;反事实研究中其模型是唯一对未来动作具有统计显著敏感性的模型。
作者发布 Wikidata Search Traces 数据集,含 10,235 条在冻结 Wikidata 快照上构造的单实体与多跳问题求解轨迹,并附带生成这些轨迹的递归语言模型(RLM)harness。
推荐理由:论文同时给出 10,235 条搜索轨迹数据集和 RLM harness,在 100 题上对比了直接工具调用的提升幅度,方法可复用。
研究训练 300M 与 1B 的 top-2 MoE 语言模型,比较 softmax、1.5-entmax、sparsemax 与 2-normmax 四种概率映射的路由行为。
论文提出 MM-KG 多模态知识图谱,将 EHR 文本、影像、基因组和生物标本数据映射到 UMLS 概念,并通过显式对齐边接入生物医学知识图谱。在 MIMIC-IV 和 ADNI 上,双源结合带来 +0.194 与 +0.299 的 AUROC 交互增益,五选一排序上 Hits@1 超出 MindMap +0.131。查询条件检索以 6.8 倍更少上下文达到 0.731 AUROC。
SAFE-MR 框架将多模态谣言检测中的声明真实性与证据充分性分离,通过构建关系感知的声明-证据图并引入充分性判断头实现选择性预测。
研究者提出 DivLM 后训练框架,针对 LLM 短篇小说生成中体裁、语气、风格和命名实体缺乏多样性的问题。该框架先在创意写作语料上继续预训练并用权重残差恢复指令遵循能力,再通过自定义复合奖励函数的强化学习联合最大化各叙事维度的多样性。在两个 LLM 系列上的实验显示,多样性指标平均提升超过 9%,同时保持指令遵循、响应质量及与人类输出的相似度。
ufakzeka-karar 是一个 182,494,466 参数的开源土耳其语决策模型,基于 ufakzeka-1-base,单次 CPU 前向传播即可对最多十个选项输出温度缩放概率与期望误差信号,且打分与选项顺序无关。
Rishanth Rajendhran 在 arXiv 发布 IdeaLens,用于判断文档的创意来自人类还是 AI(idea provenance),而不只判断文字由谁写出。
推荐理由:论文把检测对象从文字改为想法本身,给出了与 Pangram 4 在人类计划写作场景下的对照数据,可作思路参考。
论文提出开源权重的智能体检索器 T-Search,针对困难多步检索任务,在固定语料上执行有界多轮搜索并返回带简短理由的证据块排序列表,答案生成留给下游模型,后端与生成器可替换而无需重训练。
推荐理由:原文给出多轮检索器在七个基准上的 Recall@10 数据,并开源模型与基准,可作多步检索方案的对比参考。
研究者推出 PlotGround,一条从真实科研图表及其作者发布源数据自动构建图表数字化基准的流水线,并据此构建了经人工核验的 PlotGround-1k,包含来自 1,066 篇 bioRxiv 预印本的 1,119 道问题。
GENAI4IDN Benchmark 3.0 发布,这是用于评估生成式 AI 创作交互式数字叙事(IDN)工具的第三版公开评测框架。新版通过公开网页应用实现 AI 辅助评测,支持社区按需运行基准、添加新模型和提出新任务,采用“盲评”避免模型偏差,并可处理音乐、视频等复杂媒体;新增经人工验证的事实核查与偏见检测任务。测试发现模型创作能力趋于成熟,但存在思维失控和过度保守的安全过滤等局限。
论文提出 BudgetAPO,一种面向紧预算场景的单阶段自动提示词优化方法,解决 GEPA、OPRO 等方法依赖数百到数千次模型调用、难以用于付费限流 API 的问题。
推荐理由:论文针对付费限流 API 下提示词优化预算受限的场景,给出了按任务噪声自适应分配评估调用的具体方法与跨基准对比数据。
该研究评估 TimeOmni-1、ChatTS、TimeOmni-VL 和 Time-MQA 四个时序问答系统,并发布统一样本表示与评测标准的 benchmark COMMON-TSQA。
一项联合实证研究显示,评测协议选择会改变日志异常检测基准的结论。在 HDFS 与 BGL 日志上,随机切分使多种配置接近平均精度上限,而组不相交与按时间顺序评测得分更低且排序不同;HDFS-to-BGL 平均精度从仅源访问的 0.191 提升至联合语料、目标 IDF 访问的 0.325。研究还拆分了解析、表示与分类器各阶段的成本。
一项 arXiv 研究用语言模型构建代理式租赁市场,模拟个人 AI 助手与六个自适应卖家的交互。结果显示:执行型助手在卖家冻结时为采用者每天节省 13.7 美元,卖家适应后回吐约三分之一、剩 8.7 美元;无助手消费者的平均支出变化仅 +0.4(置信区间 -0.6 至 +1.3),与校准预测的 +3.6 不符。研究认为助手应在市场层面评估。
一项被 REALM EMNLP 2026 接收的研究探讨用匿名公开行为数据归纳的 persona 驱动智能体模拟特定人口群体问卷回答。结果显示,跨域来源的 persona 很少优于仅基于基本人口信息的模拟,主因是人群不匹配;但准确分配到目标群体后对齐显著提升,且目标域问卷数据归纳的 persona 在问卷问题历史越多时泛化越好。
论文提出 Curriculum Brain,一个由版本控制知识库与 11 个单一职责 agent 组成的两仓库系统,用于从官方课程文档生成概念-技能映射,构建课程知识图谱作为认知诊断的底座。
论文提出 Infinite-Dreamer,一种免仿真的数据合成方法,通过像素级图像编辑世界模型将 GUI 状态转移建模为图像编辑任务,利用 VLM 将动作引起的 UI 变化描述为结构化 delta-text,再微调图像编辑骨干网络合成逼真的截图过渡,生成单帧视觉鲁棒性数据与多步想象轨迹。
推荐理由:论文用图像编辑世界模型合成 GUI 训练数据,仅凭合成数据微调 Qwen3-VL 即在 AndroidWorld 等基准上超过基线。
研究者发布 CCQ(Child Care Quality)数据集,整合美国 12 个州的 59,372 条托育机构记录,并通过基于 LLM 的自动化流程完成匿名化、清洗和标准化,提供清洗后文本版与预处理表格版两种发布形式。
一篇 NeuRIPS MATH-AI Workshop 2026 论文提出 Discovery–Execution(DE)框架,用短预算运行预测数学推理随算力扩展的曲线。
ÌròyìnSpeech 文本语料库发布,包含 24,905 条经人工校验、带声调标注的约鲁巴语句子(275,897 tokens),其中约 11,000 句改编自开放授权新闻材料,其余为自写内容。团队修正了影响超过 60% 行的 Unicode 规范化错误,该语料库可支持变音符号恢复、字素到音素转换及 TTS 前端开发。
研究者推出 VHDL-REPOBENCH,一个面向大语言模型 VHDL 设计生成与分析的大规模跨文件仓库级基准,收录约 100 个开源 VHDL 仓库、约 2.5k 文件和约 500 个 testbench。
研究者推出 GNN-CB,首个在竞赛设定下评测人类与 LLM 端到端 GNN 编码任务的基准,包含 18 场覆盖节点、边、图级预测的竞赛,采用隐藏测试集与统一自动化评分。结果显示 LLM 很少达到人类顶尖水平且表现稳定性较差,多数任务最高分仍由人类保持。该基准已开源,提供动态排行榜与可复现评测流程。
一项基于 Llama-3.2-1B-Instruct 的消融研究通过 360 组受控实验,在 BANKING77 和 CLINC150 数据集上比较了 mean、max、last-token、attention 及 FFT 增强等池化策略在干净与噪声条件下的意图分类表现。
论文提出 TeleTune 框架,从无目标标注、不可重放且任务交错的离线用户遥测日志中学习文本技能库,用日志轨迹上的动作预测误差提出库编辑,仅保留能提升留出集动作预测准确率的修改。
推荐理由:论文给出从离线遥测日志学习 Agent 技能库的完整框架,并报告在 WorkArena 和 Online-Mind2Web 上对多个基线的量化对比。
一项 arXiv cs.CL 研究用自组织临界性解释文本中普遍存在的自相关衰减幂律。分析 KLiCKe 键击数据集发现,最终文本的自相关形成服从幂律且具有限尺寸标度的流形,文本修订也产生随修订规模变化的、向该流形回复的动力学,表明人类写作在动态调节文本语义相关性趋向临界态。
论文提出 Universal Test-Time Training(uTTT),让所有层读写同一份在线更新的共享记忆,使记忆在时间与深度两个维度上循环,并给出 uTTT-MoE 与 uTTT-Dense 两种实现。
推荐理由:论文提出让各层共享同一测试时记忆的 uTTT 架构,并给出 RULER 与新视角合成数据,可对照层私有记忆方案评估收益。
Shiva Pochampally 在 arXiv 发布 DelegationBench,包含 156 个场景、四种响应(行动、请求许可、询问缺失信息、拒绝),多数场景以改变单一特征的配对形式出现。
推荐理由:原文用配对场景拆解了单一一致性分数的三种误导,并给出应分开报告的评测建议,方法可迁移到 Agent 决策评测。
arXiv 论文 2610.05533 通过预注册研究分析 harness 搜索带来的分数提升来源,覆盖 3 个小模型、3 个基准、GEPA 搜索臂和 6 种注入的评测缺陷,报告全部 47 个主要终点。
推荐理由:预注册研究拆解了 harness 搜索带来的分数提升来源,并给出六种评测缺陷在复现中被掩盖的比例,对评测方法设计有直接参考价值。
一项 arXiv 研究对七个 Human-LLM 交互对话数据集(涵盖真实聊天记录与人类偏好数据)进行分析,发现神经网络分类器仅凭用户消息即可远超随机水平地识别对话来源,表明各数据集存在独特“数据集特征”。这种可分性在按人工分类体系维度匹配后依然存在,且数据集选择会影响基于其训练的用户模型的输出与评测结果。
SALUS 系统利用多个 LLM 智能体生成的 SQL 驱动弱标注函数,通过生成式标签模型自动检测 NL-to-SQL 基准中的标注错误。在含 298 个 BIRD 任务的 BIRD-Clean-xs 上达到 F1 = 0.9194,显著超越 SOTA 基线;估计 BIRD 与 Spider 开发集的标注错误率分别约为 37% 和 27%。
ColdDDI 是一个基于 DrugBank 5.1.13 构建的可重构诊断基准,涵盖 1,900 种已批准小分子药物和 565,731 个正 DDI 对,用于评估冷启动药物相互作用预测中的知识利用。
arXiv 论文 arXiv:2610.05591 提出以重复 token 相对同数据一个 epoch 的价值和等算力新鲜数据的成本来定价,发现重复成本可由额外 epoch 数除以每参数唯一 token 数这一单变量刻画。
推荐理由:论文把重复 token 相对新鲜数据定价,给出多 epoch 预训练的临界轮数与数据排布影响,可作数据受限时的训练参考。
Yuval Reif 在 arXiv 发布论文(arXiv:2610.05597,COLM 2026),提出组合式 tokenization 方法 CoBPE,将短语表示为词元基础 token 加一组可复用表面修饰符,在嵌入空间组合并在输出端联合预测。在 780M 和 1.3B 规模的从零对照预训练中,CoBPE 在相同训练算力下将序列缩短 30%,下游平均性能较标准 BPE 提升 1.2 分。
推荐理由:论文给出 780M 与 1.3B 两个规模的对照预训练数据,读者可以据此评估组合式 tokenization 在等算力下的实际收益。
一项 arXiv 研究用 3,000 道中文选择题(14 个理论类、11 个案例类)评测六个大语言模型在传统八字命理上的表现。
一项 arXiv 研究系统比较了六种 Agent 技能挖掘配置——三种挖掘证据(仅成功轨迹、带标签的成功与失败、无标签混合)与两种技能形式(有序工作流计划、声明式本体)——在 ThinkingBox-Bench 和 APEX-Agents 两个企业基准上的下游表现。
arXiv 论文提出 MedicalHarness,通过 MedicalHarnessBench 的 107 个任务(覆盖四个领域)对五个开源权重模型与五种 agent 框架进行受控评测,并用 MH-Lab 逐一关闭上下文管理、规划或工具暴露来分析单一机制的作用。结果显示框架及其与模型的交互约占结果方差的四分之一,且没有单一框架在所有模型和任务上最优。代码与数据已公开。
研究者提出 CLARA 框架,通过认知(COG)、语言(LAN)、社会情感(SEL)三个维度的结构化标注评估儿童故事的发展适宜性,并构建含 1107 篇中英双语儿童故事的基准数据集。实验显示,结构化发展标注比可读性方法和直接提示基线更贴合人类判断,该工作已被 EMNLP 2026 Findings 接收。
该论文将大语言模型的文本修订建模为博弈问题:token 位置为玩家、词表为动作、效用为模型对数条件概率,并证明 Nash 均衡的似然可随序列长度增长而指数级高于自回归输出。
论文提出 Hybrid Linear Attention(HLA),一种面向 Gated DeltaNet 的查询依赖分块级注意力机制,将已完成分块表示为精确仿射状态转移,并用内容依赖路由门控插值历史转移与恒等映射,辅以有效支持正则化。