面向不完美提示词的设计:基于知识图谱的 LLM 企业数据助手仿真评估
一项设计科学研究在企业 CFO 单位数据湖的真实部署中发现,业务用户的提示词常缺少 schema 引用和结构信息。研究设计并对比了两种语义中介方案:基于语义相似度的 schema 中介,以及利用从数据湖自动构建的知识图谱的中介。仿真评估结合 LLM-as-a-Judge 与人工验证显示,知识图谱方案在 Precision、Recall、F1 和保留用户意图上均优于 schema 方案。
新闻、仓库与研究,按时间排列。
一项设计科学研究在企业 CFO 单位数据湖的真实部署中发现,业务用户的提示词常缺少 schema 引用和结构信息。研究设计并对比了两种语义中介方案:基于语义相似度的 schema 中介,以及利用从数据湖自动构建的知识图谱的中介。仿真评估结合 LLM-as-a-Judge 与人工验证显示,知识图谱方案在 Precision、Recall、F1 和保留用户意图上均优于 schema 方案。
研究者提出 MAS-Bai,一个面向白文(Bowen script)白语-中文翻译的语言学驱动自适应多智能体框架,针对汉字被语音借用导致的直译幻觉问题,按输入路由至轻量检索翻译路径或含词源与句法智能体的深度语文学路径,并以轻量反向翻译器的 cycle-consistency 作为推理时可靠性信号。团队构建了 6,536 句白语-中文语料,在 1,536 句测试集上 MAS-Bai 达到 16.23 BLEU 和 62.15 COMET,较 Standard RAG 提升 8.11 BLEU 和 6.85 COMET,在语音借词和语序差异场景增益最大。
一项 arXiv 研究基于 ANES 2020–2022 社交媒体研究的人物设定,用 LLM 生成政治网络,并以受访者调查报告的党派接触度作为经验基准进行验证。结果显示,部分模型生成的民主党和共和党自我节点之间的分离比调查数据更强,另一些模型则低估了共和党接触度;结构属性相似的网络仍可能在同一人物周围生成不同的党派环境,且存在群体-specific误差。这表明仅靠聚合指标评估 LLM 社会模拟会掩盖局部环境错误,需在聚合与个体两个层面进行验证。
arXiv 论文 2610.23194 提出 OfficeTown,一个从自然语言组织描述生成职业组织模拟的框架,成员协调分工、委派任务给助手智能体并评审产出,产物与未决事项持续存在影响后续工作。配套 OfficeTown Bench 含 23 个模拟组织、8 个专业领域的 406 个任务和 4,836 条评测标准;对 Qwen3.5-9B 做监督微调和 on-policy 蒸馏后在外部职业工作基准(含 GDPval)上明显提升,principal-assistant 框架得分高于所测单智能体与多智能体基线。
推荐理由:论文把组织模拟当作智能体训练数据源,任务与评审反馈可持续生成,还验证了主从协作框架优于单智能体基线。
中科院计算所发布 Chinese Decision 中文模型系列,用于单次前向 pass 的概率决策:模型一次前向提取候选选项字母 logits 并归一化,无需自回归生成答案。已完成的 0.8B 模型在 307,900 条决策的 CJ-Bench 上取得 72.24% 通用域准确率、76.98% 专业域平均准确率,整体期望校准误差 1.07%;2B checkpoint 经 RLCD 目标初步训练后达 72.56% 通用域准确率但尚未超过 0.8B。训练、评测与部署流水线(含 Q8 量化)已开源。
LongForge 将长上下文指令数据质量形式化为文档、问题与答案之间的对齐结构,包含分析器与合成器两部分。分析器把样本逆向重建为证据-断言推理图,计算广度、深度、正确性、完整性四个维度,对七个主流数据集的测量发现广度几乎不随文档长度增长、深度普遍偏低。合成器将其嵌入生成过程,LongForge-1 与 LongForge-2 两个混合数据在两个骨干模型上于六个长上下文 benchmark 中平均超出最强基线 2.2-4.7 分。
研究者提出 Cross-Centaur 模型,利用跨任务个体级数据预测人类决策,并发布 Cross-Psych-101 数据集,涵盖 591 名参与者、12 个任务中的 261,551 个有效决策。该模型在留出参与者上的表现超过现成 LLM 和 Centaur,探测分析显示其隐藏状态编码了可跨任务迁移的参与者级行为倾向。论文已被 EMNLP 2026 主会接收为口头报告,数据集已公开。
研究者提出 QuAD 框架,用于对半结构化定性响应数据集做量化预分析评估:将重建的内在聚类分布与研究者定义的外部分析透镜对比,以四象限指标联合判断数据是否适配特定分析目标。该框架引入带两阶段指令生成和自适应锚点的内容感知多智能体系统以提升打分一致性,并通过合成数据实验和真实社会调查案例验证。
arXiv 论文提出 CIIR,一种通过类索引地址空间连接异构数据集的模块化编码器-解码器框架,无需配对或实例匹配样本。模型用 128 维地址表示,从手写数字、服装图像、口语数字频谱图和手势中学习,label-free 接收器达到 94.7% 宏平均 Address Realization Accuracy;冻结地址空间后仅训练轻量适配器,MNIST>SVHN 和 SVHN>MNIST 端到端 Address Transfer Accuracy 分别为 90.2% 和 82.3%。
一项随机实验(N = 41)首次直接比较了 AI 访谈员与人工访谈员的数据质量:本地部署的 7B 开源权重模型每次访谈提问数量是人工的两倍以上,引出的受访者文本多约 65%。两种条件下访谈时长中位数相近,回复切题度几乎一致,特异性未检测到差异。结果表明 AI 访谈适用于大样本定性数据收集,并可缓解数据安全与 GDPR 合规顾虑。
arXiv 论文提出错误截断事后蒸馏方法,解决轨迹级技能蒸馏与 GRPO 结合时错误动作后监督与当前状态失配的问题。该方法按轨迹结果与错误边界路由两类事后技能:Positive skills 强化成功轨迹及错误前决策,Negative skills 针对关键错误进行修正,错误后缀则仅由 GRPO 优化。实验显示其在任务表现与细粒度 credit 分配上有竞争力。
研究者推出 KiranaBench,一个模拟印度杂货店的多智能体基准,由四个 LLM 智能体分别扮演经理、收银员、帮手和账房,用英语、印地语或 Hinglish 与顾客和供应商交互,需求按印度家庭消费支出调查校准。评测四个开源权重 LLM 发现,表现最好的模型利润仅为固定规则店主基线的八分之一,两个模型甚至低于无人管理的店铺,且印地语和 Hinglish 下的表现持续弱于英语。结果表明当前 LLM 智能体尚不能可靠地自主经营印度的小生意。
韩语 LLM 生成文本检测研究长期受限于英文中心且依赖表层线索。研究者提出包含 50.9k 实例的抗偏对抗基准 KoLing,分别评估 LLM 生成与 LLM 修改文本检测,并推出基于理论语言学的可解释检测器 KoLingProbe。实验显示 KoLingProbe 在所有检测任务上显著优于强基线,且对对抗攻击保持鲁棒。
一项 arXiv 研究通过合成财报 announcement 独立操纵 20 日动量、非信息性评论基调与 EPS 是否超出共识,考察大语言模型金融预测究竟依赖哪些输入。来自四个模型族的 6 个 instruction/chat checkpoint(基础参数 0.49-7.61B),每个在 Q8_0 直答协议下接受 2,016 条提示词。结果显示:6 个模型中有 5 个的有符号基调对比幅度超过 EPS,5 个模型动量超过 EPS,主 EPS 对比范围为 -0.19 至 86.80 个百分点,自然词数值诊断准确率为 51.0-95.8%;研究测的是输入依赖与数值识别,不确立内部推理机制或实际收益可预测性。
一项 arXiv 研究用填空任务评估 6 个跨厂商、跨参数规模的本地大语言模型的姓名偏见,基于美国 SSA 姓名数据集和 Rosenman et al. 种族分类数据集,共收集 300,000 条本地 LLM 响应。结果显示模型偏好较少刻板男性化、更年长、更流行和白人的名字;性别偏见最显著,其后依次为年龄、名字流行度和种族,且偏见高度依赖句子语境。
研究者推出 Multi-SFT,一个可商用的监督微调数据集,含 502,818 条指令-回复对,覆盖五种欧洲语言。人工评估显示各数据集与语言间标注者一致性至少 0.87。对 EuroLLM、OLMo 2、Qwen3 三个家族的 9 个模型(1B-32B)微调并在 13 个 benchmark 上评估,结果显示仅用 Multi-SFT 即可与更大的增强混合数据集及官方指令微调版本竞争,在安全任务上优势明显。
研究者推出 Grid-Bench,一个可执行基准,用二维、三维和四维网格上的八类操作测试大语言模型预测离散空间状态变化的能力。对六款 LLM 的评测显示,随着事件历史变长,完整状态准确率急剧下降,单事件表现相近的模型差异明显,且 Exact-match 相似的模型在错误单元格数量上也存在显著差异。
研究团队推出 3DCodeVerse,一个让 coding agent 大规模生成可编辑、可验证 3D 内容的研究生态。它包含 200 万规模的可执行 3D 代码数据集 3DCodeVerse-2M,以及基于多智能体有向无环图的 3DCodeVerse Harness,通过执行检查、空间测量和视觉反馈自动评估并修订生成程序。在均由 Claude Opus 5.5 驱动的成对人类评测中,该 harness 对 Claude Design (3D Object) 取得 90% 胜率,微调开源模型也显著提升 3D 编码能力。
LIBERO-PeRM 是一个面向具身智能体偏好学习的基准,将任务完成与偏好满足分离评估,涵盖动作、技能和用户画像三类偏好,包含 5 个任务套件、312 个任务及成对演示数据。实验显示当前 VLA 策略零样本个性化表现不佳,SFT 可使偏好可学习;混合训练比顺序适应更好保留无偏好性能,但偏好泛化、分解与冲突处理仍然困难。代码、数据集和演示已在项目网站公开。
研究者提出 Teacher-Student 弱监督框架,用 LLM 作为 Teacher 为无标注网络安全推文生成弱标签,无需大规模人工标注即可训练网络安全领域专用 PLM。仅用 LLM 生成标签训练的 PLM 在所有评测架构上 F1 均超过 0.92,与全人工监督模型的差距保持在 3 个百分点以内。结果表明 LLM 弱标注在专家标注资源有限时是构建网络安全训练数据的可行替代方案。
研究者发布开源确定性时序描述流水线 TimeCap,无需语言模型参与即可直接基于信号生成可复现的标注,并以 OpenMHC(MyHeart Counts 可穿戴数据集)为输入生成 MHCap——覆盖 19 个 Apple HealthKit 通道、7,005,763 条描述、908,944 人日数据的最大开源多模态可穿戴时序描述集。在该语料上训练的 OpenTSLM 中,加入描述的 OpenTSLM-Cap 在 8 项任务、32 项按用户二分类评测中的 29 项优于仅标签基线。
arXiv 论文提出 ZoomCap,将细粒度图像描述建模为可恢复的视觉信息迁移,通过草稿路由知识检索、OCR 敏感读取与自适应视觉缩放补全证据,并配套 FactCycle 逐条评分描述中原子事实的真实性与可实现性。对比 Qwen3.5-397B-A17B 生成的描述,ZoomCap 以小 10 倍以上的 teacher 取得 81.9% 的人类偏好得分,每图迁移 52.4 条事实(ScaleCap 为 31.5)。持续预训练中,ZoomCap-450K 在 11 个 benchmark 平均提升 1.31-2.38 分,ZoomCap-450K 数据集已公开。
DocPilot 是一个智能体文档框架,通过页面级导航与细粒度证据定位编排证据检索,并整合局部视觉检查、代码化数值推理和跨模态推理,使小语言模型也能学会复杂的文档求解。其课程式智能体训练从单一能力学习渐进到自适应编排。在 MMLongBench-Doc、DocBench、FinRAGBench-V 和 MADQA 上,DocPilot 搭配前沿 VLM 取得显著提升,DocPilot-4B 对比大得多的模型也具备竞争力,代码已开源。
研究者构建了韩文数据集 ESG-Kor,从韩国企业的可持续发展报告中抽取环境、社会、治理(ESG)信息,共包含 118,946 个句子,并依据 ESG 评估机构的客观规则进行人工标注。用多个韩文预训练语言模型验证分类性能,取得了显著效果。团队还将 ESG 分类模型扩展到中小企业文档,展示了基于 ESG 关键议题的深度分析与实际应用潜力。
NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token 覆盖 22 种印度宪法语言,含 22 种语言本族文字数据和 12 种语言的罗马化数据,共 34 种语言-文字配置。流水线用 NeMo Data Designer 和 Gemma-4-31B-it 做文档级翻译、MQM 风格质量评估(保留 75/100 以上)与定向修复,每条记录可溯源,生成配方开源可复用;另十种语言采用 Bodhan AI 的 Indic Translate。Nemotron 3.5 Super VL 用其中 12 语言子集加 100 亿 token 做 CPT 后,五个 Indic 基准提升 4.98 至 9.82 个百分点。
推荐理由:完整公开了 2.8 万亿 token Indic 语料的生成配方和质量门槛,团队可复用其翻译与修复流水线迁移到自己的语种。
arXiv 论文提出 SPRA(Structured Paper Representation for Agents),一种以研究对象和类型化关系组织的论文级结构表示,并在超 100 万篇 AI 论文上实例化,含 19.95M 研究单元和 24.07M 内部关系。通过 Schema-RAG 访问时,SPRA 在七个子领域上使源条件科学问答较段落检索提升 0.381/5,配对任务的 input+output tokens 较段落检索减少 28.5%。该资源可通过 SciVerse 平台获取。
一项 arXiv 研究发布包含83部出版作品的非线性叙事生成基准,每部作品标注正序与叙事顺序的事件列表及因果依赖、角色知识和悬念结构的故事图。测试显示19个模型按时间顺序讲述都比出版作品更线性,被要求特定结构时约一半情况落在人类范围内;自动化裁判与71位人类读者都更偏好模型默认的线性故事,非线性版本在81%的关键判断中被认为更难跟上,读者还更偏好基于故事图生成的故事而非照搬出版顺序。
推荐理由:论文用83部作品语料和71位人类读者对比模型非线性叙事能力,给出了具体差距数据而非泛泛结论。
研究者提出 DialFork,首个在原始对话文本上衡量“程序性幻觉”的 benchmark,即智能体语句流畅且事实合理但偏离预期对话流程。该基准通过在受控轮次分叉对话并注入四类幻觉,构建了覆盖 12 个领域 24 个任务的 36,278 段对话,由 30 名人类标注者验证;并提出 FlowKL 与 FlowScore 两个对话流感知指标,其中 FlowScore 在七个编码器上均显著超越基线。DialFork 以 MIT 许可证开源发布。
研究者推出 LOADBench,一个基于 SkyWater130 PDK 的大型开源模拟 IC 设计数据集与标准化基准,包含超过 100 种运算放大器拓扑(1、2、3 级),每拓扑附结构/功能标注、尺寸约束、Ngspice testbench 及 NSGA-II 优化产生的约 10³ 个 Pareto 最优与 10⁶ 个中间尺寸-性能数据对。数据集定义了六项基准任务,涵盖逆向尺寸设计、拓扑选择、多目标优化等,全部以开放许可发布,以解决模拟设计 ML 研究缺乏可比较评测的问题。
一项研究评估用 Claude Opus 4.8 和 Codex GPT Sol 5.6 直接重建 iPhone 发往 Apple 定位服务的 protobuf schema,发现多数结果含严重错误且难以察觉,不适合取证与隐私分析。研究者改用 Claude 编写 Python 工具 Extractor,可从 Apple 二进制文件可靠恢复 protobuf schema,并通过已知答案、已发表 schema 和网络实测验证。该工具被用于解码越狱 iPhone 8(iOS 16.7.11)的定位服务网络流量。
研究者推出 Read-Parse-Describe 统一文档解析数据集,要求模型对页面图像输出含边界框、语义标签、阅读顺序、识别文本及视觉元素替代描述的布局元素列表。数据集基于 2,402 份文档,含 18,163 页、125,218 个布局元素和 11,338 个视觉实例,并提出可插拔的空间感知增强器。实验显示现有端到端 VLM 与流水线解析器仍难以同时恢复阅读顺序与视觉语义,增强模型取得较强联合表现,数据集与代码将公开。
arXiv 论文提出一种方法,让手机等设备录制的人类演示可作为结构不同机器人的后训练数据,核心是重定向物体运动而非手部动作。采集生成无本体记录(物体位姿、接触区间与重建 3D 物体),机器人以 URDF 和简短描述文件在仿真中求解并评分。在 8 台机器人、42 次采集共 157 对样本中,31.2% 通过、52.2% 失败、14.0% 被拒;被拒的 13 对实际运行全部失败。
研究团队提出 Player-1,一个通过合成经验进行游戏控制后训练的框架,扩展了计算机操作智能体的动作空间,并在 6,044 条精选游戏轨迹上做监督微调。其配套的 Player-1-Gym 提供 16 个可编程验证奖励的 2D/3D 合成环境,支持基于 PPO 的多环境强化学习。Player-1-9B 在 MineDojo-300 上达到 38.33% 成功率,比最强基线 12.63% 高出 27.8 个百分点。
研究者提出推理引导的翻译框架,将七个安全、对话与数学推理评测资源扩展为覆盖 11 种语言的多语言评测集,需修复的子集达到 99.94% 的条目-语言对覆盖率。对开源 LLM 的评测发现不同语言下的差异化弱点,包括拒绝行为不一致以及低资源语言中显著的推理能力下降。
Anuvani-LID 是一个 115M 参数的 conformer 语言识别模型,基于 54,643 小时印度语音训练,覆盖 22 种印度语言及印度口音英语。在 102 条件基准的 37 个条件下,其平均 macro-F1 达 0.914,比 Gemini 3.5 Flash 高 5.2 分,1 秒音频上领先 24 分,23 种语言得分 0.897,ECE 校准误差 0.008。
研究者发布人工标注的 Saraiki 通用词性标注数据集,含 17 个 POS 类别,并对比 XLM-RoBERTa base、Urdu RoBERTa small 与 multilingual DistilBERT 三种预训练编码器。XLM-RoBERTa base 表现最佳,测试准确率 88.60% ± 0.21%,为 Saraiki NLP 与低资源序列标注研究提供基准。
Anuvani-Diarization 在 IndicDiarBench 上覆盖印度 22 种官方语言的零样本说话人日志任务,通过不确定性感知的 silver 监督适配自监督端到端分割模型。在 1,164 条录音上 duration weighted DER 达 16.78%,为所测系统最低,仅次于已发表最佳结果 16.0%,并在 22 种语言中的 14 种领先三个最强对手。研究还发现 utterance 级标注规范这一隐藏变量影响 1.9 至 4.1 个 DER 点。
研究者推出一个细粒度多跳推理基准,用于可解释的波斯语仇恨言论分析,涵盖内容分诊、目标识别、仇恨策略与道德基础分析、文本证据抽取、有害叙事推断和严重度评估。评测显示 LLM 性能随任务语义与推理粒度加深而下降,专有模型整体优于开源权重模型,推理型模型无一致优势;引入中间推理步骤显著提升严重度预测,且“煽动暴力或伤害”与更高严重度关联最强。基准已公开可用。
Qiushi Sun 等人在 arXiv 发布论文,提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准,同一 rubric 既筛选监督语料又驱动强化学习;据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集,两个模型在开源中大幅领先并接近闭源系统,代码与数据已开放。
推荐理由:论文把渲染正确性拆成可核查的评分标准,同一套 rubric 既筛数据又当强化学习奖励,方法可迁移到其他多模态任务。
研究者提出模型作者归属方法 ATLAS,通过源条件文本建模比较文本在各模型下的 likelihood 来识别生成来源,并在 token 级聚合证据。其配套基准 MAABench 覆盖域与版本变化的 OOD 场景,当生成域和模型版本同时变化时 ATLAS 达到 74.27% 准确率,比最强基线高 9.00pp。该方法还可通过测量目标 LLM 最接近哪个源模型来识别知识蒸馏的教师模型。