LLM 语言表达上限研究:arXiv 论文测量模型能传递哪些概念
arXiv 预印本研究 LLM 的语言表达上限:提出提示词优化算法,在 benchmark 上比现有算法最高提升 14%,并设计发送方标注、接收方恢复提示词的传输度量。对 8 个领域 1.2k 个概念的测量发现三类概念:可完全表达、未来更强模型可能表达、以及与身份和群体意识绑定而难以表达的概念;人类在 LLM 难以处理的 76% 概念上仍有中到高度一致性,表明表达上限因执行者而异。
新闻、仓库与研究,按时间排列。
arXiv 预印本研究 LLM 的语言表达上限:提出提示词优化算法,在 benchmark 上比现有算法最高提升 14%,并设计发送方标注、接收方恢复提示词的传输度量。对 8 个领域 1.2k 个概念的测量发现三类概念:可完全表达、未来更强模型可能表达、以及与身份和群体意识绑定而难以表达的概念;人类在 LLM 难以处理的 76% 概念上仍有中到高度一致性,表明表达上限因执行者而异。
研究者发布 ONCship 大规模水声数据集,包含来自 Ocean Networks Canada(ONC)水听器的 4521 小时精选录音及 AIS 数据。在 DeepShip 上,ONCship 与 AudioSet 联合预训练经 linear probing 达到 62.45% 分类准确率;作为辅助训练数据还可提升船舶类型分类性能。在 MMSI 级船舶识别任务中,微调模型 Top-1 准确率超过 53%、Top-5 接近 69%。
研究者提出候选集视觉定位(CSVG)任务,估计与对话上下文一致的目标对象集合,并发布跨对话轮次评估候选集变化的 CandVG benchmark。对视觉语言模型的评测显示,视觉定位能力更强并不必然带来更好的 CSVG 表现,模型难以预测完整候选集,主要败在候选生成不足和早期轮次过早收敛到小集合;通过专为 CSVG 设计的指令可部分缓解大规模模型的这一局限。
研究提出 ARP-CD,一种免训练的对比解码框架,利用答案预测位置上视觉 token 的注意力质量,对语言模型输入的视觉隐藏状态做有界梯度更新,在表示空间直接构造对比负样本。在 4 个 Video LLM 和 4 个 benchmark 上的实验显示,ARP-CD 在多数模型-基准组合中优于代表性免训练基线,减少幻觉的同时提升整体视频理解能力。
arXiv 论文 2610.19731 研究目标误泛化中目标在智能体内部丢失的机制,在 3 个 Procgen 环境和 5 个机器人任务上识别出三种策略-目标失准形式:功能目标替换、动作捷径和线索竞争。通过追踪目标信息在内部的位置、对策略的影响强度和作用,发现目标丢失发生在不同深度;目标到达决策层时引导可将目标达成率从 16.0% 提到 95.3%,只到策略层时需改接下游线路,从 31.6% 提到 84.3%,完全失效时两者均无效。
推荐理由:论文把目标误泛化拆成三种不同深度的策略失准,并给出每种情形对应哪种修复手段有效的实测数据。
一篇 arXiv 论文证明,n 个智能体在等长约束下的比例切蛋糕问题中,保证公平分配所需的最坏情况切割数恰为 2n-2,改进了此前已知的二次上界。论文还证明 Robertson-Webb 模型中不存在能在有限次询问内终止的确定性协议,但对任意 ε>0,O(n²/ε) 次询问可实现近似分配;引入双刀询问后,n 为 2 的幂时递归平衡对分可达到 2n-2 的最优界。
研究者推出 ProtModernBERT,一种采用现代架构改进的 BERT 风格蛋白质语言模型,在氨基酸序列上预训练。该模型在二级结构、无序区和亚细胞定位预测及 ProteinGym 零样本基准上,性能与 Amplify-120M 和 ProtBert 相当,预训练 FLOPs 减少 80-90%,并缩小与 ESM2 的差距。分析表明现代架构组件带来的归纳偏置在低算力场景下比参数量更关键。
研究者提出 PRISMATIC,一种基于黑板架构的多智能体系统,由代表不同工作流角色的专用智能体协作生成并优化治疗方案,并引入 DSWA 长期权重调整与 DFPC 短期分歧校准两种自适应协调机制。在 MIMIC-IV 患者记录上的实验显示,相比强 LLM 基线,该系统显著减少药物冲突、提高处方覆盖率和治疗一致性。
研究者推出多模态基准 LabOPBench,包含 756 道经独立评审的专家题,覆盖有机合成与材料科学,按题目专属评分规则评估。8 个多模态模型整体归一化得分为 28.8-45.8%;在 100 题对照子集上,最强模型平均超过本科生但低于博士生。专家分析发现 Evidence Misreading 与 Evidence-Decision Conflict 是主要错误模式。
NeurIPS 2026 论文提出 LiFi(LiDAR From images)框架,从多视角相机图像生成视觉与几何对齐的 LiDAR 点云。该方法通过几何分支(结合 DepthAnything3 的不确定性感知编码器)与语义分支双路引导 latent diffusion,并引入双分支平衡的 classifier-free guidance(CFG)策略,生成质量超越现有 SOTA 方法,代码将开源。
该研究提出一种去中心化 HVAC 控制方案,每个空调区域分配一个独立的主动推理(active inference)智能体,通过最小化期望自由能在线学习区域动态,智能体间不通信,仅借助潜在扰动和其他楼层电表推导的拥塞信号应对共享风系统的耦合。在 EnergyPlus 的 Sinergym 办公楼中用 15 个智能体对比 3 种规则控制器和 3 组 MADDPG,5 个未见噪声天气年份下取得最低平均建筑峰值 88.3 kW(比基线低 3-17%),相似舒适度下每月峰值总和每年降低 33 kW(4%),代价是约 10% 的额外能耗。整套系统运行在一台 Raspberry Pi 5 上,经 MQTT 完成观测到动作闭环的 p95 延迟为 442 ms。
arXiv 论文提出 StateCraft,一种将语言模型与视频扩散模型配对的架构,把可持久更新的抽象状态与视觉状态解耦,用于跟踪实体随世界演化的变化并条件化生成当前视图。在生成式界面基准上,其生成质量、记忆与可控性超越 SOTA 基线,并在长轨迹上保持高自一致性;抽象状态可被直接编辑,生成会遵循数据中从未观测到的状态修改。
研究提出用显式 if--then 规则连接感知、信念与行动,并用 GRPO 训练 Qwen2.5 和 Llama3 模型,在四个 ToM 基准上超越了提示、监督微调和 think reasoning。≥3B 模型生成的规则还可迁移,提升 GPT-4o-mini 的下游表现。
ReproBAIT 评测衡量编程智能体在沙盒、无网络、有限信息条件下设计、实现并训练已发表生物 AI 工具的能力,覆盖 ProteinMPNN、RFdiffusion3 和一个闭源分子设计工具,并按 held-out 数据上的表现打分。结果显示部分工具复现能力可观,但高度复杂工具表现有限,且存在与记忆化一致的中等程度证据。作者提醒工具开发者公开信息可能削弱工具商业价值或影响双用途受控访问策略。
VaryST 是一个从零训练的紧凑时空预测模型,通过从长期历史中构建节点表示、动态选择功能相关的支持节点、并在训练中选择性掩码关键历史片段,来应对时间分布演化、空间域变化和观测缺失。在六个真实数据集上对比十七个基线,VaryST 在域内精度相当的同时,显著提升零样本和少样本泛化能力,并对观测可用性变化保持稳健。
研究者提出运行时验证架构 AgenticRV,将 Agentic AI 系统的执行边界与监控形式化解耦:适配器输出规范事件,各监控器获得独立投影与抽象,决策策略基于归一化判定选择响应。其 Python 实现支持 LangGraph、MCP 和 A2A,受控 LangGraph 实验结合 Reelay 时序监控器与程序化报告监控器,消融实验证明两者缺一不可。
arXiv 论文提出 LAGO,将专用语言智能体作为可复用的时序扩展选项,由 meta-agent 检索或生成选项、分发子任务并验证结果,选项库跨任务增长且不更新模型权重。在 500 个 SWE-bench Verified 任务上,冻结的 Qwen3.5-35B-A3B 单次尝试解决率为 58.6%;在固定 150 任务子集上与 mini-SWE-agent、Terminus 2 同条件对比,解决率分别为 49.3%、57.3% 和 60.3%。50 任务消融显示去掉分解少解决 4 个、打乱复用内容少 2 个、去掉选项库少 6 个。
推荐理由:论文给出了同条件下的组件消融与横向对比数据,读者可以据此评估可复用 agent 选项库在长任务中的实际贡献。
一篇 arXiv 论文提出残差校正框架,在子空间中维护优化器状态并将正交残差梯度加入参数更新,以降低 LLM 训练的内存成本。该框架将 momentum SGD 扩展为 SMRC、将 Muon 扩展为 PMRC,二者均达到 O(T^{-1/4}) 收敛率,与全空间版本匹配;多阶段变体通过周期性重算基并引入边界校正保持同阶收敛率。实验验证了算法的有效性与效率。
论文提出 DeltaStreamer,一个受人类观察、记忆与调查方式启发的智能体式流式视频理解框架。该框架结合变化感知记忆、查询驱动的规划与定向回放取证,在查询到来前持续记录视觉变化,到来后检索记忆并回放历史帧以补回遗漏证据。在 OVO-Bench 和 StreamingBench 上分别取得 66.07% 和 59.53% 的总分,超过代表性方法。
arXiv 论文提出 Paired Fallback Robustness(PFR)测试,评估类型化决策模型(TDM)在请求路由、模型选择等场景中切换常规与 fallback 选项的可靠性,以及同一规则在逻辑等价定义下决策的一致性。在三个 benchmark 上对开源决策模型、不同架构与参数规模的对照实验发现:正确识别类别并不能可靠转化为正确的 fallback 选择,逻辑等价的规则表述也会导致模型决策出现明显分歧。
研究者提出 Euler,一个以人为中心的数学研究系统,围绕共享的结构化研究过程表示构建,将数学陈述、假设、证明依赖、备选路径、失败尝试与验证证据组织成连通的研究图谱。该表示让研究者可追溯结果的推导过程,并为智能体提供跨会话的持久任务相关知识,支持规划、协作与验证,还可回访智能体早期推理并探索替代方向。论文通过三个数学研究案例展示系统能力,并给出实现与软件验证。
VectorSpaceLab 发布 InfoVis,一个由 FLUX.2-klein-base-9B 微调而来的 9B 统一模型,支持文生幻灯片、模板条件生成、多图像引用生成与指令编辑四类任务。模型在自建评测集 VisSlideBench(1,527 个人工筛选案例)上取得 7.94 总分,超过 Nano-Banana-2 的 7.99 之外的开源模型,在全部 11 项指标上领先所评测的开源模型。代码、权重、评测代码与训练数据已开源于 GitHub 与 Hugging Face,权重遵循 FLUX 非商业许可。
一项 arXiv 研究在 15 个医学数据集、8,742 个实例上对比了 Jev 等系统一决策模型与 LLM 的可靠性。结果显示 Jev 在文本驱动任务上可比肩领先模型,但在数值驱动任务上较弱,且在题目格式变化下决策翻转率最低、鲁棒性最强;同类开源替代中仅 StartLux 具有相近鲁棒性。不过多数模型在识别缺失正确答案和选择性弃答上均有局限,归一化逐选项二值评分可提升 Jev 基于概率的选答效果。
该 arXiv 论文重新审视“温暖语气降低语言模型可靠性”的结论,指出既有研究多在共情对话数据上做 SFT,难以区分语气效应与分布偏移。作者用提示词、SFT 与 RL 诱导温暖行为,基于 11 个数据集的 benchmark 套件和 EMOFACT 评估,发现温暖效应因任务和模型而异,任务对齐的自适应语气可兼顾共情与可靠性,并推出经人工验证的共情评估器。
研究者提出 CREATE,一个包含 155 道视觉远联想测试(RAT)题目的半自动构建基准,要求模型从三张看似无关的图像中找出潜在联系。团队通过 25 人的人类研究验证基准质量,并评估 11 个 VLM,结果显示多数 VLM 在该任务上表现不及人类,其联想能力依赖文本提示概念,不能普遍迁移到视觉谜题。
一项 arXiv 研究利用大语言模型分析了 2022 年以来四个地区(北美、中国、印度、中东)的 12,924 篇英文 AI 新闻报道,提取每篇文章隐含的叙事教训。结果显示北美 AI 报道独有地以谨慎叙事为主,低估了其他地区更普遍的创新与协作叙事;但这一模式主要源于北美新闻情绪上更广泛的消极偏向,而非对 AI 本身的担忧加剧。
一项 arXiv 研究提出从文本的可解释语义属性预测标注者分歧:让 LLM 回答 20 个二元问题(涵盖有害内容特征、临界严重度、缺失语境、本地贬损语等线索),再用分类器预测分歧。在英语、德语、土耳其语四个数据集和三个开源权重 LLM 上,该方法比直接提示高 10.5 ROC-AUC 点、比最强文本基线高 5.0 点;仅 8 个问题的精简版与全集差距在 1.5 点内,跨数据集评估保留约 90-95% ROC-AUC。贬损、缺失语境与决策边界相关问题是最强预测因子。
Fabian Gröger 在 arXiv 论文(NeurIPS 2026 camera-ready)中提出 PORTAL,一种无需配对图文数据与梯度优化的免训练 projector 初始化方法。研究发现仅用 10 到 20% 数据训练 projector 即可恢复大部分下游性能,且不同数据集训练的 projector 可线性插值,表明该阶段主要做粗对齐。PORTAL 通过在共享主子空间上计算视觉与语言特征高斯近似间的最优传输映射跳过 projector 训练,在 6 个 LLM 骨干、2 个视觉编码器和 16 个基准上匹配 558k 图文对训练的标准流程,在 7 组设置中 3 组超越该流程,其余 4 组平均达到其 98% 的分数。论文链接:https://arxiv.org/abs/2610.18598v1
一项 arXiv cs.CL 研究剖析 LLM 在动态诊断中失败的原因,追踪其从证据识别、利用到下游诊断更新的全过程,除诊断准确率外还考察证据覆盖率、轨迹动态、概率与信息熵。研究发现 LLM 虽能诊断完整的静态病例,但难以主动获取对诊断关键的证据,核心挑战从是否具备临床知识转向能否在动态诊断中识别并有效利用正确证据。
arXiv 论文提出 DDRG(Disagreement-Driven Verification Guided by Reasoning Graphs),利用图对齐暴露采样推理轨迹中的 claim 级分歧,并将局部冲突交给无答案验证器触发针对性修复。在五个 benchmark 上,原生 zero-shot DDRG 使 Qwen2.5-7B 和 Llama3.1-8B 的 macro-average 准确率较直接回答分别提升 8.65 和 15.83 个百分点,并超过 CoT、GoT/GoV 适配版及 Self-Consistency。
arXiv 论文提出 Jev-ToM 评测框架,对比 5 个类型化决策模型与 7 个生成式基线,在来自九个 ToM benchmark 的 11,117 道英文题上进行测试。TypeSafe Jev 达到 73.2% source-balanced accuracy,在全部六类能力中排名前二,在信念、目标/意图与情绪方面领先。资源对比显示 Jev 可降低重复 ToM 选择的成本与等待时间,但其基于置信度的选择仍依赖具体 benchmark。
arXiv 论文提出 Legal-R1,一种用于循证法律推理的智能体检索框架,将法律推理分解为多智能体工作流:Lawyer 智能体学习何时检索、查询何种法律来源及证据是否充分,Legal Assistant 智能体基于权威性与多样性从规范法律来源和判例中检索,Judge 智能体依据完整证据轨迹生成最终答案。仅对 Lawyer 智能体采用掩码监督微调与轨迹感知强化学习进行后训练,在中国法律基准上超越通用、法律专用及检索增强基线。
一篇 arXiv 论文(arXiv:2610.18613)重新检验了自蒸馏方法 SDPO 与 OPSD 在代码、科学、工具使用和数学推理任务上的表现,发现其相对强化学习(RL)的收益不能稳定泛化到未见问题。作者认为收益主要来自过拟合或迁移既有推理行为,而非有效利用特权信息;自蒸馏梯度与直接优化期望回报的策略梯度对齐较弱。实验覆盖 Qwen3(1.7B-14B)和 OLMo-3-7B,结论是有效利用特权信息改进推理仍是开放问题,代码已开源。
推荐理由:论文在代码、数学等多任务上复测 SDPO 和 OPSD,指出其收益主要来自过拟合而非特权信息,并给出复现代码。
论文提出直接知识图谱交互框架 DKGI,让大语言模型智能体在完整节点与边文件上用 Python 代码自建图谱访问工具,交替执行 shell 搜索与文件检查。在覆盖三个域的基准数据集上,免训练的 DKGI 在每张图上超过最强已发表基线至少 6.7 Hit@1;消融显示多轮编程优于仅用 shell 或预定义图谱工具,轨迹显示智能体会修改代码以扩展搜索或修正错误。代码与数据已公开。
推荐理由:论文给出免训练的图谱搜索框架和跨三个域基准上至少 6.7 Hit@1 的提升,消融还拆解了多轮编程相对固定接口的收益。
研究者提出 COMPASS(COMPatibility ASsessment Score),一种在模型对齐或合并前估计模型对兼容性的诊断方法。该方法基于局部邻域的表示收敛观察,将兼容性分解为 k-NN 重叠定义的成对易合度与训练范式允许的范式级上限两个可低成本计算的轴。在 72 项跨模态对齐实验和 392 次任务算术模型合并中,COMPASS 估计与下游成功强烈相关,Pearson 相关平均分别达 0.91 和 0.70。
一项 arXiv 研究在 64 个分子性质预测数据集上系统评估化学语言模型(CLM)的预训练效果,发现其下游收益不随规模扩展,性能在低于梯度提升基线处饱和。只有基于传统理化描述符的监督预训练能持续提升表现,部分预训练方式甚至使模型差于随机初始化编码器,表明 CLM 从预训练中学到的化学知识很少。
BASIS(Bayesian Axis Selection via Interactive Signals)是一种免训练的贝叶斯方法,利用测试时弱反馈推断当前决策由任务特定准则库中的哪个准则主导,并按期望信息增益选择探针。该方法将六探针概念恢复 Success@1 从 56.0% 提升至 68.1%,推理准确率从 72.3% 提至 73.1%,精修胜率从 61.4% 提至 63.8%,并超过算力匹配的 best-of-N 选择。论文已被 NeurIPS 2026 接收。
一项提交至 ICASSP 2027 的研究提出直接从语音中检测语码转换(CS)的轻量方法:利用单语录音识别预训练语音编码器中的语言选择性隐层维度,并聚合其帧级激活做出预测。在 CS-FLEURS 的 14 个语言对上,Whisper-small 编码器平均 F1 达 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751,可用于筛选多语训练语料。
arXiv 论文指出,自然语言自编码器(NLA)作为语言模型监督工具存在监控盲区:训练是生成式指称博弈,而监督部署是判别式博弈,二者的差距意味着 Activation Verbaliser 的解释能识别对应激活,却难以区分真伪描述。实验中,真描述在 320 次比较中全部胜过其他激活的描述,但面对仅差一个论断的流畅假描述胜率仅 60.2%(n=35,随机水平 50%);无关模型改写仅损失 2.1% 距离,排除了私有约定导致失败的可能。
研究者从专业人道主义灾情报告中提取 15 槽位信息框架,评估 121 份人工报告与 261 份 LLM 生成报告。在 Cyclone Idai 上,gemini-3.7-flash 评审下最佳机器报告得分 0.827 略高于人类上限 0.821,但差异在统计上不可区分,且在 gpt-5.6-luna 下不复现;机器报告仅复现 5.4-11.0% 的当日官方数据,且发布来源信息(日期、机构、权威性)均未达到专业报告覆盖水平。