受约束解码有害还是有益?重新审视其对 LLM 性能的影响
一项 arXiv 研究将受约束解码分为格式约束、有效性约束和推理约束三类,理论证明合适约束能通过排除无效路径保持甚至提升性能。在 4 个模型家族、11 个开源模型上的因果消融显示,表面性能下降主要源于提示词与输出格式不等价,而非解码器层面的掩码。有效性约束可提升可靠性与可提取性,推理约束在强制有益轨迹时能提升推理和准确率。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究将受约束解码分为格式约束、有效性约束和推理约束三类,理论证明合适约束能通过排除无效路径保持甚至提升性能。在 4 个模型家族、11 个开源模型上的因果消融显示,表面性能下降主要源于提示词与输出格式不等价,而非解码器层面的掩码。有效性约束可提升可靠性与可提取性,推理约束在强制有益轨迹时能提升推理和准确率。
研究者推出 Culture-MMT,一个用于社交媒体翻译中“分布式证据语用重构”的诊断基准,包含 498 条去标识 UGC 实例、覆盖 20 个领域,按所需证据分为 Symbol、Visual 和 Hybrid 三类,并配套与人类对齐的 Judger 评测框架。在 17 个模型配置上,真实图像使 Visual 和 Hybrid 类性能分别提升 +0.280 和 +0.197,Symbol 类仅 +0.050,随机图像则无相应增益。结果表明视觉锚定与文化语用适配是模型翻译的两个独立瓶颈。
研究测试了 Qwen2.5-Math-7B、Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-32B 四个基座模型上训练的有害请求检测线性探针能否直接迁移。尽管 DeepSeek-R1 蒸馏推理模型和指令微调模型使安全方向旋转 17°–35°,XSTest 上 AUC 仅变化 -0.011 到 +0.027。探针在 XSTest 上比纯文本分类器高 0.15–0.20 AUC,但在 OR-Bench 上优势缩至 0.03–0.20,且会误标 29%–42% 听起来有害实则无害的提示词。
Yao Huang 等人对 DeepSeek V4.1 Flash-1017 发布独立安全评估,参照 EU 通用 AI 行为守则在 34 项基准上评测评估完整性、失控与有害操纵,并按 AEF-1 标准与 GPT-6 Astra、GPT-5.6 Sol、Gemini 3.8 Flash 对比。结果显示该模型相比 V4 代安全显著提升、多项维度接近闭源基线,但仍有值得关注的行为;作者建议将安全评测纳入增量发布、在推理轨迹与操作日志层面实现过程级可观测,并开发私有基准以应对评测感知与数据污染。
推荐理由:独立第三方对 DeepSeek V4.1 Flash-1017 覆盖 34 项基准的安全评测,安全结论与三条部署建议都有具体依据。
一项 arXiv cs.CL 预印本研究对话问答系统的纠错与置信信号:答案是否改变取决于用户是否提供答案字符串,仅靠重新提问或赞同几乎无效。四个置信信号(言语化置信度、likelihood、hidden-state probe、P(True))彼此不一致;Qwen2.5-7B 的 probe 随答案持久性而非正确性上升,Llama-3-8B 支持该结论,但四个其他模型上不成立。含答案句子的证据可修复 67-76% 的持久错误,而不含答案的证据最多修复 12%。
一项研究提出统一统计框架,将模型自置信与 LLM-as-a-judge 两条评测路线纳入置信分层抽样与误差校正估计。在 MMLU-Pro 和 MMMU-Pro 上的实验表明,即使置信度未校准也能支撑统计有效的分层审计,置信分布高度不均衡时按比例分配可显著降低估计误差。研究还指出仅少量目标-验证器对满足人标效率条件,且自动推理成本可能限制节省空间。
研究回顾性比较了非生成式决策模型 JEV 与 schema 约束的 Qwen Flash 在临床试验预筛评估上的表现,测试基于 TrialGPT 及源自 MIMIC-III 和 MIMIC-IV 的 2,048 个患者-标准对,并在 Zero Data Retention (ZDR) 政策下评估。批量模式下两者在 TrialGPT(0.652 vs. 0.660)和 MIMIC-IV(0.807 vs. 0.814)上 macro-F1 相近,但 JEV 在 MIMIC-III 上明显领先(0.768 vs. 0.534),主要源于对信息不足条件的召回率更高(56.3% vs. 9.9%)。
一项 arXiv 研究比较了三种不预设模型调用方式的简单 LLM 框架(单次调用、SQL agent 和 Codex coding agent)与五个已发表的 RCA agent 及非 LLM 方法,在 RCAtlas 的 90 个验证案例上测试。简单框架最准确,三个中端模型上 PR@1 达 65-77%,超过已发表 agent(16-53%)和非 LLM 方法(6-39%)。更强的模型主要提升可靠性,更高推理 effort 最多改变几个百分点准确率却使耗时最多增至 7 倍。
研究者推出 DECE(Diverse Eurogame Competitive Environments),一个涵盖十款 Eurogame 的 LLM 智能体统一评测竞技场,共享接口与评测协议。主要研究评测了 12 种 model-harness 配置(9 个模型、4 种执行 harness),共进行 480 场三人对局,主研究与补充研究合计 1,032 场对局。结果显示跨游戏排名大体一致但也存在游戏特定优势,同一模型在不同 harness 下表现不同,且性能优势并不总伴随更好的 token 与成本效率。
arXiv 论文发现 LLM 在深度研究中生成的长篇报告读起来像可信的综合结论,却抹平了来源文献的证据分歧,作者称这一失败模式为 smoothing,并提出 claim 级评分管线 SmoothScore 来量化。跨 7 个系统和 4 个数据集的评测显示,智能体普遍给出超出证据支撑强度的断言。代码与数据已公开。
一项针对 Jev 风格 System One 模型的测试发现,其决策结构并不能减少 LLM 的选择偏差。研究在 1,700 道题上打乱选项顺序,覆盖 2 个 Jev 版本、12 个复现模型和 6 个生成式 LLM:Jev 准确率波动不足两个百分点,但累计失败集相对原始顺序扩大 27–29%,且投票仅带来有限收益,一致答案也常出错。结果表明,稳定的准确率本身不能证明对选择偏差的抵抗力。
研究团队用 EBench 评测了 GPT-6-Astra 在两种 Agent 配置下控制机器人的能力。直接控制模式下,其整体表现与后训练的 VLA/WAM 策略相当,在短程任务和泛化维度上领先,但在长程任务、桌面操作和高精度接触任务上不及后者。在结合策略的 harness 模式下,调用后训练 VLA 或 WAM 可发挥两者互补优势,将整体任务成功率提升至与最强后训练策略相当的水平,同时显著降低 token 成本,但因策略调用欠佳、执行缺少子目标及恢复控制时干扰抓取,仍低于各独立组件的逐任务上限。
研究者推出 NPC-RubricBench,一个以鼻咽癌为场景、评估 LLM 跨癌症诊疗全程多阶段临床推理的分阶段基准。基准基于两家癌症中心 405 名患者的纵向记录,含 941 个患者-阶段单元和 17,688 条患者特异性原子化评估标准。对 30 个通用与医疗 LLM 的评测显示,诊断性能高并不代表下游诊疗好:解剖分期的显式决策错误占 48.2%,初诊检查与治疗后随访则以决策遗漏为主(33.4% 和 30.4%)。
研究者提出 iPrefBench,在可执行的 iOS 环境中通过交互式模拟用户,评测个性化移动 Agent 的推断与提问能力。基准基于含 3,051 条历史活动事件的 persona,涵盖 26 个应用中的 130 个欠明确任务。对 7 个前沿 Agent 的评测显示,行动完成率最高达 91.6%,但完整任务成功率仅最高 47.7%,Agent 尤其难以主动向用户询问必要信息。
研究者提出 LADDER,用于研究语言模型在不可靠反馈下如何进行自我评估。结果显示,模型能准确报告给定的性能信息,却难以从交互经验中形成可信的自我评估,表面准确的评估会掩盖能力差异,也不一定能预测未来任务表现。研究为在人机协作中评估模型能力意识提供了实证依据。
研究者推出 DecisionTraceBench,一个针对决策关键信息状态跟踪(DCIST)的语音状态追踪基准,联合评估决策事件序列、说话人归属、范围与时间证据,并用轨迹级 F1 衡量完整事件链恢复。数据集包含 100.39 小时中文金融合成语音和 8.61 小时真人录音。五个级联系统与两个直接音频模型在固定真人录音集上仅得 5.73%-21.35%,加了说话人标注参考脚本和去除时间定位要求后最高也只有 38.72%,显示现有系统在信息溯源与状态演化联合理解上的不足。
一项 arXiv 研究提出在可验证任务上评估语言模型心智理论(ToM)的多层次方法,通过带非对称信息的家庭协作与日程调度任务,区分信念恢复与信念使用。六种模型配置中能力出现分化:Claude 能正确恢复全部智能体信念,但仅在 67.9% 的匹配调度案例中给出主观最优计划;Qwen-27B 在提供信念后成功率从 55.0% 升至 75.0%,而 Qwen-4B 虽答对所有固定信念来源问题,却只完成 20.0% 的对应后续执行。
该研究以极小预算复现了 LLM 立直麻将对局实验:仅用至多 2B 参数模型、一块 16 GB 消费级 GPU、约 5 GPU-天。结果发现文本是瓶颈——2.6M 参数卷积牌桌编码器在 10 万决策训练集上与 AI Mortal 达成 80.6% 一致率,高于表现最好的文本提示 LLM 的 77.8%;扩至 171 万决策后,4.9M 参数 Transformer 达 94.7% 一致率,并在相同种子下胜过 0.8B LLM。研究还指出少量一致率差异并不转化为对局实力,并按 Tenhou 条款仅发布代码与评估协议、不发布训练权重。
RubriX 是一种受对比语言模型启发的非自回归 rubric 评测模型,通过 LoRA 适配的编码器与余弦相似度 softmax 直接给出每个等级的概率,无需文本生成。在 held-out rubrics 上达到 75.4% 精确准确率,超过 TypeSafe 的 Jev(57.1%)和 Qwen3-8B judge(49.8%)。等级嵌入缓存后,每级 3,000 tokens 时延迟约 28 ms,比 Jev 快 7.7 倍、比 Qwen3-8B judge 快 18.8 倍。
一项 arXiv 论文将 Outcome RL 提升 pass@1 的来源拆解为完成度、可靠性和覆盖面三部分,在固定 token 预算下比较 1.5B 到 32B 共 20 个 RL 模型与其基座思考模型。结果显示基座常耗尽预算时 82% 的变化来自完成度,预算充足时增益主要来自可靠性;RL 极少解出基座解不出的问题,覆盖面最多带来 2.1 个百分点,抽查 144 道仅 RL 解出的物理题中仅 3.5% 经复核成立。
推荐理由:论文把 RL 带来的 pass@1 提升拆成完成度、可靠性和覆盖面三部分,量化了 Outcome RL 很少解出新题这一结论。
一篇 arXiv 论文借助 Kripke 对 Wittgenstein 的解读,指出大语言模型所采用的“意义即使用”观面临规则遵循挑战:有限的使用历史无法唯一确定未来扩展的规则。作者据此论证仅测量固定用例或局部鲁棒性的 benchmark 不足以确立语义能力,并提出通过抽象与递归两种能力的实验范式来评估模型在原则性领域扩展下能否保持规则与概念。
一项研究检验了保形事实性在 agentic RAG 中的表现,其中语言模型策略会自适应地发起后续检索查询或在生成回答前终止检索。研究在 GPT-6 Luna 和 Llama 3.1 8B 上评估 HotpotQA、Natural Questions 和 TriviaQA 六种配置,每配置 60 个固定问题、100 个种子分区、五个保形目标水平。95% 目标下,非空回答覆盖率介于 17.23% 到 60.17%,完整支持率介于 89.14% 到 95.56%,更高的目标水平伴随更高的完整支持率但更低的回答可用性。
研究者提出 NumTrace 基准,审计金融分析师 Agent 生成的每个数字声明的来源与财务语义,目前包含 540 道题、覆盖 2,163 份 SEC EDGAR 文件。该基准对每条声明给出 value、binding 和 support 三项判定,可检出“数字对但归属错”(RNWA)错误。在审计 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个 Agent 时,RNWA 错误占各自失败声明的 67.5-81.8%;在 13F 共同申报组问题上约 91% 的声明通过 value 检查,但通过 binding 检查的不到一半。
arXiv 新论文推出 PatentAgentBench,包含覆盖 8 个任务套件的 510 个实例,涵盖新颖性检索、FTO 检索、无效检索、权利要求对照表、专利撰写、审查意见答复和专利翻译等任务,基于真实专利记录并由专家标注。研究评估了 7 个 LLM 在 4 种 agent harness 下的表现,发现当前系统仍难以识别新颖性、评估风险和理解专利从业者意图。
研究者推出可配置公平性基准 ComFair,将现有公平性数据转换为 479,066 个受控的双属性与多属性实例,并为每个实例配对任务等价的源数据。对十款 LLM 在 Recognition、Selection、Continuation、Conversation 四类任务上的实验显示,敏感度依任务和子群组而异:判别式任务能暴露聚合指标下不可见的双向变化,生成式任务偏移更大且方向不对称,模型排名随属性组合而波动。ComFair 提供可扩展的受控敏感度审计,用于检验公平性评测结论在多属性交叉场景下的稳健性。
一项 arXiv 研究评测了九个 AI 模型在患者坚持错误病情信念时改变诊断决定的倾向,发现模型平均 23.2% 的情况下会谄媚地采纳患者信念,有时甚至接受虚构疾病。其中“罕见病声称者”人设使模型接受信念的比例达 43.0%。分析显示医学微调和更大模型规模可降低这种易感性。
研究者推出 Continual Learning Exam(CLE)基准,由 50+ 领域专家构建,用于衡量 LLM Agent 在真实职业工作流中通过积累经验持续改进的能力。CLE 包含 120 个人工编写任务,每个任务分五级阶梯,共 600 个级别,覆盖 12 个职业领域的 89 种职业角色。在 17 种 harness-模型配置中,失败后反馈加一次修订平均带来 5.3 个百分点的完成率提升,但最强系统也仅通过 47.7% 的级别、仅在 23.3% 的任务中完成全部五级。
InfiniteWorld 是一个物理推理基准,通过模拟器视频系统性改变物理参数来生成配对问题,涵盖定律识别、参数估计、时序推理、反事实比较和定律归纳五项任务。对多款视频-语言模型的评测显示,模型普遍偏好熟悉物理规律,即使在观测物理改变时仍常给出 Earth-normal 答案;视频帧能提升多数模型表现,但增益因任务而异。
arXiv 论文 arXiv:2610.33764 研究视觉语言模型的多证据整合缺口:模型能准确读取局部事实,却无法将其组合成满足全部约束的全局决策。例如 Gemma-3-27B 能正确恢复全部孤立事实,但在八项视觉实例上全局有效率仅 19.75%。通过 hidden-state 探针与激活替换实验,作者表明恢复事实并不足以支持可靠的联合决策。
研究者提出 RATE(Refined Assessment for Translation Evaluation)评估协议,并构建了由专业语言学家对 WMT24 英俄翻译进行人工评价的高质量数据集。分析显示,SOTA 机器翻译系统在准确率上可能已超过人工翻译,但流畅度仍落后。现有 MQM 和 ESA 等金标准方法存在标注者水平不一、严重度粒度粗、偏重准确率等局限。
研究者系统分析指令设计、few-shot 示例、backbone 模型与多步工作流对 LLM 机器翻译评估的影响,基于 WMT24 和 WMT25 英俄翻译的新 RATE 专家标注,并在 MQM 与 ESA 标注基准上验证迁移。研究发现指令结构决定评估器行为、高质量示例比数量更重要、不同 frontier backbone 呈现召回/精确/排序导向差异,融合多 backbone 输出优于单评估器多次调用。由此提出的 ORBIT 评估器系列在错误跨度检测与 Accuracy 和 Fluency 排序上达到专家级水平,成本约为人工标注的 1/20。
一项研究将 Context Association Test(CAT)改造为零样本自诊断评测,检验 GPT-4o 在 ADHD 自我诊断场景中是否响应性别化关联。结果显示,显式性别线索会持续放大某些 ADHD 亚型关联,而隐式线索产生接近代理对齐的分布,表明显式线索可能触发过度矫正而非消除偏见的缓解机制。研究提示,评估 LLM 自诊断中的性别偏见需关注模型编码的人群关联。
arXiv 论文提出 Mycelium 元研究,将大语言模型幻觉检测视为受基准条件制约的测量问题,并沿 provenance(来源)、typology(类型)、granularity(粒度)三个维度梳理现有基准。分析显示基准构建、标注与评测方式会实质影响检测器得分,跨基准比较难以解读。针对 span 级评测中标注边界差异的问题,作者提出 Span Coverage F1 这一基于包含关系的补充指标。
RobustRLlib 是一个面向鲁棒强化学习的算法库与基准,以统一接口集成 17 种代表性在线、离线与安全 RL 算法。其评测平台覆盖多样真实扰动及人形与视觉-语言-动作任务,并基于 273 种扰动配置给出当前鲁棒 RL 算法的能力地图,揭示仍存在显著鲁棒性缺口之处。项目以开源形式提供可复现、可扩展的代码库。
一项 arXiv 研究测量了 11 个开源模型在 EffiBench 全部 1,000 道题上的代码优化能耗,发现性能优化并不等于节能:44 个配置中有 42 个生成的代码比人类参考解更耗能,开销从 +4% 到 +886%。推理能耗在 0.79 至 8.68 MJ 之间,约相当于 250 至 2800 次 GPT-4.1 查询;限制最大输出 token 可最多降低 69% 能耗,MoE 架构比同等规模稠密模型更省电。该论文已被 ICSE 2027 接收。
一项发表于 IJCNN 2026 的研究提出“功能自洽性”实验框架,通过充分性、全面性与反事实性三项指标检验 LLM 自我解释与其实际预测是否一致。实验基于 IMDB 和 Steam 评论数据,覆盖 GPT-4o-mini、Gemma3、Granite8B 和 DeepSeek:GPT-4o-mini 在全部指标上符合预期,Gemma3 与 Granite8B 仅在充分性下保持一致,DeepSeek 变体则出现结构性偏差。结果表明解释可靠性因模型家族和规模而异,小模型自相矛盾,大模型过度敏感。
研究者推出开源工具 LGMT,基于一阶逻辑的蜕变关系检测 LLM 推理不一致性,无需 ground-truth 标签即可对比等价测试用例上的预测。工具内置 20 条蜕变关系,支持经 Z3 定理证明器验证的自定义关系,提供 CLI 和 web studio 及离线 mock 模式。对 6 个主流 LLM 在 3,091 个蜕变组上的测试显示,不一致率介于 20.84% 至 29.44%,代码已在 GitHub 开源。
PHYRD 是一个理论物理推理动态基准,包含 63 道 Reproduce 和 43 道 Discover 题,由 FormulaForest 构建并附带子问题级评分标准。五个模型在 Reproduce 上整体准确率为 49.21%–68.25%,闭卷 Discover 为 18.60%–74.42%,使用工具后四 个模型完成更多 Discover 题。FormulaForest 作合成数据可将 Qwen-35B-A3B 在 OpenAI 的 FrontierScience 上的准确率从 61% 提升至 72%。
研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。
推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。
SAAF(Signal-Aware Adaptive Fusion)是一个基于视觉-语言模型的零样本视频异常检测框架,通过双信号自适应采样、阈值门控级联架构和信号感知加权融合三项创新降低计算成本。在四个 benchmark 上,SAAF 在 XD-Violence(92.07%)、MSAD(86.70%)和 ShanghaiTech(80.54%)AUC-ROC 创无训练零样本方法新 SOTA,其中 XD-Violence 和 MSAD 超越有监督基线。其吞吐在三个数据集上较此前最佳零样本方法提升 2.43×、2.63× 和 2.22×,代码已开源,论文被 WACV 2027 接收。