跳到正文
今天10月27日周二26 条
  1. arXiv · cs.CL49

    受约束解码有害还是有益?重新审视其对 LLM 性能的影响

    一项 arXiv 研究将受约束解码分为格式约束、有效性约束和推理约束三类,理论证明合适约束能通过排除无效路径保持甚至提升性能。在 4 个模型家族、11 个开源模型上的因果消融显示,表面性能下降主要源于提示词与输出格式不等价,而非解码器层面的掩码。有效性约束可提升可靠性与可提取性,推理约束在强制有益轨迹时能提升推理和准确率。

  2. arXiv · cs.CL32

    Culture-MMT 基准:面向视觉锚定的社交媒体文化翻译评估

    研究者推出 Culture-MMT,一个用于社交媒体翻译中“分布式证据语用重构”的诊断基准,包含 498 条去标识 UGC 实例、覆盖 20 个领域,按所需证据分为 Symbol、Visual 和 Hybrid 三类,并配套与人类对齐的 Judger 评测框架。在 17 个模型配置上,真实图像使 Visual 和 Hybrid 类性能分别提升 +0.280 和 +0.197,Symbol 类仅 +0.050,随机图像则无相应增益。结果表明视觉锚定与文化语用适配是模型翻译的两个独立瓶颈。

  3. arXiv · cs.CL42

    不止一个信念:对话问答中的答案载荷、持久性与分离的置信信号

    一项 arXiv cs.CL 预印本研究对话问答系统的纠错与置信信号:答案是否改变取决于用户是否提供答案字符串,仅靠重新提问或赞同几乎无效。四个置信信号(言语化置信度、likelihood、hidden-state probe、P(True))彼此不一致;Qwen2.5-7B 的 probe 随答案持久性而非正确性上升,Llama-3-8B 支持该结论,但四个其他模型上不成立。含答案句子的证据可修复 67-76% 的持久错误,而不含答案的证据最多修复 12%。

  4. arXiv · cs.CL23

    从自置信到统计准确:用直接审计与 LLM 辅助审计扩展人在回路评测

    一项研究提出统一统计框架,将模型自置信与 LLM-as-a-judge 两条评测路线纳入置信分层抽样与误差校正估计。在 MMLU-Pro 和 MMMU-Pro 上的实验表明,即使置信度未校准也能支撑统计有效的分层审计,置信分布高度不均衡时按比例分配可显著降低估计误差。研究还指出仅少量目标-验证器对满足人标效率条件,且自动推理成本可能限制节省空间。

  5. arXiv · cs.CL29

    JEV 能否支持临床试验标准的评估?

    研究回顾性比较了非生成式决策模型 JEV 与 schema 约束的 Qwen Flash 在临床试验预筛评估上的表现,测试基于 TrialGPT 及源自 MIMIC-III 和 MIMIC-IV 的 2,048 个患者-标准对,并在 Zero Data Retention (ZDR) 政策下评估。批量模式下两者在 TrialGPT(0.652 vs. 0.660)和 MIMIC-IV(0.807 vs. 0.814)上 macro-F1 相近,但 JEV 在 MIMIC-III 上明显领先(0.768 vs. 0.534),主要源于对信息不足条件的召回率更高(56.3% vs. 9.9%)。

  6. arXiv · cs.AI36

    研究:简单 LLM 框架在微服务故障根因分析上胜过手工设计的 RCA Agent

    一项 arXiv 研究比较了三种不预设模型调用方式的简单 LLM 框架(单次调用、SQL agent 和 Codex coding agent)与五个已发表的 RCA agent 及非 LLM 方法,在 RCAtlas 的 90 个验证案例上测试。简单框架最准确,三个中端模型上 PR@1 达 65-77%,超过已发表 agent(16-53%)和非 LLM 方法(6-39%)。更强的模型主要提升可靠性,更高推理 effort 最多改变几个百分点准确率却使耗时最多增至 7 倍。

  7. arXiv · cs.AI45

    DECE:面向 LLM 智能体的多款 Eurogame 统一竞技场

    研究者推出 DECE(Diverse Eurogame Competitive Environments),一个涵盖十款 Eurogame 的 LLM 智能体统一评测竞技场,共享接口与评测协议。主要研究评测了 12 种 model-harness 配置(9 个模型、4 种执行 harness),共进行 480 场三人对局,主研究与补充研究合计 1,032 场对局。结果显示跨游戏排名大体一致但也存在游戏特定优势,同一模型在不同 harness 下表现不同,且性能优势并不总伴随更好的 token 与成本效率。

  8. arXiv · cs.CL44

    arXiv 论文提出 SmoothScore 量化 LLM 研究智能体的"平滑"问题

    arXiv 论文发现 LLM 在深度研究中生成的长篇报告读起来像可信的综合结论,却抹平了来源文献的证据分歧,作者称这一失败模式为 smoothing,并提出 claim 级评分管线 SmoothScore 来量化。跨 7 个系统和 4 个数据集的评测显示,智能体普遍给出超出证据支撑强度的断言。代码与数据已公开。

  9. arXiv · cs.CL39

    理解 Jev 风格 System One 模型:结构能减少选择偏差吗?

    一项针对 Jev 风格 System One 模型的测试发现,其决策结构并不能减少 LLM 的选择偏差。研究在 1,700 道题上打乱选项顺序,覆盖 2 个 Jev 版本、12 个复现模型和 6 个生成式 LLM:Jev 准确率波动不足两个百分点,但累计失败集相对原始顺序扩大 27–29%,且投票仅带来有限收益,一致答案也常出错。结果表明,稳定的准确率本身不能证明对选择偏差的抵抗力。

  10. arXiv · cs.AI44

    用 EBench 评测前沿 Agent:GPT-6-Astra 从直接控制到结合策略的 Harness

    研究团队用 EBench 评测了 GPT-6-Astra 在两种 Agent 配置下控制机器人的能力。直接控制模式下,其整体表现与后训练的 VLA/WAM 策略相当,在短程任务和泛化维度上领先,但在长程任务、桌面操作和高精度接触任务上不及后者。在结合策略的 harness 模式下,调用后训练 VLA 或 WAM 可发挥两者互补优势,将整体任务成功率提升至与最强后训练策略相当的水平,同时显著降低 token 成本,但因策略调用欠佳、执行缺少子目标及恢复控制时干扰抓取,仍低于各独立组件的逐任务上限。

  11. arXiv · cs.AI33

    NPC-RubricBench:基于患者特异性评分标准的 LLM 纵向癌症诊疗评测基准

    研究者推出 NPC-RubricBench,一个以鼻咽癌为场景、评估 LLM 跨癌症诊疗全程多阶段临床推理的分阶段基准。基准基于两家癌症中心 405 名患者的纵向记录,含 941 个患者-阶段单元和 17,688 条患者特异性原子化评估标准。对 30 个通用与医疗 LLM 的评测显示,诊断性能高并不代表下游诊疗好:解剖分期的显式决策错误占 48.2%,初诊检查与治疗后随访则以决策遗漏为主(33.4% 和 30.4%)。

  12. arXiv · cs.CL48

    iPrefBench:面向个性化移动使用 Agent 的用户中心评测基准

    研究者提出 iPrefBench,在可执行的 iOS 环境中通过交互式模拟用户,评测个性化移动 Agent 的推断与提问能力。基准基于含 3,051 条历史活动事件的 persona,涵盖 26 个应用中的 130 个欠明确任务。对 7 个前沿 Agent 的评测显示,行动完成率最高达 91.6%,但完整任务成功率仅最高 47.7%,Agent 尤其难以主动向用户询问必要信息。

  13. arXiv · cs.CL35

    LADDER:诊断噪声反馈下语言模型的领域级自我评估

    研究者提出 LADDER,用于研究语言模型在不可靠反馈下如何进行自我评估。结果显示,模型能准确报告给定的性能信息,却难以从交互经验中形成可信的自我评估,表面准确的评估会掩盖能力差异,也不一定能预测未来任务表现。研究为在人机协作中评估模型能力意识提供了实证依据。

  14. arXiv · cs.CL26

    DecisionTraceBench:面向多方语音对话中决策关键信息的追踪基准

    研究者推出 DecisionTraceBench,一个针对决策关键信息状态跟踪(DCIST)的语音状态追踪基准,联合评估决策事件序列、说话人归属、范围与时间证据,并用轨迹级 F1 衡量完整事件链恢复。数据集包含 100.39 小时中文金融合成语音和 8.61 小时真人录音。五个级联系统与两个直接音频模型在固定真人录音集上仅得 5.73%-21.35%,加了说话人标注参考脚本和去除时间定位要求后最高也只有 38.72%,显示现有系统在信息溯源与状态演化联合理解上的不足。

  15. arXiv · cs.CL46

    从信念推理到任务执行:可验证任务上心智理论的多层次评估

    一项 arXiv 研究提出在可验证任务上评估语言模型心智理论(ToM)的多层次方法,通过带非对称信息的家庭协作与日程调度任务,区分信念恢复与信念使用。六种模型配置中能力出现分化:Claude 能正确恢复全部智能体信念,但仅在 67.9% 的匹配调度案例中给出主观最优计划;Qwen-27B 在提供信念后成功率从 55.0% 升至 75.0%,而 Qwen-4B 虽答对所有固定信念来源问题,却只完成 20.0% 的对应后续执行。

  16. arXiv · cs.CL47

    文本是瓶颈:小规模复现 LLM 立直麻将对局研究

    该研究以极小预算复现了 LLM 立直麻将对局实验:仅用至多 2B 参数模型、一块 16 GB 消费级 GPU、约 5 GPU-天。结果发现文本是瓶颈——2.6M 参数卷积牌桌编码器在 10 万决策训练集上与 AI Mortal 达成 80.6% 一致率,高于表现最好的文本提示 LLM 的 77.8%;扩至 171 万决策后,4.9M 参数 Transformer 达 94.7% 一致率,并在相同种子下胜过 0.8B LLM。研究还指出少量一致率差异并不转化为对局实力,并按 Tenhou 条款仅发布代码与评估协议、不发布训练权重。

  17. arXiv · cs.CL36

    RubriX:快速、可微调的非自回归 Rubric 评测模型

    RubriX 是一种受对比语言模型启发的非自回归 rubric 评测模型,通过 LoRA 适配的编码器与余弦相似度 softmax 直接给出每个等级的概率,无需文本生成。在 held-out rubrics 上达到 75.4% 精确准确率,超过 TypeSafe 的 Jev(57.1%)和 Qwen3-8B judge(49.8%)。等级嵌入缓存后,每级 3,000 tokens 时延迟约 28 ms,比 Jev 快 7.7 倍、比 Qwen3-8B judge 快 18.8 倍。

  18. arXiv · cs.CL62

    Outcome RL 带来了什么:对 20 个 RL 模型的完成度、可靠性与覆盖面拆解

    一项 arXiv 论文将 Outcome RL 提升 pass@1 的来源拆解为完成度、可靠性和覆盖面三部分,在固定 token 预算下比较 1.5B 到 32B 共 20 个 RL 模型与其基座思考模型。结果显示基座常耗尽预算时 82% 的变化来自完成度,预算充足时增益主要来自可靠性;RL 极少解出基座解不出的问题,覆盖面最多带来 2.1 个百分点,抽查 144 道仅 RL 解出的物理题中仅 3.5% 经复核成立。

    推荐理由:论文把 RL 带来的 pass@1 提升拆成完成度、可靠性和覆盖面三部分,量化了 Outcome RL 很少解出新题这一结论。

  19. arXiv · cs.CL31

    以 Kripke 式挑战重思 LLM 评估:基于“意义即使用”的原则性泛化

    一篇 arXiv 论文借助 Kripke 对 Wittgenstein 的解读,指出大语言模型所采用的“意义即使用”观面临规则遵循挑战:有限的使用历史无法唯一确定未来扩展的规则。作者据此论证仅测量固定用例或局部鲁棒性的 benchmark 不足以确立语义能力,并提出通过抽象与递归两种能力的实验范式来评估模型在原则性领域扩展下能否保持规则与概念。

  20. GitHub · 灵魂体仓库25

    ClinReason 发布 SectorBench Healthcare/Clinics v0.1:医疗场景 LLM 评测规划包与可运行脚手架

    ClinReason 推出 SectorBench Healthcare/Clinics v0.1,一个双语、本地优先的行业 LLM 评测规划包与可运行脚手架,首个领域为医疗/诊所,核心数据模型与评分引擎可扩展到金融与法律。项目已推进至 100+ 案例家族的里程碑,并完成 16-call judge-only 评分探针等验证实验。官方强调所有案例均为合成且未经验证(example_unvalidated/draft),在合格临床专家完成验证与 Gold Set 流程前不得用于临床决策。

  21. arXiv · cs.AI31

    评估 Agentic RAG 中的保形事实性:自适应检索与选择性作答

    一项研究检验了保形事实性在 agentic RAG 中的表现,其中语言模型策略会自适应地发起后续检索查询或在生成回答前终止检索。研究在 GPT-6 Luna 和 Llama 3.1 8B 上评估 HotpotQA、Natural Questions 和 TriviaQA 六种配置,每配置 60 个固定问题、100 个种子分区、五个保形目标水平。95% 目标下,非空回答覆盖率介于 17.23% 到 60.17%,完整支持率介于 89.14% 到 95.56%,更高的目标水平伴随更高的完整支持率但更低的回答可用性。

  22. arXiv · cs.AI35

    NumTrace:审计金融分析师 Agent 数字溯源的新基准

    研究者提出 NumTrace 基准,审计金融分析师 Agent 生成的每个数字声明的来源与财务语义,目前包含 540 道题、覆盖 2,163 份 SEC EDGAR 文件。该基准对每条声明给出 value、binding 和 support 三项判定,可检出“数字对但归属错”(RNWA)错误。在审计 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个 Agent 时,RNWA 错误占各自失败声明的 67.5-81.8%;在 13F 共同申报组问题上约 91% 的声明通过 value 检查,但通过 binding 检查的不到一半。

  23. arXiv · cs.AI34

    PatentAgentBench:用专业专利任务套件评测 LLM Agent

    arXiv 新论文推出 PatentAgentBench,包含覆盖 8 个任务套件的 510 个实例,涵盖新颖性检索、FTO 检索、无效检索、权利要求对照表、专利撰写、审查意见答复和专利翻译等任务,基于真实专利记录并由专家标注。研究评估了 7 个 LLM 在 4 种 agent harness 下的表现,发现当前系统仍难以识别新颖性、评估风险和理解专利从业者意图。

  24. arXiv · cs.AI23

    超越单一属性审计:ComFair 可配置多属性基准评测 LLM 交叉性公平性

    研究者推出可配置公平性基准 ComFair,将现有公平性数据转换为 479,066 个受控的双属性与多属性实例,并为每个实例配对任务等价的源数据。对十款 LLM 在 Recognition、Selection、Continuation、Conversation 四类任务上的实验显示,敏感度依任务和子群组而异:判别式任务能暴露聚合指标下不可见的双向变化,生成式任务偏移更大且方向不对称,模型排名随属性组合而波动。ComFair 提供可扩展的受控敏感度审计,用于检验公平性评测结论在多属性交叉场景下的稳健性。

  25. arXiv · cs.CL47

    九个 AI 模型在医疗诊断中的谄媚性评测:患者信念分级研究

    一项 arXiv 研究评测了九个 AI 模型在患者坚持错误病情信念时改变诊断决定的倾向,发现模型平均 23.2% 的情况下会谄媚地采纳患者信念,有时甚至接受虚构疾病。其中“罕见病声称者”人设使模型接受信念的比例达 43.0%。分析显示医学微调和更大模型规模可降低这种易感性。

10月25日周日
  1. GitHub · 灵魂体仓库32

    TriTetra/RSNA-Knee-Abnormality-Detection:RSNA 膝关节 MRI 异常检测竞赛方案与复盘

    theartificialteam 团队开源其 RSNA 膝关节异常检测竞赛的完整代码与知识库,该竞赛要求预测 12 项膝关节 MRI 发现,指标为 12 项平均 ROC AUC,队伍最终 private rank 约 1,730/6,425,private 0.942。仓库包含 ConvNeXt multi-view MIL 模型、Raptor CoAtNet-384 训练推理代码、预处理与 blend 流水线及实验日志。团队总结:优胜者的优势在于用多模态 LLM 从图像读取标签(gold 0.94–0.956,对比来自报告的约 0.90),而静默失败是其代价最高的 bug——首次提交仅得 0.500 且无任何报错。

  2. GitHub · 3D 生成新仓库59

    NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论,开源诊断数据集与提示词

    清华、百度等机构在 NeurIPS 2026 发表 When Less Is More,发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论,覆盖 27 组配置(9 个模型规模 × 3 种压缩率):更大压缩器重构误差更低但忠实度下降,中型压缩器常优于大模型。论文归因于知识覆写(如白色草莓被改写为红色草莓)与语义漂移(如 Alice hit Bob 被改写为 Bob hit Alice),64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。

    推荐理由:论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据,并公开了诊断数据集与 QA 生成提示词,方法可复用于其他压缩评测。

  3. GitHub · 3D 生成新仓库63

    code-model-reliability 开源代码模型能力与可靠性统一度量框架

    szymonkobus 发布 code-model-reliability 仓库,用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力(D50)和可靠性(D99)。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试;仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本,代码 MIT、数据 CC BY 4.0。

    推荐理由:用同一难度尺度同时刻画模型能力 D50 和可靠性 D99,覆盖 71 个模型配置的可复现评测框架。

  4. GitHub · 灵魂体仓库25

    GitHub 仓库 OmniJev/awesome-jev-papers:Jev 与 System One 决策模型论文精选列表

    该 GitHub 仓库收录关于 Jev——TypeSafe 的 System One 模型——及按其形态构建的开放模型的研究论文,每条均对照 arXiv 页面核验。列表分为 Survey、Open Decision Models(57 篇)、Benchmarks & Evaluations(17 篇)、Agents & Systems(49 篇)、Applications(41 篇)等分类,2026-10-25 新增 78 篇 Jev 论文,并接受 PR 投稿。

  5. arXiv · cs.AI48

    Continual Learning Exam:评测 LLM Agent 长程 RSI 与经验学习能力的基准

    研究者推出 Continual Learning Exam(CLE)基准,由 50+ 领域专家构建,用于衡量 LLM Agent 在真实职业工作流中通过积累经验持续改进的能力。CLE 包含 120 个人工编写任务,每个任务分五级阶梯,共 600 个级别,覆盖 12 个职业领域的 89 种职业角色。在 17 种 harness-模型配置中,失败后反馈加一次修订平均带来 5.3 个百分点的完成率提升,但最强系统也仅通过 47.7% 的级别、仅在 23.3% 的任务中完成全部五级。

  6. GitHub · 灵魂体仓库38

    Forcebench 开源基准:实测 AI 模型做真实 Salesforce 工程任务的能力

    Forcebench 是一个开源基准,用真实的 Salesforce 工程任务评测 AI 模型,覆盖 Apex、governor limits、fflib、Lightning Web Components、Flow、SOQL、CI/CD 等 15 个套件。评分尽可能通过实际执行完成:部署到 scratch org 跑隐藏 Apex 测试和 Jest 测试、执行 SOQL 查询、对照 sf CLI manifest 验证命令。项目支持任何 OpenAI 兼容端点,代码采用 Apache-2.0 许可,任务与结果采用 CC BY 4.0,结果与排行榜见 forcebench.ai。

  7. arXiv · cs.AI37

    InfiniteWorld 基准:将视觉证据与熟悉物理规律分离

    InfiniteWorld 是一个物理推理基准,通过模拟器视频系统性改变物理参数来生成配对问题,涵盖定律识别、参数估计、时序推理、反事实比较和定律归纳五项任务。对多款视频-语言模型的评测显示,模型普遍偏好熟悉物理规律,即使在观测物理改变时仍常给出 Earth-normal 答案;视频帧能提升多数模型表现,但增益因任务而异。

  8. arXiv · cs.AI35

    视觉语言模型的多证据整合缺口:事实都对,答案仍错

    arXiv 论文 arXiv:2610.33764 研究视觉语言模型的多证据整合缺口:模型能准确读取局部事实,却无法将其组合成满足全部约束的全局决策。例如 Gemma-3-27B 能正确恢复全部孤立事实,但在八项视觉实例上全局有效率仅 19.75%。通过 hidden-state 探针与激活替换实验,作者表明恢复事实并不足以支持可靠的联合决策。

10月24日周六
  1. arXiv · cs.CL30

    RATE:重新思考人类水平机器翻译时代的翻译评估方法

    研究者提出 RATE(Refined Assessment for Translation Evaluation)评估协议,并构建了由专业语言学家对 WMT24 英俄翻译进行人工评价的高质量数据集。分析显示,SOTA 机器翻译系统在准确率上可能已超过人工翻译,但流畅度仍落后。现有 MQM 和 ESA 等金标准方法存在标注者水平不一、严重度粒度粗、偏重准确率等局限。

  2. arXiv · cs.CL25

    超越提示词:基于 LLM 的机器翻译评估器系统性研究

    研究者系统分析指令设计、few-shot 示例、backbone 模型与多步工作流对 LLM 机器翻译评估的影响,基于 WMT24 和 WMT25 英俄翻译的新 RATE 专家标注,并在 MQM 与 ESA 标注基准上验证迁移。研究发现指令结构决定评估器行为、高质量示例比数量更重要、不同 frontier backbone 呈现召回/精确/排序导向差异,融合多 backbone 输出优于单评估器多次调用。由此提出的 ORBIT 评估器系列在错误跨度检测与 Accuracy 和 Fluency 排序上达到专家级水平,成本约为人工标注的 1/20。

  3. arXiv · cs.CL32

    LLM 介导的 ADHD 自我诊断中的性别关联研究

    一项研究将 Context Association Test(CAT)改造为零样本自诊断评测,检验 GPT-4o 在 ADHD 自我诊断场景中是否响应性别化关联。结果显示,显式性别线索会持续放大某些 ADHD 亚型关联,而隐式线索产生接近代理对齐的分布,表明显式线索可能触发过度矫正而非消除偏见的缓解机制。研究提示,评估 LLM 自诊断中的性别偏见需关注模型编码的人群关联。

  4. arXiv · cs.CL37

    Mycelium:一项关于幻觉检测的元研究——从来源、类型与粒度三个维度切入

    arXiv 论文提出 Mycelium 元研究,将大语言模型幻觉检测视为受基准条件制约的测量问题,并沿 provenance(来源)、typology(类型)、granularity(粒度)三个维度梳理现有基准。分析显示基准构建、标注与评测方式会实质影响检测器得分,跨基准比较难以解读。针对 span 级评测中标注边界差异的问题,作者提出 Span Coverage F1 这一基于包含关系的补充指标。

  5. GitHub · 灵魂体仓库37

    Open Accounting Bench:GitHub 开源的 AI 会计智能体可执行基准

    GitHub 上的 bex-co 仓库 Open Accounting Bench(OAB)是一个用于评测 AI 会计智能体的开源可执行基准,目前处于 pre-alpha 阶段的 v0.2 开发中状态。它通过参数化任务家族动态生成任务,并采用五层确定性状态验证打分,不依赖 LLM judge,核心指标为 Verified Task Completion Rate。任务基于 Harbor 格式在隔离无网络容器中评估,现有 7 个冻结 Stable 实例,90 天目标是 12–15 个经过验证的生成器,采用 Apache-2.0 许可证。

  6. GitHub · 灵魂体仓库49

    研究发现:LLM 对心理健康帖子的分类更贴近专家而非自述标签

    针对 Kallstenius 等人原研究的 Matters Arising 评论发现,三名临床心理学家盲评了 Kaggle 心理健康语料的 103 条帖子,GPT-4o-mini 与专家共识的一致率为 61%,与原始自述标签仅 42%;SVM 复现结果相反(46% 和 57%)。这说明原研究中 TF-IDF+SVM(95%)优于 LLM(65%)的结论可能受标签质量影响。