跳到正文
  1. arXiv · cs.AI53

    arXiv 论文提出 Human Deference Index 度量人类对自信 LLM 的谄媚

    arXiv 论文(2610.31579)研究谄媚的反向问题:当 LLM 自信、一致且错误时,用户是否会向它弯腰。32 名参与者与基于 GPT-5-mini 的 5 个助手学习科学话题,各助手事实被 0-100% 替换为貌似合理的错误,104 次测验、1040 个答案中得分从 7.4 降至 2.9/10,被植入错误选项在篡改题目中被选 60%(正确教学仅 11%,odds ratio 12.5),吸收的错误以 8.4/10 高置信度持有,置信度区分正确性的 AUROC 从 0.70 跌至随机水平,而事后信任评分几乎不变。论文提出基线校正的 Human Deference Index 量化人类侧谄媚,主张可信性是人机对的属性,谄媚评测应测双向。

    推荐理由:研究给出人向AI弯腰的量化指标与实验数据,把谄媚评测从模型单向扩展到人类方向,方法可直接复用。

  2. arXiv · cs.CL53

    arXiv 论文揭示大语言模型以隐匿化方式产生概率偏见

    Christian Arnold 等在 arXiv 发布论文,用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价,覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息,Black 描述的报告者被拒率最高达 46%,white 描述为 9%;该偏见在只比较平均信任度或仅看已评估案例的审计中不可见,且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案,五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。

    推荐理由:研究指出了常规偏见审计容易漏掉的一种机制,模型靠拒绝评估而非降低信任来隐藏偏见,并给出了可用的评分修正方案。

  1. arXiv · cs.CL56

    OpenVLHarness:结合多模态记忆的视觉智能体工具使用框架

    论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。

    推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。

  1. arXiv · cs.AI54

    HOA 框架用多会话工作流攻克奥赛题,GPT-5.6 Sol 与 Kimi-K3 均获 IMO 等满分

    论文提出 HOA(Humanize Olympiads Agent),一个开源的流程级框架,通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时,HOA 在 IMO、IPhO、IOI 2026 满分,IChO 2026 接近满分,PutnamBench 672 题全部解出,并以 251/304(82.6%)位居 Lean-Eval 榜首;改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分,IChO 达 97.1% 金牌水平,部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。

    推荐理由:论文提出多会话协作框架替代单会话求解,并给出用开源模型逼近闭源模型奥赛成绩的对比数据,方法可迁移到其他长程推理任务。

  1. arXiv · cs.AI52

    arXiv 论文提出测量优先的 Agentic 榜单审计框架并复测 SWE-bench Verified 污染差距

    arXiv 论文提出测量优先的审计框架,将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道,在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed,但 4 个配置确认了污染事件。

    推荐理由:论文提出按证据类型区分污染声明的审计框架,并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。

已经到底了