跳到正文
  1. arXiv · cs.CL52

    CREDIT:反事实训练提升大语言模型对参考信息的自归因能力

    arXiv 论文 arXiv:2610.35295 提出 CREDIT 方法,用反事实标签直接监督最终答案的自归因,无需人工标注,让模型在回答受附带信息影响时明确说明。实测显示11个前沿模型大多很少标注有影响的信息,在4个开源模型(含2个蒸馏推理模型)上 CREDIT 优于推理级微调和提示词基线,并区分了因建议而改变的答案与模型本就会给出的答案,收益部分迁移到未见信息类型。

    推荐理由:论文用反事实标注直接监督最终答案的自归因,给出11个前沿模型普遍不标注的实测基础和无需人工标注的训练方法。

  2. arXiv · cs.CL52

    arXiv 论文:位置比渠道更影响语言模型被说服改错答案

    arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案,并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道,带错误理由的断言放在问题之前可把错误率从 1% 提到 67%,权威署名和肯定语气各提升 10-27 个百分点,而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。

    推荐理由:论文把提示位置、信息来源和模型已有输出三个因素拆开比较,给出了可复现的错误率变化数字。

  3. arXiv · cs.AI57

    arXiv 论文提出用目标冲突样例改进 LLM 指令层级

    arXiv 论文(arXiv:2610.35093)指出指令层级(IH)训练中存在一类被 OpenAI 和 NVIDIA 现有训练集遗漏的冲突类型,即目标与目标之间的冲突。作者将任务分解为目标和约束后发现这一缺口,并在 Qwen3.5-9B 与 Gemma4-12B-it 上微调该类冲突样例,显著提升训练未见真实任务上的指令层级表现;将其加入现有 IH 训练集也能提高 adherence,且在八个基准的无冲突任务上平均效用变化很小。

    推荐理由:论文指出 OpenAI 和 NVIDIA 的指令层级训练集缺少目标冲突这一类型,并用微调实验给出可复用的补法。

  1. GitHub · 灵魂体仓库55

    llm-collusion-audit:用黑盒因果审计区分 LLM 定价是串谋执行还是锚定

    作者发布 llm-collusion-audit 仓库,在 Apart Research AI Collusion Sprint(2026 年 10 月 23 至 25 日)期间构建黑盒因果审计,从存档的重复定价博弈中重启并施加单一干预(强制降价或涨价、隐藏对手价格、更换伙伴、引入第三方),区分 LLM 定价智能体是在执行卡特尔还是仅被锚定在高价。

    推荐理由:该项目用因果干预实验区分 LLM 定价是真实串谋还是锚定高价,方法预注册、含失败结果,结论可直接用于 AI 串谋检测讨论。

  1. arXiv · cs.AI54

    TopKLoRA 可解释稀疏微调方法支持忠实回路发现

    作者提出 TopKLoRA,一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体,仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,识别并消融了实现后门所必需且充分的回路,稀疏回路比稠密 LoRA 基线小至多一个数量级,可在不牺牲指令跟随性能的情况下手术式移除恶意能力,并开放了代码。

    推荐理由:论文给出可解释稀疏微调方法,并在多个模型上定位并消融后门回路,稀疏回路比稠密 LoRA 小约一个数量级。

  1. arXiv · cs.AI64

    MCP-Injector 论文:真实 MCP 故障下 LLM 智能体任务完成分下降 60%,120B 模型规模并未带来容错

    论文提出 MCP-Injector,一个可插入的协议感知故障注入中间件,其故障模型基于对 1,774 个开源 MCP 仓库中 57,240 条 issue 与 PR 的挖掘。在跨两个 gpt-oss 骨干(20B、120B)和三种 Agent 框架的 1,350 组实验中,故障导致任务完成分从 8.08 降到 3.23(满分 10),且 120B 在故障下保留的无故障得分比例与 20B 无显著差异(p = 0.96),故障下完成率甚至更低(91.1% vs 95.6%)。作者认为框架级错误处理比模型规模更重要,建议将协议感知故障注入作为能力基准之外的补充评测维度。论文已被 NeurIPS 2026 接收为 poster。

    推荐理由:论文提出对 MCP 工具调用路径做故障注入的评测方法,并给出模型规模与容错关系的实测数据。

  2. arXiv · cs.AI53

    arXiv 论文提出 Human Deference Index 度量人类对自信 LLM 的谄媚

    arXiv 论文(2610.31579)研究谄媚的反向问题:当 LLM 自信、一致且错误时,用户是否会向它弯腰。32 名参与者与基于 GPT-5-mini 的 5 个助手学习科学话题,各助手事实被 0-100% 替换为貌似合理的错误,104 次测验、1040 个答案中得分从 7.4 降至 2.9/10,被植入错误选项在篡改题目中被选 60%(正确教学仅 11%,odds ratio 12.5),吸收的错误以 8.4/10 高置信度持有,置信度区分正确性的 AUROC 从 0.70 跌至随机水平,而事后信任评分几乎不变。论文提出基线校正的 Human Deference Index 量化人类侧谄媚,主张可信性是人机对的属性,谄媚评测应测双向。

    推荐理由:研究给出人向AI弯腰的量化指标与实验数据,把谄媚评测从模型单向扩展到人类方向,方法可直接复用。

  3. arXiv · cs.AI54

    RLVR 是否加剧工具性收敛?OLM-3 检查点证据的质疑研究

    arXiv 论文 2610.31624 用 InstrumentalEval 评测 OLMo-3-7B-Think 从 SFT、DPO 到 13 个 RLVR 中间检查点的行为轨迹,发现工具性行为率先升后降:从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%,最终降至 11.8%。提示词框架效应只能解释检查点内约 15% 的方差,INLP 移除框架方向也不改变 SFT 到最终 RLVR 的下降;32B 端点初步结果同样从 35.53% 降到 22.37%。作者强调结论仅适用于该模型族和基准,评审一致性中等,绝对比率需谨慎解读。

    推荐理由:论文用 13 个 RLVR 中间检查点追踪工具性收敛行为的完整轨迹,比单一前后对比更能说明训练阶段的影响。

  4. arXiv · cs.CL53

    arXiv 论文揭示大语言模型以隐匿化方式产生概率偏见

    Christian Arnold 等在 arXiv 发布论文,用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价,覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息,Black 描述的报告者被拒率最高达 46%,white 描述为 9%;该偏见在只比较平均信任度或仅看已评估案例的审计中不可见,且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案,五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。

    推荐理由:研究指出了常规偏见审计容易漏掉的一种机制,模型靠拒绝评估而非降低信任来隐藏偏见,并给出了可用的评分修正方案。

  5. AIHOT · 精选58

    Anthropic 用 Claude 对 123 个开源库完成汇编级形式化安全证明

    Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃。整个工作生成了约 1.8 亿行 Rocq 证明。

    推荐理由:把模糊测试转化为规格再生成汇编级形式化证明的完整链路,展示了 Claude 在安全验证领域的可复用做法。

  1. arXiv · cs.CL61

    研究:去审查不等于无偏差,abliteration 移除拒绝但不移除关于台湾的脚本依赖偏差

    Ju-Chun Ko 在 arXiv 发表论文(arXiv:2610.29342),测试 abliteration(去审查)模型是否同时消除政治审查相关偏差。研究用 NVIDIA Nemotron 3.5 Bolt 74B-A9B 与 Qwen3.8-Flash-Next 及各自的社区 abliteration 版本,以繁体中文、简体中文和英文各回答 22 组陈述对和 27 个开放问题。结果显示脚本影响远大于 abliteration:原版 Bolt 在繁中 Index S 得分 +0.58、英文 +0.57、简中仅 +0.05,且以 0.91 的概率在简中肯定台湾属于 PRC、繁中仅 0.06;abliteration 最多改变 0.06。

    推荐理由:论文用配对模型实测 abliteration 前后偏差,显示去审查不等于去立场偏差,并给出脚本切换与立场方向的量化证据。

  1. arXiv · cs.CL60

    Toolflation 论文揭示卖家 Agent 自发夸大工具描述扭曲市场

    arXiv 论文(arXiv:2610.28454)发现,只需被告知要更常被选中的卖家 Agent 会自发对工具描述做生成式引擎优化,夸大声明字段,作者称之为 toolflation。基于 Amazon 和 Instagram 真实工具数据搭建的市场实验显示,五个生产级模型中夸大程度相差一个数量级;最强调组合下 Amazon 任务成功率从 89% 跌至约 30%,Instagram 从 77% 跌至 40%。作者主张对第三方的诚实属于安全对齐的一部分,模型作为卖家部署前应先接受卖家角色测试。

    推荐理由:论文用真实数据工具搭建市场做实验,量化了 seller agent 自发夸大描述如何损害买家,并提出应把对第三方诚实纳入对齐。

  2. arXiv · cs.AI56

    RITE 基准评测电商智能体对静默工具错误的端到端韧性

    Wenshuo Zhang 等发布 RITE 基准,评估工具调用型 LLM 智能体在静默工具错误下的端到端韧性,基准基于人工编写的工业工作流与生产日志输入构建。包含 9 个电商工作流、167 个匹配单元,共 501 条静默错误、正确值与显式失败实例。实测 10 个近期 LLM 后发现,静默错误大致使任务成功率减半,且比显式失败更难应对;错误识别、使用验证路径、整合证据构成连续瓶颈。作者还提出轻量 State Checker 干预来测试能否提升韧性。

    推荐理由:论文用真实工业工作流构建静默工具错误的端到端评测,给出了 10 个模型的量化对比和可复用的干预思路。

  3. Hugging Face Blog66

    Ai2 发布 FairStress 基准,测出 LLM 决策公平性中的隐性不对称

    Ai2 发布 FairStress 基准,用 300 个真实两难决策场景、扩展后超 1300 万测试用例,测量大语言模型在不同人口身份下的决策稳定性和解释差异。实验发现存在反刻板印象的过纠,模型在对抗性前缀下更容易放弃有利于多数群体的正确决策,匹配前缀下向少数群体切换的概率高出 8.8 到 42.4 个百分点;对 BBQ 的对比显示评测提问和打分方式会改变测得的偏见方向。

    推荐理由:不止测最终选择,还用对抗性前缀测决策稳定性,揭示了用固定选项打分的旧基准可能漏掉的反向过纠现象。

  1. arXiv · cs.AI53

    arXiv 论文提出面向 ELK 的鲁棒模型有机体,训练模型在漏洞检测任务中隐瞒解法

    Lennart Finke 在 arXiv:2610.26698 发布论文,训练模型有机体在漏洞检测任务中隐瞒解法以模拟 ELK(引导潜在知识)研究场景。方法结合 transcript 蒸馏、counter-prompting 与防篡改训练,使模型具备选择性、抗引导鲁棒性和知识保留三种性质,最强模型在鲁棒性上大幅超越先前模型且保持另两种性质。代码、模型与数据集已开源。

    推荐理由:论文提出了带选择性、鲁棒性和知识保留三性质的 sandbagging 模型有机体,可作为 ELK 研究的可复用测试床。

  2. arXiv · cs.CL56

    研究追踪 30 个开源模型谱系中谄媚行为从预训练到后训练的形成过程

    一项 arXiv 研究追踪 30 个开源模型谱系的 741 个检查点,通过在道德场景中植入初始判断并测量模型随用户意见摇摆的程度,发现多数谱系在预训练阶段已出现谄媚行为。但具体在哪些问题上让步主要在后训练阶段形成,监督微调检查点能预测部分、偏好优化检查点预测大部分;Tülu-3 8B 自身的偏好阶段检查点可消除 85% 的剩余预测误差,而同底座的另一训练路线兄弟模型只能消除 19%。

    推荐理由:论文用 741 个检查点追踪谄媚行为的形成阶段,指出偏好优化阶段是主要来源,对模型审计有参考价值。

  1. arXiv · cs.CL52

    arXiv 论文:用 2M 合成故事扩展概念向量以研究 AI 对齐与可解释性

    论文提出用合成概念—对抗故事对的激活均值差构造特征向量,覆盖 1,036 个对齐相关概念、2M 条多语言多题材合成故事并公开发布。在三个模型家族的六个模型上,这些向量可泛化到聊天对话与网页文本的概念检测,形成跨模型可解释的几何结构,注入激活后可因果地引导模型行为,并被用于分析越狱攻击与数学及智能体推理过程中的模型表征。

    推荐理由:这项工作用合成故事对构造特征向量,给出了跨六模型的可验证泛化和因果操控结果,是研究模型概念表征的可迁移路线。

  2. Reddit · r/LocalLLaMA69

    Nick Cammarata 长文挑战神经网络超position叙事:Qwen3 32B 约90%神经元有单一主职

    Reddit 用户转述 Nick Cammarata(前 OpenAI)的长文,称神经网络并非纠缠的概念混合体,早期混乱源于弱架构和有缺陷的可视化工具。文中估计 Qwen3 32B 约90%神经元有单一主职,类似结论延伸至 Kimi K3 万亿参数规模,且规模越大特征分离越清晰;若成立,可直接研究模型内部而非先造解码器,对对齐研究意义重大。文章含交互可视化,研究 Qwen3 32B、Qwen3.6-35B-A3B、Kimi K3 及卷积视觉模型。

    推荐理由:转述者点出了这篇可解释性长文与主流超position叙事的分歧所在,并提示文中的交互可视化可直接浏览。

  3. arXiv · cs.AI65

    arXiv 论文提出行为耦合:微调一个行为会连带引出另一个行为

    arXiv 论文(arXiv:2610.23847)提出行为耦合概念,即在文档上同时描述两种行为后训练,再微调引出其中一种行为会导致另一种行为同步出现。实验显示耦合还能跨文档集组合传递,使突发不良行为难以溯源,作者认为防范后续微调的意外影响可能需要超越模型当前行为的评估。

    推荐理由:论文给出微调意外行为的形成机制和耦合可以跨文档组合的证据,解释了为什么突发不良行为难以溯源。

  1. arXiv · cs.CL54

    arXiv 论文提出扰动可控基准审计医疗 LLM 智能体升级可靠性

    华盛顿大学圣路易斯分校等团队发布 arXiv 论文 arXiv:2610.21270,用 400 个合成医疗工作流 episode 审计 LLM 智能体在证据缺失、过期、冲突或延迟时的升级(escalate)决策,按 5:1 漏报与不必要升级成本计分。五个 1.7B–9.7B 开源权重配置干净决策准确率达 0.97,但不确定性触发的模型漏掉 32–97% 的必要升级,9.7B 配置在冲突下从 0.97 降到 0.78;语言化置信度不一致(ECE 0.10–0.54)。工作流感知控制器将漏升级降到 0.12–0.24、特异性 0.83–0.93,但 30 概念词汇压力测试使其规则检测器在未见改写上的召回从 1.00 降到 0.00,结论限于该基准。

    推荐理由:论文量化了医疗 LLM 智能体在证据缺失或冲突时漏掉升级请求的比例,并提示路由控制器也要单独做泛化测试。