跳到正文
10月14日周三
  1. arXiv · cs.CL51

    巴伐利亚语、德语与英语上的量化鲁棒性研究:4-bit 量化对 7B–10B 模型影响不稳定

    arXiv 论文 2610.18343 用 BAVGROUND 基准在巴伐利亚语、标准德语和英语上评估 14 个开源 7B–10B 指令模型的量化鲁棒性。8-bit GPTQ 接近 BF16 且基本保持三语相对行为;4-bit GPTQ 与 AWQ 使平均准确率下降约 1.4–1.5 个百分点,改变 11.9–16.0% 的 BF16 决策,且 5 个模型的自由文本评测显示 4-bit 压缩在选择题准确率变化不大时也可能劣化生成回答。受影响最大的语言随模型、量化方法和校准数据而变,不能仅凭聚合多语言准确率衡量。

  2. arXiv · cs.CL51

    PRISM:用反事实探针校准黑盒 LLM 评审的评分偏差

    arXiv 论文提出 PRISM,通过保持被评内容不变、探查强调或弱化属性时的评分变化,来修正 LLM 评审的隐性评分偏差。方法将探针响应表示为代理 Jacobian,用 Ridge 回归学习对基线分数的校正,无需评分细则;在 SummEval 和 HANNA 的 Jev 与 Sol 对比中,校准后与人类排序的一致性显著提升,且与基于 rubric 的方法相当。

  3. arXiv · cs.CL52

    扩散语言模型多残差流研究:双流将验证集重建困惑度降低 5.71%

    arXiv 论文 arXiv:2610.18407 为掩码扩散语言模型引入贯穿深度、可自适应路由的多残差流。双流使验证集重建困惑度较标准残差连接降低 5.71%,外部语料平均降低 5.13%。因果干预显示可见与掩码位置自发形成不同路由模式,角色条件路由训练可恢复双流一半的验证收益,该机制在更大模型规模上同样成立。

    推荐理由:论文给出多残差流扩散语言模型的具体改动和 5.71% 困惑度下降数据,并解释了双流分工的机制来源。

  4. arXiv · cs.CL44

    并非所有漂移都是机制:arXiv 论文追踪 LLM 中的提示词适应机制

    arXiv 论文研究了离散提示词优化、prompt tuning 和 prefix tuning 如何改变稠密模型与 MoE 模型的内部处理过程,发现适应方法的位置决定了任务信息传向输出的方式:优化文本主要改变响应构建,输入级提示词将影响写入内容表示,逐层前缀则通过注意力保持直接控制,在 MoE 模型中还会引发不同的专家路由模式。论文指出常见表示层面的度量对通用上下文变化反应强烈,难以可靠区分有效适应与安慰剂对照,主张将表示漂移与模型任务计算真正使用的部分区分开。

  5. arXiv · cs.CL31

    计算心理语言学研究重新审视 unigram surprisal 的估计方法

    一项 arXiv cs.CL 研究指出,计算心理语言学中 contextsurprisal 通常由神经语言模型导出,而 unigram surprisal 多来自独立语料统计,这种做法割裂了二者的概率联系。作者提出三项估计原则,要求两者来自同一语言模型,并给出 Monte Carlo 估计器及更低方差的边缘化变体。在该统一框架下重新估计后,各预测变量对阅读时间的贡献发生变化,且频次可成为比 contextual surprisal 更强的加工努力预测指标。

  6. arXiv · cs.CL47

    事实性方法能否让 LLM 更真实?五种对齐方法的独立复现与公平比较

    一项研究首次独立复现了五种事实性对齐方法,涵盖 on-policy RL(PPO、GRPO、Dr. GRPO)与离线偏好优化(DPO、KTO),并在统一基准与评测指标下比较。结果显示没有任何方法完全复现,在共同基准上也无方法显著超过基座模型,奖励主要优化格式、长度或简洁而非事实性。研究指出依赖 LLM judge 和检索验证的评测本身也较脆弱,团队已开源代码、数据与 checkpoint。

  7. arXiv · cs.CL60

    arXiv 论文研究 LLM 智能体间谈判:持有一方决定资金转移量

    arXiv 论文(arXiv:2610.18424)对 15 个语言模型智能体进行了 1,049 场循环赛谈判,发现知道哪一方持有 $100 资金可解释转移金额方差的 47%,而知道请求方仅解释 2%。文中显示最不亏的持有方是拒绝首次请求的一方,其首轮拒绝率与总亏损排序的相关系数为 -0.73;用几乎无拒绝的说服语料微调 Qwen3-8B 使其作为持有方给出资金从 12% 升到 84%,把两个从不亏损的持有方蒸馏进 4B 学生模型则将亏损从 95% 降到 1%。作者建议对持有资源的智能体评测应测试其持有角色表现,包括说服微调之后。

    推荐理由:论文给出多智能体谈判中持有方角色对结果的主导性量化证据,并提示对持有资源的 Agent 评测应纳入持有角色与说服微调后的表现。

  8. arXiv · cs.CL18

    如何从语音信号直接估计 surprisal:一种基于重要性采样的方法

    一项 arXiv cs.CL 研究提出用语音 LM 直接从语音信号估计 surprisal,摆脱依赖文本转录的瓶颈。该工作引入重要性采样估计器,通过 TTS 模型对抽象语言单元的多种声学实现边缘化,在瞳孔测量听感实验中,发现该方法比逐实现估计更准确预测瞳孔扩张,亚词汇单元的 surprisal 也有预测力;但整体上 surprisal 对瞳孔变化的预测力不强。

  9. arXiv · cs.CL42

    复制不等于落地:用 Authored-Sentence Credit 训练忠实长文 RAG

    arXiv 论文指出长文 RAG 的 faithfulness 奖励会被复制粘贴"钻空子",模型倾向照抄检索段落而非自己撰写有依据的内容;KL 或 copy penalty 只会转移问题,GRPO 逐句给出答案级优势还会强化复制句。论文提出 Authored-Sentence Credit(ASC),把奖励和优势下移到句子级,只奖励原创、有信息量且被段落支持的句子。在 4 个模型和 5 个语料上,ASC 将原创句错误率中位数降低 38%,被支持句子增加 46%。

  10. arXiv · cs.CL22

    SeTPO:基于双向 KL 约束的教师引导小语言模型工具学习方法

    论文提出 SeTPO(Selective Teacher guided Policy Optimization),通过逆向 KL 的 token 级教师反馈与正向 KL 持续监督,解决小语言模型在强化学习工具使用探索不足与师生行为分布失配问题。理论上证明最优策略期望奖励不低于教师并保留部分教师概率质量,在 BFCL v4 与 API Bank 上超越 SFT、强化学习和蒸馏基线。

  11. arXiv · cs.CL22

    Readout Scaling 如何影响稀疏自编码器的特征恢复:RC-DS 方法研究

    研究提出 readout-canonicalized decision-space(RC-DS)坐标方法,去除奇异值增益同时保留决策信息,用于分析 readout scaling 对稀疏自编码器(SAE)特征恢复的影响。在受控坐标匹配实验中,当因子在 readout scaling 之前生成时,RC-DS 将平均稀疏因子恢复从 0.506 提升至 0.913(条件数 100)。在三个固定语言模型 checkpoint 的全部 18 个 task-sparsity 设置中,RC-DS 均获得更高的无增益重构,而 centered-logit SAE 在其中 17 个设置中更好地重构输出 logits。

  12. arXiv · cs.CL53

    研究实测 ChatGPT 健康建议安全性:四国 20 万对话中约五分之一为高风险

    一项 arXiv 研究基于印度、尼日利亚、巴西、巴基斯坦 1,252 名用户授权捐赠的 202,590 条 ChatGPT 对话,筛出 15,555 条健康对话做安全评测,约五分之一获高风险评级。风险集中在症状与病情类提问,表现为不安全用药剂量建议、有害自我诊断、缺失安全警示和未引导就医;加入用户自身上下文后高风险比例上升 13-17 个百分点,约四分之一单独评级安全的对话对具体提问者并不安全。作者指出基于合成病例的安全评测可能漏掉这些伤害。

    推荐理由:论文用四国真实用户对话而非合成病例评测 ChatGPT 健康建议安全性,发现合成评测可能漏掉的风险模式。

  13. arXiv · cs.CL51

    arXiv 论文提出 DeRef 方法缓解工具调用裁判模型的推导缺口

    arXiv 论文(arXiv:2610.18497)发现工具调用裁判模型在输入中没有说明正确取值的参考文本时,接受正确参数值的比例下降,作者称之为推导缺口,在评测的七个裁判模型上均存在,且正确默认值在无截断基准上缺口最大。受控来源搬迁实验表明裁判更倾向采纳可见的错误值而非来源被隐藏的正确值;作者提出的 DeRef 方法由单独模型读取完整对话历史后为裁判生成参考,在三个基准上提升所有受测裁判的参数 AUROC,在受控测试中将 AUROC 从随机或以下水平提升至 98.40 到 99.59。

  14. arXiv · cs.CL37

    FaithAlign:面向理论尺度自动形式化的忠实性对齐评测基准

    该 arXiv 论文将自动形式化(AF)的忠实性评测建模为“先对齐再标注”问题,在非形式与形式化陈述间识别短语级对应并逐条标注忠实性。论文发布首个理论尺度忠实性基准 FaithAlign,含 460 个条目和 4,982 条标注的短语级链接,另有去除上下文与假设的 FaithAlign-Gap(146 条)。8 个模型中 GPT-6 Astra 缺陷 F1 最高达 47.8%,在 FaithAlign-Gap 上仅识别出 28.2% 的不可判定条目。

  15. arXiv · cs.CL61

    编码智能体长文档任务研究发布 TrialPD-Bench 基准与 TrialScribe 框架

    研究者以临床试验方案数字化为测试场景,发布含 150 份公开协议 PDF、四个任务类别的专家标注基准 TrialPD-Bench,并评估九个模型在五种 coding-agent harness 下的表现。结果显示最强智能体也无法完全解决该任务,通常能定位所需证据但在转写与结构化的最后一公里失败;配套的领域 harness TrialScribe 加入任务技能与验证循环,使本地部署的开源模型在八项指标上提升 6.2-59.4 分,达到或超过 GPT-5.6-Sol 等专有模型。

    推荐理由:原文用专家标注基准把编码智能体在长文档任务上的失败定位到转写与结构化环节,并给出可复用的领域harness改进数据。

  16. arXiv · cs.CL50

    知识蒸馏研究揭示"烙印"效应:教师模型可改变学生模型行为倾向

    arXiv 一项研究提出"烙印"(imprinting)现象:用同一基础教师模型构建的害接受与害回避两种变体生成普通推理与知识问题的回答并蒸馏给学生模型,学生在获得任务能力的同时,下游决策会向源教师的安全务实倾向偏移。排除稀疏的分歧 token 可减弱烙印,而蒸馏后的偏好优化虽提高害回避程度,却无法消除源自源教师的差异。

  17. arXiv · cs.CL42

    语言模型 logit 几何的系统性分析:通用结构与训练学到的偏离

    该 arXiv 论文实证分析自回归语言模型在每步预测产生的词表级 logit 向量,发现有序 logits 遵循跨架构与规模一致的 log-linear 关系 z_(r) ≈ μ − α·log r。训练后模型的斜率 α 约为 1.4–1.7,远高于初始化基线的 0.2,且 α 与预测性能相关,表明其捕捉了超越极值效应的学习结构。

  18. arXiv · cs.CL22

    检索分歧作为信号:诊断并调控多语言稠密嵌入模型

    多语言稠密检索器将所有语言放进一个共享向量空间,但同一问题用不同语言提问会检索出明显不同的文档;各语言单独排序表现一致,分歧仅在共享索引下出现,正确答案被同语言或英文的无关文档挤到靠后位置。研究提出 disagreement-guided steering 方法:对比各语言一致文档与该语言特有检索文档的表示差异,得到语言专属方向并在推理时加到对应语言查询上,相比 language-mean removal、subspace removal 和 per-language rotation 等基线最能减少同语言挤占,同时在 recall 上保持竞争力。

  19. GitHub · 灵魂体仓库42

    MissionMind:面向航天事故报告的图谱增强证据检索研究原型

    GitHub 上的 MissionMind 是研究原型,在复现 Kim & Kim(IEEE CASE 2026)多字段混合检索基线 BM25 + bge-m3 + RRF 的基础上,增加因果因子图谱,每条边都绑定原文逐字核对且带页码定位的引用,语料覆盖 23 份航天事故报告、7,117 个段落。10 任务试点中 P2 加权图谱通道 nDCG@5 达 0.678,高于基线 B3 的 0.648 但不显著;文本基线有约 0.6 的长文偏好,图谱通道仅约 0.03。项目为开源研究原型,结论仅作先例类比假设,尚待人工标注评估。

  20. arXiv · cs.AI54

    GUIDE:面向可信临床实践指南更新的计算增强共识系统

    Yuanfan Lin 等人在 arXiv 发布 GUIDE,一个用于人类与 AI 协作生成和更新临床实践指南(CPG)的多智能体 copilot 系统,将劳动密集型任务交给专用智能体,专家保留判断与最终仲裁。在 12 个 NICE 眼科数据集上,GUIDE 实现文献召回率 88.85%、证据确定性评级一致率 86.06%、推荐一致率 91.67%,平均每个数据集耗时 162.17 分钟(人工干预 28.68%);在心血管、内分泌、消化和呼吸领域 20 个数据集上表现稳定。消融分析显示移除专家干预会降低偏倚风险评估等判断密集环节的表现。

    推荐理由:论文报告了在 NICE 眼科数据集上的文献召回率、推荐一致率与人工干预比例等数字,便于评估多智能体系统在指南更新中的实际表现。

  21. arXiv · cs.AI25

    SatPV-Field:构建区域光伏发电场改进分布式光伏超短期预测

    研究提出 SatPV-Field 框架,将分布式光伏测量数据转化为图像状区域发电场并建模其时空演化,结合卫星短波辐射与气象预报预测区域发电状态。在 496 个分布式光伏系统(446 个源站、50 个目标站)上的实验显示,该方法的站级 MAE 较最优单站时序基线降低约 10.0%,较基于图结构的区域预测方法降低 2.5%。

  22. arXiv · cs.AI47

    超越完美队友:面向不可靠同事的 LLM 多智能体协作研究

    该研究提出 Unreliable Colleagues Benchmark(UnCoBench),通过 Misaligned、Incomplete、Missed 三类故障设置,将 LLM 多智能体协作中的任务求解能力与从不可靠证据收集过程中恢复的能力区分开。配套的可验证自动生成管线结合 LLM 场景生成与答案唯一性、角色必要性的可执行检查。十个模型的测试显示,可靠设置下表现相近的模型对不可靠证据的鲁棒性差异明显,且常缺少纠正性追问。

  23. arXiv · cs.AI44

    arXiv 论文提出被动模仿(PI)机制:局部修复与验证式技能习得助力自适应智能体

    一篇 arXiv 论文将被动模仿(PI)形式化为定位违约、提取局部目标、提出匹配技能并小规模修补、全任务验证后保留证据的架构循环。在十个模拟工具世界中,PI 用 3 次小试验解决全部 600 个冷启动 held-out 组合任务,对照的整轨迹方法仅 6.17%;面对未见过的工具修订,成功率达 70.0%,自试验枚举下为 79.0%。实现仅用 CPU,代码已开源可复现。

  24. arXiv · cs.AI14

    面向香港 AEC 行业消防安全规范解读的 LLM 评测基准研究

    研究者与领域专家合作构建了一个针对香港消防安全规范的 LLM 评测数据集,含选择题(MCQ)与开放式题(OEQ),评估 12 个专有和开源模型。表现最好的专有模型在 MCQ 上准确率达 80-90%,开源模型普遍落后;而专家人工评估的开放式题准确率仅 50-70%,表明 LLM 在专业合规任务上仍有较大提升空间。

  25. arXiv · cs.AI40

    APB 基准:通过多轮主动探测评估 LLM 知识推理能力

    研究者推出 Active Probing Benchmark(APB),将概念识别转化为多轮交互式推理任务,覆盖八个学术领域的 960 个目标概念。评测发现一个反直觉现象:多数开源推理模型显著弱于其对应的 instruction 模型,表明它们在交互场景中难以运用过程性推理获取和应用专业知识。APB 还提供了可扩展的基准生成流水线。

  26. arXiv · cs.AI51

    Omni-Modal LLMs Know More Than They Say:全模态模型感知正确却难以表达非文本模态信息

    arXiv 论文 arXiv:2610.16135 提出全模态大语言模型(Omni-LLMs)存在 knows-but-cannot-say 现象,即模型能正确感知视觉、音频、IMU 等非文本模态信息,却无法在回复中表达出来。作者提出 token 级模态对齐指标 TMA,发现非文本表征与回复 token 的对齐度和获得的注意力都低于文本表征,并提出 perceive→infer 策略 OmniCatalyst,用模型自生成的文本补充原始模态输入;在七个 Omni-LLM 上平均提升 7.29%,使模态偏好更均衡,知识提取阶段会提高 TMA。论文共 36 页、25 图、14 表,代码已开源。

  27. arXiv · cs.AI31

    大语言模型通过可微分用户均衡层辅助交通规划研究

    该研究提出一个人机协作的交通规划框架,将大语言模型、MCP 接口、开源规划引擎 AequilibraE 和可微分用户均衡(UE)分配层结合,通过直接微分 Beckmann 交通分配问题的 KKT 条件实现可微分 UE 层,使非专家用户能执行网络分析并进行优化。框架在行程时间函数标定和预算约束下网络设计两项任务中得到验证。

  28. arXiv · cs.AI32

    Pollard:面向框架无关 AI 智能体控制的受治理语义执行树

    论文提出 Pollard,一种基于受治理语义执行树的框架无关运行时,用统一的步骤身份记录完成、拒绝、资源结算与分支历史,支持不调用底层操作的严格回放和跨并发 worker 的事务性存储。在签名确定性冻结下,双副本评估未出现不变性违反,严格回放避免了外部调用,语义变异全部被检出且对照组无误报,多框架矩阵验证了参考行为。论文已被 IEEE ICTAI 2026 接收(短文)。

  29. arXiv · cs.AI52

    Unravel:从单张图像恢复可交互 3D 场景的免训练框架

    论文提出 Unravel,一个免训练框架,可将单张图像转为每个物体都可独立移动的可交互 3D 场景。其方法由视觉语言模型规划可见物体、图像编辑器逐层移除并还原被遮挡区域,以点云为主要模态恢复空间关系,每次编辑先验证再纳入重建,并按反向移除顺序重建场景,将观测点作为物体尺寸下限,最后物理沉降与智能体审查修正漂浮和穿透问题。在多样室内场景实验中,Unravel 比现有方法恢复更多物体、摆放更忠实、物理合理性更高。

    推荐理由:这篇论文展示了用智能体逐层剥离图像来重建可交互 3D 场景的完整做法,各环节可验证可复现。

  30. arXiv · cs.AI28

    WildTrace:评估真实大规模 LLM 后训练场景下的训练数据检测

    arXiv 论文提出 WildTrace 基准,在覆盖 SFT、DPO 和 RL 的真实大规模后训练流程中评估训练数据检测方法,并构建四个任务上分布匹配、成员标签可验证的评测集。结果显示现有最佳方法的平均 AUC 仅 0.529,接近随机猜测水平(0.5),且评测协议会显著影响测得的检测性能。

  31. arXiv · cs.AI49

    TIPER:通过人格演化与任务完整性约束揭示 LLM 智能体的鲁棒性弱点

    研究者提出 TIPER,一种保持任务完整性的用户人格演化方法,可自动发现暴露交互式 LLM 智能体鲁棒性弱点的用户策略。在四个交互式智能体基准上,TIPER 使全部 12 个 GPT-5.4 设置及 7 个智能体共 28 个智能体-领域组合的 held-out avg@3 分数下降,降幅 5.8 至 33.7 个百分点,中位数 22.9 个百分点。该方法还构建了行为-失败分类法,为智能体鲁棒性改进提供失败分析依据。

  32. arXiv · cs.AI43

    Fisher information 与神经网络中记忆化的几何结构

    该研究将 Fisher information 作为区分泛化与记忆化的诊断工具,在 CIFAR-10 上训练视觉模型并加入只能通过记忆化学习的受控噪声,发现把模型权重投影到 top Fisher 特征向量上可解耦任务泛化与噪声样本记忆化,且该解耦在不同层表现不同。同类现象也出现在解决合成上下文学习任务的小型 transformer 中,并可在可解析求解的线性模型中闭式重现。论文共 20 页,已被 NeurIPS 2026 接收。

  33. arXiv · cs.AI24

    移动固体交互下的交互式 4D 体积液体预测:arXiv 提出 TIDE/TIDES 递归预测框架

    arXiv 论文提出“交互式 4D 体积液体预测”任务:根据固体在液体中的运动预测未来稠密 3D 液体速度场的时空演化,可服务于机器人液体操控、数字孪生与刚体-流体视频生成。作者提出两级递归框架 TIDE 与 TIDES,其中 TIDES 加入传输感知耦合与显式稳定机制以降低长时滚动误差,在迁移基线对比、组件消融及运动/尺寸 OOD 测试中取得最佳预测性能。代码已开源。

  34. arXiv · cs.AI43

    ProCARE:基于画像约束证据合同的真实世界研究自动化框架

    arXiv 论文 ProCARE 将真实世界研究(RWS)自动化重构为受限编译:把异构数据画像转换为 Evidence Contracts,并将研究目标编译为强类型中间表示 RWS-IR,再通过确定性校验与局部修复检查生成的工作流。在 36 项 EHR benchmark 任务上,ProCARE 在代码可执行性、语义一致性和结论可溯性上超越强 LLM-agent 基线,自动违规诊断与盲评专家审查达成中至高度一致,论文已被 NeurIPS'26 接收。

  35. arXiv · cs.AI34

    SLKR:面向零样本文本分类的以标签为中心的知识检索框架

    论文提出 SLKR(Semantic Label Knowledge Retrieval),一种以标签为中心的检索增强生成框架,将旗舰 LLM 离线构建的标签定义与边界规则复用于轻量模型的在线推理,完成零样本文本分类。在三个公开 benchmark 和一个多语言图书分类数据集上,SLKR 使用 Qwen3.5-4B 在全部四个数据集取得最佳结果,用 Ministral-3-3B 在其中三个取得最佳,且无需任务专属标注样本。

  36. arXiv · cs.AI45

    Choice2Seq 基准:衡量模型在完整答案选择与序列构造间的正确性保持

    arXiv 论文提出 Choice2Seq 诊断基准,用序列构造保持率(SCR)衡量模型选对答案后能否通过局部决策序列正确构造出该答案。Jev 在算术和词法检索上的选择准确率达 97.1% 和 99.5%,但串行构造下正确率仅保留 33.0% 和 2.1%;StartLux 与 Qwen 也存在明显差距。限制局部候选字符可改进构造,显式位置索引可提升复制保真度。

  37. arXiv · cs.AI22

    MP-MNCA:用于高效空间域识别的形态先验掩码邻居交叉注意力框架

    研究者提出 MP-MNCA,一种保留完整 3000 维高变基因表示、并将组织学相似度作为连续注意力先验的掩码邻居交叉注意力框架,用于空间转录组学的空间域识别。在 12 个人类背外侧前额叶皮层(DLPFC)切片上,MP-MNCA 以更少训练轮数达到连贯空间域结构,平均峰值 refined ARI 为 0.546(最强基线 STAIG 为 0.549),平均 refined NMI 达 0.657(STAIG 为 0.640),并在 12 切片中 7 个的 ARI、11 个的 NMI 上胜出。

  38. arXiv · cs.AI41

    GenRevisit:面向智能体组合图像生成的回访式框架

    研究者提出智能体图像生成框架 GenRevisit,将动作选择扩展为联合选择续接状态与编辑动作,使智能体可回访历史图像候选而非固定从最新图像继续优化。训练采用 SFT 加智能体强化学习,并提出 NACA 改进 GRPO 的粗粒度信用分配。在 GenEval2 上,GenRevisit 结合 Qwen-Image-2512 与 Z-Image-Turbo 分别取得 GM 分数 84.3 和 74.4,超过同生成器最强基线 12.7 和 10.9 分,并在 GenEval、GenEval++ 与 GenEval2 上达到 SOTA。

  39. arXiv · cs.AI43

    GUIDE 框架:让 LLM 自学习通用多方群聊主持策略

    GUIDE 框架(Generalized Unified Intervention for Dynamic Exchanges)让 LLM 从 432 段多方对话中离线自学习通用主持策略,并以与人类标注对齐的 LLM judge 迭代优化。自学习的通用主持者在留出对话上对三个任务专家主持者取得 61.4% 胜率;实时在线实验中,其保持团队生产力并改善发言舒适度、减少人际摩擦,turns 减少 24.7%、词数减少 29.0%。