跳到正文
10月8日周四
  1. arXiv · cs.CL54

    Igor Slinko 提出编码智能体基准应匹配用户真实任务流,并给出 SWE-TaskFlow 转换方法

    研究收集了 4782 个 JetBrains IDE 中真实软件工程师的智能体会话,其中 33% 有至少三条用户消息,发现这些长会话的任务类型与类型间切换分布和 issue 衍生基准任务差异显著。论文提出 SWE-TaskFlow 方法,在保留已验证任务与测试的同时,通过提示词拆分和可验证的仓库问答将交互导向目标 Task Flow,并用 TFAS 分数筛选生成的轨迹;在 700 个 SWE-Bench Pro 任务上的试点显示,将任务拆成多步顺序执行大约使智能体成本翻倍,而 resolve rate 无稳定变化。

    推荐理由:论文用 JetBrains IDE 中 4782 个真实工程会话测量任务流分布,指出基准交互协议本身影响评测结果,方法可迁移。

  2. arXiv · cs.CL60

    arXiv 论文:On-Policy Distillation 能教会新技能但教不会新知识

    arXiv 论文 2610.09639 通过受控合成框架测量发现,reverse-KL 在线蒸馏(OPD)能在三个模型家族的四个模型上稳定迁移跨未见推理结构的组合性技能,但几乎不迁移事实知识。消融显示换用 forward KL 可恢复事实迁移,学生 rollout 则专门提升多步推理执行;在事实问答与竞赛数学实验中呈现同样的不对称。结论是 OPD 不扩充模型参数化知识,而是教会模型组织与组合已有知识。

    推荐理由:论文用受控合成框架区分知识与技能两类能力,说明了 reverse-KL 在线蒸馏为何只迁移推理技能而不扩充事实记忆。

  3. arXiv · cs.CL36

    当秩随 LLM 退化而上升:RankMe 谱监测的失效边界

    一项基于 Qwen3-0.6B 的受控研究显示,数据重复使 held-out loss 相对恶化 75%,同时 centred RankMe 反而升高 13.5 个合并标准差,谱弥散导致单侧监测把最差 checkpoint 判为最健康。作者提出双侧多通道时序监测器,能在 fork 后 10 到 60 步内检出全部三种损伤并按触发方向区分损伤类型,但其预警从不早于 held-out probe loss,且双种子校准会对留出的健康种子产生误报。

  4. arXiv · cs.CL29

    RUSPAN:用 Rubric Span 作为标签表示、联合 LLM 编码的简答题自动评分框架

    研究者提出 rubric 条件化简答题评分框架 RUSPAN,将 rubric 描述视为语义标签表示,把题目、学生答案和候选评分等级序列化为单序列,在单次 LLM 编码中逐级打分。其改进版 RUSPAN-RIM 引入 Rubric-Independent Mask,阻止 rubric span 相互注意以促进零样本迁移。在覆盖英语、德语、葡萄牙语的六个 ASAS 基准上,RUSPAN 优于判别式与生成式基线,RIM 配合位置重排在跨语言与 rubric 结构偏移最大的 PT-ASAG 留出基准上带来持续显著提升。

  5. arXiv · cs.CL22

    Alice:面向基于量规的多维德语自动简答题评分的大规模基准

    研究者发布 Alice,一个大规模、基于量规的德语自动简答题评分(ASAS)数据集,包含 Alice-LP(学习表现)、Alice-KE(知识要素)和 Alice-SK(技能)三个子任务。团队将其建模为量规检索任务,测试了从 encoder-only 模型到轻量 LLM 的多种语言模型及零样本提示。结果显示 LLM 在零样本下难以评分知识要素和技能;量规文本对 Alice-KE 与 Alice-SK 尤为有用。

  6. arXiv · cs.CL51

    SAPD:步对齐特权蒸馏让固定示范支撑高效的 off-policy 后训练

    Tianle Wang 等在 arXiv 发布论文,提出 Step-Aligned Privileged Distillation(SAPD),一种免 rollout 的自蒸馏方法,将示范解法转化为步对齐的分布性监督。在数学推理基准上平均优于 SFT 和标签平滑,与 on-policy 强化学习和自蒸馏相当,同时大体保持域外编码性能,训练循环较 on-policy 基线提速约 2x。代码已开源。

  7. arXiv · cs.CL28

    InsClaimBench:跨决策链评测保险理赔裁定的基准

    研究者推出 InsClaimBench,一个端到端评测 LLM 保险理赔裁定的基准,涵盖车险、财产险和健康险共 3,780 个案例、375 个案例族、86,656 条原子规则判断。对六个 LLM 的评测显示,赔付决策准确率为 74.23%–80.19%,决策与金额联合准确率降至 47.54%–73.15%;原子规则准确率达 95.48%,但规则向量完全匹配最高仅 36.90%,表明沿决策链的可靠组合与传播仍是关键挑战。

  8. arXiv · cs.CL34

    PersonTTS:从 Pareto 前沿到用户偏好,通过摊销式智能体策略发现实现个性化测试时扩展

    研究者提出 PersonTTS,一个摊销式智能体策略发现框架,将个性化测试时扩展(TTS)建模为发现可最大化用户在准确率、延迟和推理成本多维需求联合满足率的可执行控制器。该框架通过需求匹配的控制器初始化和源蒸馏的程序化引导复用先前搜索经验,同时对每个候选保留目标画像评估。在 AIME 和 HMMT 上的实验显示,PersonTTS 在未见用户画像和留出题目上大幅超越强 TTS 基线,跨用户体验复用还能在相同候选评估预算下显著降低发现智能体的时间与成本。

  9. arXiv · cs.CL34

    SpikingVLA:异步脉冲视觉-语言-动作模型

    研究者提出 SpikingVLA,一种 ANN-to-SNN 转换框架,实现高精度、低延迟的脉冲 VLA 推理。其核心是 Dendritic Integrate-and-Fire(DIF)神经元与跨 VLA 组件的异步执行机制,以减少同步开销和延迟。相比现有脉冲 VLA 方法,SR 和 SPL 分别提升 11.9% 和 12.6%,首动作延迟降低 11.2×。

  10. arXiv · cs.CL18

    解析信息检索中查询扩展性能差异的研究

    一项研究提出两种视角解释查询扩展(QE)在信息检索中性能不一的原因。其一是理想扩展查询(IEQ)概念,其二是用 Cohen's (d) 量化相关与不相关文档的可分性。在 TREC Robust、TREC DL 2019-2022 段落及 2019-2020 文档集合上的实验显示,越接近 IEQ 的扩展查询检索效果越高,可分性则提供互补解释。

  11. arXiv · cs.CL49

    LLM 中的多语言多跳推理藏在哪?arXiv 研究定位 Bridge Routing Heads

    一项被 EMNLP 2026 录用的研究在 Llama 3.1 70B 和 Qwen 2.5 72B 中定位出 Bridge Routing Heads(BRH),发现其跨五种语言几乎互斥,Jaccard 相似度仅 0.017 与 0.057。消融实验显示,移除通用 BRH 会使两跳推理的 NLL 升至随机基线的 39-89 倍;在推理失败时放大这些头可无需训练地挽回最高 51.7% 的跨语言失败案例。

  12. arXiv · cs.CL39

    Shaer:基于格律子形式与语义约束的受控古典阿拉伯诗歌生成

    Shaer 是一个受控古典阿拉伯诗歌生成框架,联合自然语言描述、格律子形式和目标半句数量进行条件控制,并基于 Ashaar 构建 116,032 首诗的富化语料库。其通过 QLoRA 微调 Yehia-7B,实现 95.17% 基础格律准确率、91.75% 格律子形式准确率和 83.40% 精确句数准确率,较未调优基座模型分别提升 68.68、57.77 和 38.93 个百分点。对 3,481 条测试生成的分析未发现训练语料的精确复制,代码、模型和数据集已公开。

  13. arXiv · cs.CL33

    PARC-Loc:基于部分分配与关系一致性的文本到点云定位方法

    研究者提出 PARC-Loc,一种基于部分分配与关系一致性(PARC)的粗到细文本到点云定位框架,用于解决城市重复物体导致的布局不一致混叠和跨子图证据不完整问题。该方法联合建模提示-物体兼容性与成对空间关系,并在细定位阶段扩展相邻子图的查询相关实例上下文。在 KITTI360Pose 上,其 5 米 Top-1 定位召回率从 0.50 提升至 0.67,较最强基线相对提升 34%,并在 CityLoc 上优于常规粗到细基线。

  14. arXiv · cs.CL66

    Bolzano 多智能体系统自动求解约200个开放数学问题

    论文提出 Bolzano,一个使用并行 prover 智能体加 verifier 智能体并维护人类可读研究状态的开源多智能体系统。专家选定问题的早期人工使用产出8个经领域专家核验证明的结果;随后在从四组论文提取的约3800个开放问题上无问题特定人工引导运行,解出约200个。在 STOC 2026 论文的实验中,系统回答了论文中提出的四个问题,经论文作者确认。论文被 NeurIPS 2026 第六届 MATH-AI workshop 接收。

    推荐理由:论文给出了多智能体证明搜索系统在约3800个开放问题上的无人工引导实测结果,可了解其解题规模和验证方式。

  15. arXiv · cs.CL67

    arXiv 论文提出 AO-DA 解耦架构,将边缘 LLM Agent 的逻辑推理与人设表达分离以抵御上下文污染

    Masaaki Nakatsu 在 arXiv:2610.09772 提出 Decoupling Architecture(AO-DA),在单个 INT4 基座模型上用热插拔 LoRA 将逻辑推理(What)与人设表达(How)分成两条推理路径,逻辑路径只接收核心回合并输出可验证的 Micro-State。

    推荐理由:论文用 480 次同模型消融给出分离架构抗上下文污染的量化证据,并诚实地指出 4B 模型上分离同样失效。

  16. arXiv · cs.CL45

    LatentGRM:通过语义保持压缩实现高效的潜空间生成式奖励建模

    研究者提出 LatentGRM,一种基于语义分块、压缩与重建的潜空间评估框架,通过 rubric 引导压缩学习连续轨迹,无需生成文本评估即可完成自主成对判断。在相同训练数据与骨干模型下,LatentGRM 在 4B 与 8B 规模上取得与显式 SFT judge 相当的偏好准确率。LatentGRM-8B 在四个 benchmark 域上将评估轨迹压缩 8.9--9.2x,在 vote@5 下将 judge 总推理时间降低 6.1--7.0x。

  17. arXiv · cs.CL44

    MIRROR:让 LLM 个性化从模仿走向内化

    MIRROR 是一个自蒸馏框架,通过 reference-revealed on-policy self-distillation 将 LLM 个性化从模仿参考文本转向内化用户偏好,并配套 MIRROR-F 插件对信息量高的 reference token 做选择性监督。在三个个性化生成基准、两种模型规模及基于参考和 LLM 的评测中,MIRROR 与 MIRROR-F 取得领先的个性化表现与文本质量,且在三个未见任务上的灾难性遗忘少于 SFT 基线。

  18. arXiv · cs.CL61

    arXiv 论文提出仅调 Adam epsilon 即可大幅缓解 LLM 灾难性遗忘

    Jonghyun Han 在 arXiv 发布论文,发现持续预训练和微调中的灾难性遗忘集中在语料中罕见出现的 token 的输出嵌入,由 Adam 二阶矩归一化放大单侧 softmax 梯度所致。提出仅对输出投影提高 Adam epsilon 的干预,在 160M 到 12B 参数、四个模型族的八个设置中消除 39.4% 到 67.9% 的遗忘且不损害目标学习,与 replay 叠加后在 Qwen/Korean 上达到 79.8%,但事后编辑漂移行只能恢复不到 5%,因此必须在训练期间施加干预。

    推荐理由:论文把灾难性遗忘定位于低频词的输出嵌入,并给出仅调 Adam epsilon 的单行干预及其跨 8 个设置的验证数据。

  19. arXiv · cs.CL54

    Caddie 方法通过任务结果强化学习训练 LLM Agent 的自然语言批评模型

    Sergei Polezhaev 在 arXiv 论文 arXiv:2610.09858 中提出 Caddie,通过强化学习训练批评模型,依据 Agent 接收反馈后最终是否成功来优化,不依赖步骤级标注,且基础模型保持冻结。基于 Qwen3-4B 训练的批评模型提升了四个不同规模与架构基础模型的成功率;在 MuSiQue 上使 Qwen3-4B 成功率提高超过 25 个百分点,超过无批评模型的 Kimi K3,并在 τ³、DeepDive 等域外交互基准上无需额外训练即有增益。

    推荐理由:论文用任务最终成败而非步骤标注训练批评模型,读者可以了解一种可跨模型迁移的 Agent 反馈训练方法。

  20. arXiv · cs.CL47

    LiveMACE:在演化市场中过程感知地评估 LLM 智能体能力

    研究者推出 LiveMACEBench,以真实金融市场为持续演化测试床,过程感知地评估 LLM 智能体能力。五个前沿 LLM 在 Tool Use、Persistent Memory、Rule Following 和 Multi-Agent Collaboration 匹配配置下运行,经 30 天实时评测发现明显的"结果-能力差距":实际收益常与能力特定指标背离。Trace 级诊断揭示了各能力的不同瓶颈,说明机制访问、有效使用与最终表现并非可互换的能力度量。

  21. arXiv · cs.CL34

    基于 NeMo-Guardrails 代理的 SIEM/XDR 受限动作 AI 修复方案

    一篇 arXiv 论文提出面向 SIEM/XDR 事件响应的受限动作架构:SIEM/XDR 控制平面将 LLM 输出限定在封闭意图词汇表中,由端点代理执行,并配参数校验器兜底;外层用 NeMo-Guardrails 代理包裹 SOC 分析师 LLM。开箱即用的护栏将注入攻击召回率从 25.0% 提升至 94.5%,误报率 0.1%;红队演练证实该设计可在命令跨越信任边界前遏制 LLM 失效模式。受限于护栏延迟,方案建议采用人机协同或延迟执行模式。

  22. arXiv · cs.CL50

    多向量视觉文档索引可被逆向还原:arXiv 论文揭示检索索引泄露页面内容风险

    arXiv 论文提出针对多向量视觉文档检索器索引的逆向攻击,将索引还原视为条件文档图像生成。在 ViDoRe v3 基准上,从原始索引还原的页面可恢复 47% 的词和 45% 的敏感 token,作为查询时有 98.4% 的概率将源页面排第一;token pooling 和乱序两种防护都能把词召回降到约 8%,但有模型可将乱序索引的源页面首位命中率从 3.8% 提回 93.5%。同一攻击作用于另一多向量检索器仍有 70.2% 的首位命中率,索引应像原文档一样被保护。

  23. arXiv · cs.CL20

    Itgan 参加 NADI 2026 共享任务:基于 LoRA 参数高效微调 Whisper 的鲁棒、混合方言与码切换阿拉伯语 ASR

    Itgan 团队参加 NADI 2026 三个阿拉伯语 ASR 子任务,统一采用 LoRA 在消费级 GPU 上微调 Whisper。子任务 1.1 提交系统达到 57.1% 国家平均 WER;子任务 1.2 达到 46.7% WER;子任务 1.3 以 14.49% WER 获得第二名,并在领先系统中取得最低 CER 5.38%,最后 0.60 个 WER 点来自多个独立训练运行的精确权重空间平均与 ROVER 投票。

10月7日周三
  1. arXiv · cs.CL28

    惩罚框架下的无效选项 MCQA:分析 LLM 在无正确选项时的弃权行为

    一项 arXiv 研究(AACL-IJCNLP 2026 短文)提出惩罚框架下的无有效选项 MCQA 设定,在 MMLU-Pro 数学子集上移除标注正确选项,允许模型选择剩余选项或输出 ABSTAIN 并对无效强制作答施加惩罚。实验表明,高 MCQA 准确率并不能完全保证弃权可靠性:即使在明确的无有效选项指令和惩罚计分下,模型仍会对部分原本答对的题目给出无效强制作答,揭示了标准选择题准确率无法反映的可靠性维度。

  2. arXiv · cs.CL40

    让 COMET 跨文字系统可比:诊断并修正分词器导致的印度语系 MT 评测文字偏差

    研究发现 COMET 翻译评测分数受目标语言书写系统影响:在 IndicMT Eval 上,文字身份解释了母语文字分数方差的 22.9%,与标注者的一致性在全部五种语言中均下降。COMET-QN 可将各 (language, script) 组合映射到统一参考分布,使混合一致率从 0.300 升至 0.399,且保证语言内排序不变;基于 parity 特征的回归器再恢复 17.1% 的灵敏度,剩余偏差属编码器,无法通过后处理修复。论文被 WMT 2026 接收。

  3. arXiv · cs.CL34

    Symphony for Text Generation:临床笔记生成的基准评测(MedConv 数据集 + ACI-BENCH 对比 Corti 与通用 AI 语音记录工具)

    研究者发布 MedConv 多语言数据集(含英、丹、德三语共 300 例临床就诊记录),并结合 ACI-BENCH 基准,将临床 AI 平台 Corti 与两款基于通用 AI 的主流环境式语音记录软件进行对比。评测框架结合蕴含指标与 LLM 判 pairwise 比较,覆盖 PDSQI-9 的八个维度。结果显示 Corti 的 API 文本生成能力与商业语音记录工具相当或更优,且其可配置 API 可针对具体文档场景微调质量维度,数据集已开源以支持可复现比较。

  4. arXiv · cs.CL36

    问题出在读出方式:细粒度情绪识别基准测的是引出方式而非感知能力

    一项新研究显示,现成的视觉语言模型(VLM)从 logits 中按类别逐一读取答案时,其表现可匹敌甚至超过细粒度情绪识别基准 EmoNet-Face-HQ 的微调模型 Empathic-Insight-Face(EIF Small/Large)。在验证设置下,十一个开源权重 VLM 全部超过专家一致性锚点(κ_w=0.468),达到 κ_w=0.507-0.586,其中三个显著优于 EIF Small 的 κ_w=0.551。收益来自分级概率而非是非问答:将同一概率二值化会损失 142% 的平均收益。

  5. arXiv · cs.CL53

    arXiv 论文提出免训练两阶段低秩补偿方法,改进大语言模型极端量化精度

    arXiv 论文(https://arxiv.org/abs/2610.08164)提出免训练的两阶段闭式低秩量化误差补偿框架:Stage 1 以 Fisher 加权非对称目标将各层输出对齐全精度模型,Stage 2 在补偿后模型上做秩约束自然梯度步吸收剩余一阶信号,每个 adapter 只需一次截断 SVD。在 2 bit QuIP# 下,Qwen3-8B 的 WikiText-2 困惑度从 12.43 降至 10.26,Qwen3-4B 从 21.11 降至 13.22;在 C4 上相对最强基线(31%/63%)分别恢复 51% 和 84% 的到 FP16 的差距,并在更高位宽和另一量化器下保持增益。

    推荐理由:论文指出既有低秩量化误差补偿的两个共同简化,并用两阶段闭式框架在 2 bit 极端量化下给出可复现的困惑度改进。

  6. arXiv · cs.CL30

    STRUCTURALCOST:用于建模人类句子加工难度的自定步速阅读数据集

    STRUCTURALCOST 是一个包含 475 名参与者、40,800 条观测的自定步速阅读数据集,用于分离长距离主谓依存解析的加工成本。研究在 NLP 规模上复现了心理语言学发现:主句动词处的阅读时间随依存长度增加,且受句法嵌入而非仅线性距离驱动。n-gram、SSM 和 Transformer 等模型只能部分反映这一难度曲线,并低估人类的整合成本,说明它们捕捉了预测成分但未捕捉工作记忆带来的整合成本。

  7. arXiv · cs.CL55

    arXiv 论文受控评估分层检索的记忆深度与重建上下文宽度

    Michael Andreev 在 arXiv 发布论文(arXiv:2610.08300,已被 NeurIPS 2026 PALM Workshop 接收),用 EverMemBench 受控评估对话长期记忆中结构深度与上下文宽度两个参数的作用。结果显示上下文从 1K 扩到 4K 可让 Accuracy 提升 10.11-17.98 个百分点,而加深记忆层次无单调收益;超过 8-16K 后 Production 条件性能进入平台期但每个正确答案的 token 开销持续上升,Oracle 条件在 68-71K token 完整档案上保持质量。

    推荐理由:论文用受控实验比较记忆结构的深度与上下文宽度,给出了随宽度变化的量化收益和平台期数据,方法可复用于长期记忆系统评估。

  8. arXiv · cs.CL27

    语言不可对齐性:为什么某些概念无法进行跨文化 benchmark 评测

    一篇 arXiv 立场论文指出,多语言 LLM 评测依赖的“翻译同构假设”对语用标记、敬语、历时分层词汇等概念在原理上不成立,并定义了 α-unalignability 形式化刻画。论文用 usage-cloud 框架给出三层证据:FLORES-200 翻译失败与语系和资源等级相关而与文字无关,以及九模型 Yami 案例中的 Representation-Intervention Gap。作者提出 Cycle-Consistency、Pragmatic-Load Disagreement、Manifold-Curvature Mismatch 与 RIG 构成的多维诊断框架。

  9. arXiv · cs.CL47

    CoDe-LoRA:通过知识巩固与解耦缓解 LLM 持续学习中的正交困境

    CoDe-LoRA 是一种免回放的大语言模型持续学习方法,用于解决 O-LoRA 等正交投影方法因严格参数隔离导致跨任务知识难以迁移积累的“正交困境”。该方法将学习拆解为巩固通用知识与解耦任务特定知识,借助自适应零空间投影和语义路由实现平衡。在 4 个骨干模型和 3 个持续学习基准上取得最佳平均准确率,代码已开源。

  10. arXiv · cs.CL48

    Foresight-over-Graph:超越局部视野的知识库问答推理框架

    研究者提出 Foresight-over-Graph(FoG),一种面向知识库问答(KBQA)的前瞻式证据检索框架,通过迭代构建问题相关证据子图、远到近反馈引导路径探索,并以紧凑记忆子图支持持续探索,克服现有逐跳贪婪剪枝的短视问题。FoG 在常用 KBQA 基准上达到 SOTA,其中 CWQ 的 Hit 提升 16.58%,同时减少 LLM 调用和 token 用量。代码已开源,论文被 NeurIPS 2026 接收。

  11. arXiv · cs.CL49

    研究揭示 LLM 何时该拒答:潜在欠规范信号的跨域与多轮泛化

    一项 arXiv 研究构建了含 423 段对话、1,661 个标注 turn-states 的多轮基准,用六个数据集和六个开源权重 LLM 检验「不可回答性」探测信号。数学与阅读理解(SQuAD 2.0、MuSiQue)间探测迁移稳健(AUROC 0.77-0.97 与 0.77-0.90),但单轮探测零样本无法识别对话何时变得可回答。基于校准探测的门控无需微调即可远超随机水平地识别欠规范回合,端到端成功率距真实标签门控仅差 0.08,但并未稳定优于普通生成,主要差距在模型如何利用澄清而非检测本身。

  12. arXiv · cs.CL44

    重新思考跨 tokenizer 在线蒸馏:从对齐覆盖到监督可靠性

    一项 arXiv 研究检验跨 tokenizer 在线蒸馏(OPD)中的序列与词表对齐问题。在三个异构师生模型对的数学推理与代码生成任务上,严格 1:1 对齐位置已覆盖绝大部分学生生成 token;将 reverse KL 限制在共享词表中学生选择的 top-16 子集,准确率与全共享词表 OPD 相当,优于所评测的跨 tokenizer 基线。对不匹配组补充 span log-probability 的 MSE 监督反而降低准确率,研究表明应从扩大对齐覆盖转向优先保障监督可靠性。

  13. arXiv · cs.CL51

    Agentic AutoRAG:用推理驱动的智能体优化 RAG 管线超参数

    作者提出 Agentic AutoRAG,一种用于多目标 RAG 超参数优化的 LLM 智能体优化器,能在每次试验后用 Diagnoser 将失败问题归因到检索或生成阶段,并由 Proposer 结合模型排名与定价知识库选出下一组配置,在精度与成本间逼近 Pareto 前沿。在三个多跳 QA 基准上,其 LLM 评审准确率高于所有对比基线,且前 10 次试验即达到统计基线 30 次试验的水平;在真实医疗语料的成本感知模式下,中位测试准确率 77% 高于最强基线的 71.5%,查询成本约为其 58%,匹配 71.5% 时成本仅约 22%。论文已被 EMNLP 2026 REALM Workshop 与 NeurIPS 2026 ML for Systems Workshop 接收,代码已开源。

  14. arXiv · cs.CL56

    UNREAL 论文提出单一模型统一检索与长上下文证据选择

    arXiv 论文(2610.08463)提出 UNREAL 框架,直接从冻结 LLM 的内部表示生成检索查询和编码文本块,仅新增不到 500K 可训练参数且不改动主干。在 3B token、21M chunk 的 Wikipedia 索引上,四种 dense 和 hybrid 主干均超越现有 retriever-reranker 系统,HotpotQA 召回率从 49.1% 提到 73.2%,2WikiMultiHopQA 从 31.7% 到 60.1%,MuSiQue 从 8.8% 到 14.4%。

    推荐理由:论文用不到500K可训练参数统一语料检索与长上下文证据选择,并给出多基准召回率对比数据,方法与结果都可复用参考。

  15. arXiv · cs.CL49

    大语言模型评估抑郁更多反映评分者而非患者:arXiv 新研究

    一项预注册研究将 11 个开源模型与提示词及评分方式交叉组合成 880 个大语言模型评分者,对 189 段访谈按 PHQ-8 量表评估抑郁。模型选择解释了症状总分方差的 30.0%,两名 AUC ≥ 0.70 的评分者平均对 40% 参与者的筛查结论不一致。用 40 名标注参与者重校准后准确率从约 60% 升至 75%、分歧减半,但仍有五分之一的参与者结论不同。

  16. arXiv · cs.CL45

    Wiki-Talkie:基于真实讨论的跨语言人格化 Agent 基准测试

    Wiki-Talkie 是一个源自五种语言 Wikipedia Talk 页面真实对话的多语言数据集,涵盖德语、英语、西班牙语、法语、意大利语,并配有来自真实用户社群、含社会人口属性与行为特征的 persona。基于下一轮生成任务评估显示,以用户评论历史示例行为的效果持续优于显式 persona 信息,且各模型系统性少生成负面或极端情绪、过多生成引用与建议,呈现讨好与正向偏差。这些模式跨语言稳健成立,跨语言差异很小。

  17. arXiv · cs.CL50

    arXiv 论文提出对齐缩放定律框架并给出首批预注册实测结果

    Jeremy Canale 在 arXiv 发布论文,将对齐负担建模为 B_r(N)=a_rN^alpha_r 的幂律框架,指数小于 1 表示规模有助于对齐、大于 1 则积累对齐债务。预注册实测包括:Pythia 分类器的对抗训练数据显示将攻击成功率压到 10% 以下的算力随 N^0.60 增长;Qwen2.5 0.5B-72B 上真实性与 stated dispositions 的指数为 -0.05 和 0.48,sycophancy 和预置后门未能判定,其中后门在触发器已知时可快速移除,但在五个规模中的四个上能在盲安全训练后存活。论文未对当前前沿模型属于哪种区间下结论。