跳到正文
10月24日周六
  1. Reddit · r/LocalLLaMA59

    论文提出 Virtual Head Attention:同时压缩 KV cache 并降低训练与 prefill FLOPs

    PaddlePaddle 团队在 arXiv 发布 Virtual Head Attention(VHA)论文,通过 Q Premix 和 Linear Postmix 两个线性操作同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量,推理时可折叠进投影层化为标准 GQA-2 架构。在 4K 上下文 50B token 预训练的四个规模上均超过 GQA 基线(+0.05% 至 +0.81%),KV cache 相比 GQA-8 减少 4 倍;在 30B-A3B MoE 模型上比 MLA 和 GQA-4 分别高 +0.70% 和 +2.60%,长上下文 RULER 平均分 84.4 对 GQA 的 73.0。

    推荐理由:论文给出 VHA 在多个规模和 MoE 模型上对 GQA、MLA 的对比数据,KV cache 压缩和 FLOPs 降幅都有具体数字可查。

10月23日周五
  1. arXiv · cs.CL31

    KrishokTech:带显式授权控制的孟加拉语农业咨询系统

    KrishokTech 是一个围绕显式授权边界构建的孟加拉语农业咨询系统。在 200 条农户问题和 400 条压力问题上,该系统将跨作物检索违规率从 36.5% 降至 0%,文本-图像作物不匹配检测捕获 453/454 个冲突,验证器捕获 118 个插入剂量错误中的 114 个。农业知识存于可独立更新的外部证据索引,浏览器端视觉与本地检索降低了对网络的依赖。

  2. arXiv · cs.AI44

    HarnessMM:通过递归自我改进提升 Harness token 效率

    论文提出 HarnessMM,通过受保护的决策复用与递归自我改进(RSI)降低 Agent harness 的 token 消耗,actor 权重保持不变。在 HumanEval 上,Codex 成功率保持 90.82%,Tokens/task(k)从 66.72 降至 47.02(节省 29.54%);DeepSeek Harness 成功率从 71.43% 升至 85.71%,Tokens/task(k)从 96.28 降至 11.62(节省 87.93%)。MBPP 消融显示成本比单次使用图低 26.91%,比保留回调低 19.52%。

  3. arXiv · cs.CL49

    Frontier-OPD:发现智能体能力边界并引导其突破

    论文提出 Frontier-OPD,一种面向多轮智能体的在线策略蒸馏方法,通过学生学习前沿定位既有挑战性又可在短暂教师引导后自主延续的决策情境。方法将经验组织为共享状态轨迹图,用轨迹平衡聚合识别干预候选并过滤教师引导。在 ALFWorld、WebShop 和 ScienceWorld 上的实验显示,其平均自主性能高于所对比的蒸馏基线;在某个 ALFWorld 计时设置下,额外采集成本被更快达到目标成功率所抵消。

  4. arXiv · cs.AI26

    学习优化器调度中的乘法与加法状态耦合研究

    研究通过反向传播展开的经典求解器,学习 MAX-CUT 连续罚松弛的调度。状态自适应的双线性(乘法)调度可分布外泛化,在 15 个种子上优于未训练基线(t=4.1);相同输入输出头的加法消融在分布内与双线性无统计差异,但分布外表现差于自身基线(t=-11.7)。该差异在 30 轮 weight-decay 扫描中持续存在,表明求解器状态进入调度的方式(而非状态自适应性本身)是与分布外迁移相关的架构区别。

  5. arXiv · cs.CL15

    ParaTaxe:一套用于处理和发布多平行语料库的开源工具

    研究者推出开源工具套件 ParaTaxe,用于处理和发布多平行语料库,解决学术语料因维护或经费不足而失于线的难题。该套件包括基于多语言嵌入向量的 AIlign 对齐器、用于转换与对齐语料的 Python 处理流水线、管理平行语料集合的 ParaTaxe 网页界面,以及基于 TEI-Publisher 构建的语料浏览界面。工具由 ACR Grimm Tradalign 与 ParaTaxe 项目开发,成果将发表于 JADT 2026 会议。

  6. arXiv · cs.AI36

    语言模型智能体构建医疗软件采用知识的引用锚定图谱

    研究者提出一条从公开网页构建医院软件客户与集成关系知识图谱的流水线,要求每条边都必须有源页面的逐字引用支持。流水线对 61 个供应商达到 0.94 precision 和 0.71 recall;基于五个模型调用对九项标准投票构建的置信度分数在同等 recall 下达到 0.90 precision。该方法用有界的模型调用、字符串匹配证据和投票机制应对长上下文退化与运行间方差。

  7. arXiv · cs.AI38

    AI 对齐助力数字民主:如何抵御 LLM 偏见以实现更公平的选民代表

    一项 arXiv 研究考察 LLM 模拟选民的群体偏差:基于三届美国总统选举数据,对比一个闭源与一个开源模型在不同人口统计特征上的投票还原准确度。移除选民画像中的性别可将模型最大群体误差降低 22-42%,移除教育降低 64%,而移除自我报告的种族反而使平均群体误差增加逾 40%,且均不损失整体准确度;重复查询、公平性指令等常见对齐策略无法缩小这些误差,甚至可能使其翻倍。

  8. arXiv · cs.AI51

    arXiv 论文提出 On-Policy Self-Training:无需数据的大语言模型自我改进方法

    arXiv 论文 2610.32770 将 on-policy 自蒸馏重构为自训练框架,仅凭粗粒度高层主题描述,由模型自行合成问题与特权推理轨迹,不依赖任何人工提示或答案。实验覆盖文本与多模态领域,模型在标准语言基准和视觉问答上取得一致的自我提升,且未自训练领域能力得以保留。

  9. arXiv · cs.AI15

    车联网联邦学习中的干净标签投毒攻防博弈研究

    该 arXiv 论文研究车联网联邦学习中干净标签投毒攻击与防御的交互。攻击方在特征空间将良性样本扰动至恶意特征极端,在不改变标签的情况下降低类别可分性;防御方提出特征一致性重标注方法检测并重标可疑样本。博弈论框架分析表明,攻击随被控节点数有效扩展,而该防御能在不损害干净准确率的情况下保持低攻击成功率。

  10. arXiv · cs.AI45

    ActionRAG:面向 LLM 智能体长期记忆的证据细化图扩散方法

    论文提出 ActionRAG,一种结合谨慎索引与查询时图回评的图记忆架构,通过双通道实体与三元组检索及查询条件扩散细化评分,为 LLM 智能体长期记忆恢复精确且一致的证据。在 MemoryAgentBench 上,ActionRAG 平均准确率达 55.1,比最强检索式记忆基线高 5.4 分;平均合成成本低于 $0.001 每次查询,检索侧 p99 分项之和为 440.7 ms。

  11. arXiv · cs.AI27

    AWARE:面向机器人动力学预测与内省的自适应世界模型异常识别框架

    AWARE 是一个仅需外部摄像头监控即可进行异常检测的世界模型框架,通过系统动力学估计与状态预测识别异常,适用于缺乏车载传感器或禁止接入的旧有硬件。在 240 条真实机器人吊车轨迹(含载荷碰撞与电机退化)上评测,其异常分类效果比较强基线提升 26%,且动力学参数可解码定位故障源,电机退化定位准确率达 88%。

  12. arXiv · cs.AI22

    Agentic Hazard Mapper:用 AI 智能体模拟专家制图流程生成灾害风险地图

    研究者提出 Agentic Hazard Mapper,一个多智能体系统,通过模拟专业制图工作流程与迭代设计权衡,自动化生成适配不同数据、地点和灾害情境的灾害风险地图。用户研究与专家访谈显示,系统生成的地图提升了参与者的空间理解与疏散规划表现,降低了工作量感知和任务完成时间,且总体上比市政地图更受青睐。

  13. arXiv · cs.AI20

    对比学习的内部差异:泛化界与下游行为研究

    一项 arXiv 研究提出“内部差异”度量,量化正样本均值表示与潜在簇中心的差异,并证明了无需额外假设的内部差异感知泛化界,统一连接了对比学习的多种理论假设。作者据此引入 relaxed k-means 损失作为近似以降低内部差异,并从对比学习引致的监督损失视角解释其在类别不平衡学习中的促进作用,还证明了这些损失的最优性。

  14. arXiv · cs.AI18

    PlayerEmbed:从原始输入序列学习玩家行为指纹表示

    研究者提出 PlayerEmbed 框架,用混合 CNN-LSTM 编码器对 1,000 名玩家的原始输入序列进行深度度量学习,得到紧凑的玩家行为嵌入。在最近质心分类器上,训练见过的玩家平衡准确率达 0.950,训练未见玩家达 0.879。增加训练玩家数可显著提升对未见玩家的泛化,表明模型从简单指纹识别过渡到学习可迁移的行为模式。该工作已被 IEEE DSAA 2026 接收。

  15. arXiv · cs.CL38

    The Butterfly Defects:追踪 LLM Agent 网络中的合作行为

    一项 arXiv 研究以迭代囚徒困境(IPD)为框架,考察开源权重 LLM 在双体交互及同质、异质网络中的合作行为。结果显示,合作高度依赖模型组合与细微语言变化:与同款模型合作的模型在混合群体中可能转向背叛,一个简单的不确定性提示即可改变合作率并影响数跳之外的未暴露 Agent,甚至颠倒动作标签顺序也会显著改变行为。这表明合作并非稳定的模型级属性,而取决于交互对象、网络位置与决策措辞。

  16. arXiv · cs.AI33

    本体引导的智能体框架:从结构化元数据与气候科学论文构建知识图谱

    研究者提出一种智能体的本体引导知识图谱构建框架,由 LLM 从论文中抽取带文本证据的三元组并经多阶段校验对齐本体。在 1,000 条三元组的一致性研究中,Gemini-2.5-flash 与三位人类标注者的 Cohen's κ 为 0.640–0.700,达到人与人 0.616–0.689 的水平。框架应用于 2,000 篇论文,构建了含 133,990 节点、755,308 关系的气候科学 KG,验证后三元组 98.96% 被判定正确,代码与图谱已公开。

  17. arXiv · cs.CL26

    CounselPlex:一种压力源感知的全双工心理咨询模型

    CounselPlex 是一个压力源感知的全双工语音心理咨询框架,针对现有模型只关注最新话语、丢失求助者核心问题(Stressor Blindness)的缺陷,在求助者沉默时更新短期压力源状态,并在倾听过程中将状态注入相应位置。论文还提出 RoPE Position Shift Augmentation(RPSA)扩展训练时的位置覆盖,LLM-judge 评测显示其咨询质量与压力源关联性优于强基线。

  18. arXiv · cs.CL33

    自然语言自编码器(NLA)能识别激活却未必如实解释

    一篇 arXiv cs.CL 论文指出,自然语言自编码器(NLA)以“解释能否重构回原始激活”作为成功标准,这只验证信息充分性,而非描述的忠实性——错误的解释也可能足以识别激活。作者认为该问题与链式推理忠实性问题同构,也类似人类心理学中内省报告与实际控制过程的分离。NLA 虽为对齐而提出的可解释性工具,却经未经验证的解释重新引入了它本要解决的认识论问题。

  19. arXiv · cs.AI23

    Conditional Neural Processes 用于动作模仿中的自监督目标发现

    受婴儿通过模仿学习新任务的能力启发,该研究评估了 Conditional Neural Processes 能在多大程度上自主学到蕴含潜在目标的动作表征。结果表明,在隐空间引入 attention 机制可促使鲁棒的目标表征在动作序列观察早期即涌现。该工作在 IROS2023 认知机器人世界模型与预测编码研讨会以海报形式发表,被视为机器人自监督通用学习器的一个有前景的方向。

  20. arXiv · cs.CL33

    机器翻译中何时更多的搜索才有用:质量感知解码中的搜索效用实证研究

    这项 arXiv 研究指出,质量感知解码(QAD)中为每个源句分配相同候选预算 N 的做法并不合理,额外候选带来的质量增益因句子而异。作者通过总扩展增益、边际扩展增益和采样饱和点三个量来衡量搜索效用,发现句子级信号与总扩展增益相关,而候选池统计特性可有效预测边际扩展增益。这些信号能识别出在选择性追加搜索时收益更大的句子。

  21. arXiv · cs.AI54

    用学习到的速度先验重定时机器人演示数据的 arXiv 论文

    Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1

    推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。

  22. arXiv · cs.AI33

    大语言模型是否信任自己的解释?一项关于功能自洽性的研究

    一项发表于 IJCNN 2026 的研究提出“功能自洽性”实验框架,通过充分性、全面性与反事实性三项指标检验 LLM 自我解释与其实际预测是否一致。实验基于 IMDB 和 Steam 评论数据,覆盖 GPT-4o-mini、Gemma3、Granite8B 和 DeepSeek:GPT-4o-mini 在全部指标上符合预期,Gemma3 与 Granite8B 仅在充分性下保持一致,DeepSeek 变体则出现结构性偏差。结果表明解释可靠性因模型家族和规模而异,小模型自相矛盾,大模型过度敏感。

  23. arXiv · cs.AI28

    SemGeo-Gen:无监督生成跨实例近似语义-几何对应关系

    SemGeo-Gen 是一种无监督方法,从弱对齐的 3D 物体集合中自动生成近似的跨实例语义-几何监督,无需人工标注即可产出 3D-3D、3D-2D 和 2D-2D 对应关系。该方法将多视角 DINOv2 特征提升至 3D 并用连续分段仿射配准对齐实例,在 KeypointNet 稀疏人工标注上达到 93% PCK@0.10 和 97% PCK@0.15。用其合成预训练可使 SPair-71k 上的语义对应模型在微调后最多提升 5 PCK@0.10 点。

  24. arXiv · cs.AI24

    WiMoT:基于矩传输的无回放持续 Wi-Fi 感知方法

    论文提出 WiMoT(Wi-Fi Moment Transport),通过存储各旧域类别的特征均值与协方差并对统计量做仿射变换传输,替代依赖样本回放的持续 Wi-Fi 感知。在 3DO、WiMANS、Widar3.0 上平均最终准确率分别为 94.02%、89.61%、95.16%,遗忘最多 0.58 pp,在 3DO 与 Widar3.0 上领先 21 个回放基线中最强者 3.77 和 13.11 pp。将协方差存储为 rank-32 因子可把矩内存压缩至 6.4%,精度损失最多 0.49 pp。

  25. arXiv · cs.AI40

    InferSlice:面向电信广域网 SLO 驱动 LLM 推理的参考架构

    BT 联合布里斯托大学与 NVIDIA 提出 InferSlice,一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构,集成网络切片、GPU 分区、弹性服务与可观测性,并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间,权重流式传输可缩短扩容时间;流水线并行可容忍近中距离跨站点跳数,而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。

  26. arXiv · cs.CL17

    残差专家路由实现因子化 Transducer ASR 的纯文本领域自适应

    一项 arXiv 研究提出保守残差路由方法,用于因子化 Transducer ASR 的纯文本领域自适应:适配后的 predictor 作为基础模型的残差修正,由一个 16k 参数的门控在每个前缀决定采纳程度,关门时完全还原基础模型。在 40 小时会话语料上,两个留出域 WER 从 19.89/20.91 分别降至 16.74/16.21,源域 WER 基本不变(12.90 至 12.93),且无需目标域音频的按域调优。

  27. arXiv · cs.AI28

    AI 智能体能帮到机器人工程师吗:来自工业界两次 Focus Day 的案例研究

    一项针对一家工业机器人编程中小企业的案例研究发现,AI 智能体基本没有提升工程师生产力,唯一例外是生成高度重复代码的任务。但随着工程师学会使用智能体、智能体被适配到领域,效果逐步改善,且使用智能体的成败更取决于 AI 经验而非机器人工程经验。研究表明 AI 智能体并非即插即用方案,企业需培训工程师、预留学习曲线时间,且生产力研究应采用纵向设计。

  28. arXiv · cs.AI33

    EditJev:面向图像编辑模型的 System One 路由

    EditJev 是一种 System One 路由模型,单次前向传播即可直接预测候选图像编辑模型的样本级偏好分数,通过视觉语言骨干上的轻量偏好头输出定长分数向量。基于成对偏好训练并优化排序目标,推理时结合速度分数平衡质量与延迟。在 ImgEdit 和 GEdit-En 上,聚合质量分别从 4.540 提升至 4.592、从 8.194 提升至 8.255,估计端到端延迟分别降低 60.8% 和 31.7%。

  29. arXiv · cs.AI15

    基于声学与演唱技巧特征的可解释歌唱情感识别

    研究者提出一个可解释的歌唱情感识别框架,使用一套紧凑的歌唱专属特征,涵盖韵律、频谱、语音学和演唱技巧。该方法结合 SHAP 和 GRAD-CAM 解码模型决策,特征可降低跨歌手差异;在 VocalSet 的跨域评测中发现颤音和咽部技巧是情感表达的关键线索,SHAP 显示颤音受咬字速率影响。

  30. arXiv · cs.AI42

    LGMT:测试大语言模型逻辑推理可靠性的开源工具

    研究者推出开源工具 LGMT,基于一阶逻辑的蜕变关系检测 LLM 推理不一致性,无需 ground-truth 标签即可对比等价测试用例上的预测。工具内置 20 条蜕变关系,支持经 Z3 定理证明器验证的自定义关系,提供 CLI 和 web studio 及离线 mock 模式。对 6 个主流 LLM 在 3,091 个蜕变组上的测试显示,不一致率介于 20.84% 至 29.44%,代码已在 GitHub 开源。

  31. arXiv · cs.AI19

    什么能在蛋白质口袋之间迁移?基于结构的 Agentic 药物设计中分子优化的经验复用

    arXiv 论文研究 LLM 智能体在蛋白质口袋中优化配体时,能否把历史探测产生的编辑经验通过经验库迁移到从未见过的口袋。以编辑位点的接触、动作和轮次作为 key 查询 CrossDocked2020 测试集口袋的日志,经验库能清晰区分改善与恶化编辑,但可迁移的信号主要描述编辑本身及生成的分子,而非靶点;直接指明靶点可带来数倍更清晰的区分。在此表示与查找方案下,经验库更适合为智能体自身的候选分子排定对接优先级,而非直接规定要构建什么。

  32. arXiv · cs.AI34

    LLaCO:面向大语言模型的连续扩散与竞争感知语义调度

    论文提出 LLaCO,一个基于竞争感知语义调度的连续扩散文本生成框架。理论层面,它提出竞争阈值理论(CTT),指出嵌入范数衰减导致欧氏距离产生虚假超车,并据此提出语义保留调度(SRS)。LLaCO 通过嵌入方向适配器与基于测地线插值的球面加噪过程改造预训练骨干,8B 版本性能超越此前连续扩散基线,并与同等规模的离散扩散模型相当。

  33. arXiv · cs.CL36

    PHYRD:一个用于复现与扩展理论物理研究的动态基准

    PHYRD 是一个理论物理推理动态基准,包含 63 道 Reproduce 和 43 道 Discover 题,由 FormulaForest 构建并附带子问题级评分标准。五个模型在 Reproduce 上整体准确率为 49.21%–68.25%,闭卷 Discover 为 18.60%–74.42%,使用工具后四 个模型完成更多 Discover 题。FormulaForest 作合成数据可将 Qwen-35B-A3B 在 OpenAI 的 FrontierScience 上的准确率从 61% 提升至 72%。

  34. arXiv · cs.CL45

    伪标签作奖励而非目标:GRPO 用于半监督 ASR

    一项 arXiv 研究提出用伪标签作为 GRPO(Group Relative Policy Optimization)的奖励参考,而非 SFT 的微调目标,以降低半监督 ASR 中的标签噪声传递。在银行领域,基于 Whisper 生成标签时,GRPO 相对 SFT 提升 29.3% 到 56.2% 的相对 WER,且优势在四种 Whisper 尺寸、四个教师模型族、三个领域和四种语言上均成立。SFT 几乎逐字复现 100% 的教师错误,GRPO 仅传递 27%。

  35. arXiv · cs.AI64

    MCP-Injector 论文:真实 MCP 故障下 LLM 智能体任务完成分下降 60%,120B 模型规模并未带来容错

    论文提出 MCP-Injector,一个可插入的协议感知故障注入中间件,其故障模型基于对 1,774 个开源 MCP 仓库中 57,240 条 issue 与 PR 的挖掘。在跨两个 gpt-oss 骨干(20B、120B)和三种 Agent 框架的 1,350 组实验中,故障导致任务完成分从 8.08 降到 3.23(满分 10),且 120B 在故障下保留的无故障得分比例与 20B 无显著差异(p = 0.96),故障下完成率甚至更低(91.1% vs 95.6%)。作者认为框架级错误处理比模型规模更重要,建议将协议感知故障注入作为能力基准之外的补充评测维度。论文已被 NeurIPS 2026 接收为 poster。

    推荐理由:论文提出对 MCP 工具调用路径做故障注入的评测方法,并给出模型规模与容错关系的实测数据。

  36. arXiv · cs.AI10

    超越信道数据:配置增强的 Radio Foundation Model

    该论文提出在 Radio Foundation Model(RFM)预训练中融入信道配置(CFG)信息,所得嵌入在标签稀缺场景下可作为下游任务的有效归纳先验。研究在 LoS/NLoS 分类、TA 估计和波束选择任务上,于同分布与分布外配置两种设定下对比原始信道 token 与多个基线模型,结果表明所提嵌入在不同数据配置场景中持续优于或持平于基线。

  37. arXiv · cs.AI59

    IGG:面向可见性约束的交互式 GUI Grounding 基准

    研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。

  38. arXiv · cs.CL48

    面向非线性概念擦除与表示引导的原则性条件自编码框架(arXiv 论文)

    arXiv 论文提出基于条件自编码的非线性概念擦除框架,原则是只移除性别、种族等敏感属性而不影响其他信息,并证明完美重构加总体独立性足以保证完美非线性防护性。实验显示该方法在多数据集、多语言模型上取得更优的效用-擦除权衡,无需目标任务标签且收敛更快。框架还附带概念转换(表示引导)能力,在推理时仅改变目标概念即可生成对应不同概念值的表示,无需额外训练。