跳到正文
10月25日周日
  1. arXiv · cs.AI41

    XLand-MiniGrid 记忆优势审计:是记忆还是时钟?

    一项 XLand-MiniGrid 审计研究发现,LSTM 智能体对无记忆 MLP 的 25 个百分点优势,大部分来自知道时间步——回合在固定上限截断且奖励随时间衰减。分离训练 seed、地图与评估噪声的 60 次运行显示,"任务习得"二值判定中 76% 是评估噪声,检测 10 点差距需约 10 个配对 seed。给无记忆基线提供时间步后差距缩至 3.3 点内,作者已发布协议、工具与全部 checkpoint。

  2. arXiv · cs.CL51

    arXiv 论文对比 LoRA 与全量微调在提示词安全分类中的表现

    arXiv 论文 arXiv:2610.33813 用匹配的 400M encoder-decoder 模型对(Ettin)在三种任务格式上对比 LoRA 与全量微调做提示词安全分类,每个单元格最多 15 个随机种子并预注册分析。在预设学习率下全量微调在仅用标签训练时领先 LoRA 2-3 pp,编码器上学习率经同一搜索后差距消失;让 LoRA 在判定后写理由可提升 4.0 pp 并追平差距。微调模型域内超过 prompted 8B,但在三个分布外语料中两个落后,对抗性越狱场景落后 8-23 pp,且把 27-66% 良性但形似有害的提示词误判为不安全,而 8B 为 2-3%。结论是适配方式的影响小于训练方式、学习率和训练目标,域内准确率不足以衡量鲁棒性。

  3. GitHub · 去对齐工具与仓库34

    LLM-CL:少数据多模态持续学习与紧凑模型研究进展记录

    LLMCL 项目记录少数据多模态持续学习与紧凑模型研究:基于 Qwen2-VL-2B-Instruct 与 LLaVA-OneVision-Qwen2-0.5B-OV 双骨干、1313 条训练数据与 21454 条测试,正式完成 8/16 组核验,唯一指标为 Answer F1。最新 FFN 真实删除对照使完整权重减少 199.5MiB(11.704%),但 DEV 宏 F1 从 43.791987 降至 19.620168,该构造已关闭;尚无权重更小且保留强参照质量的自研框架。

  4. arXiv · cs.AI39

    Rectified Language Flow(ReLF):用整流流做快速并行文本生成

    研究者提出 Rectified Language Flow(ReLF),一种用整流流将噪声传输到 token 嵌入的语言模型,结合 Hellinger-SVD 固定 token 嵌入、交叉熵训练的 self-conditioning 引导与正则化 reflow。在 OpenWebText 上 64 次函数评估时,ReLF 在三种模型规模下均以相同多样性取得低于自回归基线的生成困惑度。经两轮 reflow 后,16 次函数评估仍优于自回归基线,batch size 1 下生成 1,024-token 序列快 15-19 倍。

  5. arXiv · cs.CL46

    IntentDelta:一个人工构建的用户意图演化基准

    研究者推出 IntentDelta,一个人工构建的多轮对话基准,涵盖 WebShop 和 TravelPlanner 上 638 条轨迹、3,766 轮交互,每轮配对用户话语、累积意图状态与人工参考动作。评测显示 11 个智能体平均 Intention Recovery 在 TravelPlanner 为 33.1%、WebShop 为 44.7%,平均 Action Score 分别为 31.6% 和 41.0%。智能体难以保留早期需求、区分软偏好与硬性约束,且意图恢复正确也不保证执行成功。

  6. arXiv · cs.AI11

    DynaReason-Pro:通过构象系综将蛋白质动态与功能关联起来

    研究者推出 DynaReason-Pro,首个从蛋白质构象系综联合预测 GO 功能词条并生成自然语言功能解释的框架,针对固有無序蛋白(IDP)的动态特性。该框架在来自 Protein Ensemble Database(PED)的 IDP 基准上评测,采用序列与结构簇互斥的数据划分防止数据泄漏,分层评估显示在高构象变异区间增益最明显。

  7. arXiv · cs.AI34

    ProMo3D:探测冻结 3D 基础模型中的运动线索

    ProMo3D 论文提出基于探测的运动蒸馏方法(PMD),发现冻结的 3D 基础模型 token 中已编码可解码的运动相关信息。PMD 将相对固定锚点 token 的成对运动状态兼容性分数转化为密集运动掩码,仅用 160 段 YouTube-VOS 视频和单张 16 GB GPU 训练。该方法零样本迁移至 DAVIS、SegTrackv2 和 FBMS-59,优于免训练启发式方法,接近更重的监督与自监督方法。该论文已被 NeurIPS 2026 主会接收。

  8. arXiv · cs.AI18

    UMLS 注入语言模型助力医疗问答,真的走到头了吗?

    一篇 arXiv 论文回答“是否不必再向语言模型注入 UMLS 知识”这一问题:也许还没有。研究综述了现有医疗问答(MQA)工作,指出 UMLS 覆盖率低、子图检索流程薄弱等此前未被讨论的方法学问题,并说明 UMLS 图注入目前仅带来有限性能提升。作者据此提出可行建议,以释放 UMLS 作为外部知识源的潜力。

  9. arXiv · cs.CL46

    MTA-Zero:通过在线 QA-Solver 共训练实现自改进多模态深度搜索

    研究者提出 MTA-Zero,一个无需预计算多跳语料的在线多模态 QA-Solver 共训练框架,用 GRPO 独立优化 QA Generator 与深度搜索 Solver。在六个多模态深度搜索 benchmark 上,该框架将 Qwen3-VL-8B Solver 的平均准确率从 36.91% 提升至 51.58%,与相同 agent 工作流下的 GPT-5 表现相当,并使 Qwen3.6-27B Solver 提升 10.82 分。

  10. arXiv · cs.CL34

    邻居的低语:将描述共识重思为视觉-语言检索的推理时证据

    该 arXiv 论文提出在推理时让冻结双编码器利用同一图像的多条描述提升文本到图像检索:当描述与查询来自相同标注者时,九个冻结编码器的 R@1 提升 3.4 至 16.8 点;改用现成 captioner 生成时降至 1.9 至 7.2 点,跨标注源时最多约 1 点。分析表明正确候选的支持方式与负例不同,且该增益源于匹配人类描述,并未改善图像-文本 grounding。

  11. arXiv · cs.AI48

    Scan2Instruction 与 PRPT-KS 实现免示例语言引导导航适配,一次扫描即可

    Scan2Instruction 将一段 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航片段,PRPT-KS 则通过从重建场景直接读取的闭式 Pareto 效用适配策略,无需学习 critic 和人工标注。在五个真实环境中,RealNav 真机成功率达 85%,高于用人工示教后训练基线的 49%;在同建筑未扫描区域仍达 82%,基线为 41%。

  12. arXiv · cs.AI21

    通过结构化剪枝与自适应微调解锁 PPG 基础模型在可穿戴信号上的专业化能力

    研究者提出 SPAFT 框架,通过结构化剪枝结合自适应微调,将 PPG 基础模型适配到可穿戴设备等真实场景的目标预测任务。该框架基于参数重要性和结构冗余,把微调约束到更相关、更紧凑的参数空间。在 4 个 PPG 基础模型、5 个基准数据集和 10 个下游任务上,SPAFT 在回归和分类任务中分别取得 82.8% 和 87.5% 的胜率,常能达到 SOTA 性能。

  13. arXiv · cs.AI39

    RoboReason:通过可扩展数据生成提升 VLM 机器人相关推理能力

    研究者提出 RoboReason 方法,用真实机器人立体相机与腕部相机的时空排序任务评测 VLM 视觉推理,发现多个 SOTA 模型在帧排序、深度排序和左右排序任务上表现不佳。团队设计了可扩展的自主训练数据生成流水线,对该数据做监督微调和强化学习,显著提升了模型在时空排序任务及下游机器人与视觉推理任务上的表现。

  14. arXiv · cs.AI37

    InfiniteWorld 基准:将视觉证据与熟悉物理规律分离

    InfiniteWorld 是一个物理推理基准,通过模拟器视频系统性改变物理参数来生成配对问题,涵盖定律识别、参数估计、时序推理、反事实比较和定律归纳五项任务。对多款视频-语言模型的评测显示,模型普遍偏好熟悉物理规律,即使在观测物理改变时仍常给出 Earth-normal 答案;视频帧能提升多数模型表现,但增益因任务而异。

  15. arXiv · cs.AI37

    《System 1 模型搭车客指南》:LLM 之外的快速决策模型综述

    这篇 arXiv 综述提出 System 1 决策模型分类法,将单次前向传播即可输出结构化决策的模型分为编码器分类器、奖励模型、非自回归决策引擎、对比决策模型和抽取模型五族。文章阐述 proper scoring rules 校准理论、RLCD(用于校准决策的强化学习)及 IIA 违反等现象,并介绍其在智能体工作流与 System 1 + System 2 级联中的部署。全文覆盖 18 个应用领域、190 篇参考文献,并附可运行代码、开源模型 zoo 与 22 道自测题。

  16. arXiv · cs.AI38

    TriageRAG:用失败感知自训练让 RAG 大语言模型适配专业领域

    TriageRAG 是一种失败感知自训练方法,对 LLM 自生成的问答对按学生模型表现分为 known、solved、context-failure、retrieval-failure 四类并分别路由训练信号。在 11 个数据集(Qwen3-4B)及 CS-Bench(Qwen3-8B)上,其性能超过预算相同的 SimRAG 1.2-6.4 个点,且是唯一能在检索反而损害基座模型的每个场景中恢复闭卷水平的方法。

  17. arXiv · cs.AI21

    FNO-MoE:主动训练的神经算子逼近近显式大气化学

    研究者提出 FNO-MoE,一种带专家混合的 Fourier neural operator,单次调用即可预测近显式机制(如 Master Chemical Mechanism)在 30 分钟内的完整化学状态。该网络利用专家间分歧主动选取最有信息量的 box-model 模拟来指导自身训练,精度优于随机或均匀采样,经长轨迹微调后可在多小时运行中保持稳定。模拟器高保真复现数千个物种的演化,对未见化学组成仍准确,且比数值求解器快多个数量级。

  18. arXiv · cs.AI27

    面向双曲输运图神经求解器的 CFL 感知边设计

    一项 arXiv 研究提出在 GNN 求解双曲 PDE 时将输运尺度显式编码为边局部的 CFL 信号。在固定架构、仅改变边信息形式的条件下,当边表示已暴露方向与波速等输运交互时,CFL 条件化将末步误差降低 10.4-14.4%,且步长越大提升越明显;改进源于抑制激波附近的振荡而非平滑解。

  19. arXiv · cs.AI21

    RelPPR:利用局部熵波动实现黑盒 LLM 生成文本检测

    研究者提出新指标 RelPPR(相对峰突率),利用人类文本信息流平稳、机器生成文本呈局部熵波动的结构差异,在源模型未知的黑盒场景下检测 LLM 生成文本。现有双模型与重采样检测器在指令条件下会失效,RelPPR 在多模型家族和数据集评测中达到 SOTA 黑盒检测性能,代码已开源。

  20. arXiv · cs.AI58

    StateWise 论文提出让 LLM 追踪多轮对话中演化约束的自我改进方法

    arXiv 论文 2610.33766 提出 StateWise,教单个 LLM 维护可修订的约束状态(含已撤销约束的墓碑标记),通过摘要、条件响应和精确回程检查自训练。在两个 backbone 上,StateWise 相比有监督自训练把 relapse 降低 8-22 个百分点,对话成功率较 backbone 提升 8-19 个百分点,且无需推理时脚手架就胜过 oracle 编译账本基线。论文还发现 Llama-3.1-8B 的有监督变体会让 relapse 约翻倍,因而加入偏好阶段,并评估了该方法对通用指令遵循基准的代价与权重插值缓解手段。

    推荐理由:论文指出微调后的 7-8B 模型会精确追踪约束状态却不遵守,这一发现和用偏好阶段修复的思路有参考价值。

  21. arXiv · cs.CL17

    RoleHear:基于伪标签的半监督角色属性流式语音识别

    RoleHear 是一个半监督语音识别管线,让单个 cache-aware 流式 transducer 通过轻量级词表内角色 token 内联输出说话人角色,先给出快速轮次边界标记,随后再输出角色 token。离线 transducer 教师微调后为无标注音频重打标,多模态大语言模型补充 silver 角色标签,流式学生模型在混合数据上一次性微调。在客服通话(gold 角色)和财报电话会(silver 角色)数据上,RoleHear 保持转写质量的同时准确归因角色,缩小了与离线教师的差距。

  22. arXiv · cs.AI35

    视觉语言模型的多证据整合缺口:事实都对,答案仍错

    arXiv 论文 arXiv:2610.33764 研究视觉语言模型的多证据整合缺口:模型能准确读取局部事实,却无法将其组合成满足全部约束的全局决策。例如 Gemma-3-27B 能正确恢复全部孤立事实,但在八项视觉实例上全局有效率仅 19.75%。通过 hidden-state 探针与激活替换实验,作者表明恢复事实并不足以支持可靠的联合决策。

  23. arXiv · cs.AI23

    C-DFF:面向自动驾驶感知仿真验证的机制对等概念级诊断方法

    研究者提出 C-DFF,一种用于真实-合成配对评估的概念级机制对等诊断方法,可判断自动驾驶系统在仿真中是否依赖与真实图像相同的视觉证据。该方法从冻结的被测系统提取决定性证据,经分割模型映射到语义概念空间,比较概念重要性向量。在 KITTI 与 Virtual KITTI 2 的 2126 组匹配对上对三个冻结 SUT(转向回归、YOLOP 可行驶区域、YOLOP 车道线)的评估显示,输出一致并不等于机制对等,C-DFF 可支持验证分诊与仿真器调试。

10月24日周六
  1. arXiv · cs.CL30

    RATE:重新思考人类水平机器翻译时代的翻译评估方法

    研究者提出 RATE(Refined Assessment for Translation Evaluation)评估协议,并构建了由专业语言学家对 WMT24 英俄翻译进行人工评价的高质量数据集。分析显示,SOTA 机器翻译系统在准确率上可能已超过人工翻译,但流畅度仍落后。现有 MQM 和 ESA 等金标准方法存在标注者水平不一、严重度粒度粗、偏重准确率等局限。

  2. arXiv · cs.CL25

    超越提示词:基于 LLM 的机器翻译评估器系统性研究

    研究者系统分析指令设计、few-shot 示例、backbone 模型与多步工作流对 LLM 机器翻译评估的影响,基于 WMT24 和 WMT25 英俄翻译的新 RATE 专家标注,并在 MQM 与 ESA 标注基准上验证迁移。研究发现指令结构决定评估器行为、高质量示例比数量更重要、不同 frontier backbone 呈现召回/精确/排序导向差异,融合多 backbone 输出优于单评估器多次调用。由此提出的 ORBIT 评估器系列在错误跨度检测与 Accuracy 和 Fluency 排序上达到专家级水平,成本约为人工标注的 1/20。

  3. GitHub · 3D 生成新仓库15

    bone-fracture-pseudo-mask-generation:弱监督骨折分割伪掩码生成研究流水线

    GitHub 开源项目 bone-fracture-pseudo-mask-generation 提供一套可复现的弱监督骨折分割研究流水线,涵盖图像级骨折分类、Grad-CAM/LayerCAM 定位、伪掩码生成及可选 U-Net 训练,支持 ResNet-50 和 DenseNet-121 分类器,需 Python 3.10+。项目仅为研究原型,非临床诊断工具;因缺少 FracAtlas 专家掩码,无法报告分割指标,测试集仅在验证集选好阈值后评估一次。

  4. arXiv · cs.CL32

    LLM 介导的 ADHD 自我诊断中的性别关联研究

    一项研究将 Context Association Test(CAT)改造为零样本自诊断评测,检验 GPT-4o 在 ADHD 自我诊断场景中是否响应性别化关联。结果显示,显式性别线索会持续放大某些 ADHD 亚型关联,而隐式线索产生接近代理对齐的分布,表明显式线索可能触发过度矫正而非消除偏见的缓解机制。研究提示,评估 LLM 自诊断中的性别偏见需关注模型编码的人群关联。

  5. arXiv · cs.CL19

    基于嵌入向量的教育知识分类体系研究

    研究者通过对数学题目嵌入向量聚类,自动构建基于语义嵌入的教育知识分类体系。与 ASSISTments 两个数据集中基于 CCSS 的知识组件分类体系相比,两者有实质性但不完全的对应;在 Deep Knowledge Tracing 下游任务中,嵌入分类体系将预测性能提升约 3-5 AUC 百分点,显示语义嵌入可自动恢复人类分类结构并提供有用的替代表示。

  6. GitHub · 去对齐工具与仓库33

    AdrSkapars/slander-inversion:生成式语言模型精确反演的代码与数据集仓库

    该仓库发布论文《Was it Slander? Towards Exact Inversion of Generative Language Models》的代码与筛选数据集,仅用模型对输出的概率搜索生成该输出的输入。方法对比基于 token 的遗传算法(GA)与基于 T5 自编码器嵌入的粒子群优化(PSO),各含完整与渐进两种目标,实验使用 30 对和 50 对的 Chatbot Arena 筛选数据,目标模型为 gpt2 与 llama2,另附 Metropolis–Hastings 采样扩展脚本。

  7. GitHub · 灵魂体仓库36

    llm-poker-collusion:研究模型在等通信条件下联盟形成的开源框架

    GitHub 上的 llm-poker-collusion 是一个在研研究框架,用于研究模型在通信条件对等下的联盟形成,架构结合 OpenSpiel(kuhn_poker)、自研 Python 会话引擎与 Inspect 模型执行。当前已实现游戏协议、会话引擎、JSONL 审计、离线标注与对比分析层:2026-10-15 有 994 项离线测试通过;2026-10-17 指定的 OpenAI 候选模型通过在线兼容性测试,3 场会话 9 手牌共 64 次调用、73,701 tokens、成本 $0.06272325;2026-10-18 标注验证达 1,040 项测试。模型能力与协调控制仍未验证。

  8. GitHub · 灵魂体仓库46

    quark28/mini-llm:一个可完全在端侧运行的 19.8M 参数掩码扩散对话模型

    开发者在 GitHub 开源 mini-llm,一个从零用 PyTorch 构建的 19.8M 参数掩码扩散编码器–解码器 Transformer 对话模型,目标是在手机端侧运行。模型在 1.47B token 的 FineWeb-Edu 上完成预训练,并经过 SFT 与 GRPO 强化学习,上下文窗口 256 token,词表 12 288(byte-level BPE)。项目还包含一个实验性 Thinking 模块及参数量匹配的对照组,生产级 C++ 推理运行时仍在计划中。

  9. arXiv · cs.CL12

    PathKGen:病理学知识辅助的多模态大语言模型,用于可解释的组织病理学报告生成

    PathKGen 是一种知识图谱辅助的多模态大语言模型(MLLM),用于数字病理学的全切片图像(WSI)报告生成。它包含视觉路径和知识路径两个分支,后者通过查询病理学专用知识图谱提取 WSI 关键形态学特征生成知识 token。在 WSI-Bench 数据集上超越此前 SOTA 方法,并将诊断推理以可视化图形式呈现,代码已开源。

  10. arXiv · cs.CL15

    Meta-CLIP:面向零样本疾病推理的元数据条件对比学习框架

    研究者提出 Meta-CLIP,一种元数据条件对比学习框架,在医学视觉-语言预训练中利用 DICOM 采集元数据相似度重新加权跨模态负样本,推理时无需元数据。在 CT-RATE 上,Meta-CLIP 的 macro-AUROC 较 CT-CLIP 提升 1.41 点(95% 置信区间 0.96–1.85),并在五个 CXR 基准中的四个取得最高 macro-AUROC。代码将在论文发表后公开。

  11. arXiv · cs.CL34

    联合建模大语言模型的偏好与不完全决策:Preference-Behavior Model(PBM)研究

    研究者提出 Preference-Behavior Model(PBM),将偏好表示与不完全效用最大化机制结合,通过逆博弈问题从观测选择中联合推断 LLM 的偏好与行为参数。在 Public Goods Game、Collective-Risk Dilemma 和 Common-Pool Resource 三类社会困境中,行为经济学诱导工具估计的偏好无法稳定预测行为,而单一困境拟合的模型在其他困境中仍具预测力。该框架还用于评估 LLM 与 persona 指令的对齐,发现推断偏好总体反映预期优先级,但在不同维度、模型和博弈间存在偏离。

  12. arXiv · cs.CL49

    PreView:用预处理视图与线索增强 GUI Grounding

    PreView 是一种辅助预处理器,无需再训练即可提升现有 GUI grounding 模型的输入质量,提供任务相关视图和候选-specific 线索(红圈标记与文字提示)两类特征。轻量辅助模型预测并微调中心点、裁剪局部视图并放大,冻结的 grounding 模型据此输出最终点击。在五个 benchmark 上,PreView 提升了 Qwen3-VL-2B、OS-Atlas-4B 和 Qwen3-VL-4B 的平均 grounding 准确率。

  13. arXiv · cs.CL64

    RSI Arena 论文:十个前沿模型自主后训练 Nemotron 3.5 并以人类反馈推进递归自我改进

    Yue Huang 等人发布 RSI Arena 论文,让十个前沿模型作为训练智能体,各自从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发,在六天内用 1,000 GPU 小时和 $300 API 额度自主完成数据选择、训练与 checkpoint 选择。最强的 GPT-6 Astra 训练模型在 12 项能力基准上平均弥补了基座到 Instruct 差距的中位数 76%,人类偏好评分经长度与格式调整后接近 NVIDIA Instruct;第二阶段十个模型中八个的风格调整相对评分继续提升,但基准提升与偏好提升无明显关联,且一个模型在 StrongREJECT 上有害合规上升。

    推荐理由:十个前沿模型自主后训练同一基座并接受人类盲评,还报告了有害合规上升的副作用,结果细节值得细看。

  14. arXiv · cs.CL37

    Mycelium:一项关于幻觉检测的元研究——从来源、类型与粒度三个维度切入

    arXiv 论文提出 Mycelium 元研究,将大语言模型幻觉检测视为受基准条件制约的测量问题,并沿 provenance(来源)、typology(类型)、granularity(粒度)三个维度梳理现有基准。分析显示基准构建、标注与评测方式会实质影响检测器得分,跨基准比较难以解读。针对 span 级评测中标注边界差异的问题,作者提出 Span Coverage F1 这一基于包含关系的补充指标。

  15. GitHub · 去对齐工具与仓库65

    Badrodro 实测三种 LLM 的 4-bit 权重量化格式质量差异

    Badrodro 发布 llm-4bit-quant-formats 仓库,在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%,但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内,未达到预先设定的 10% 阈值,因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型,无校准数据与速度能耗测量。

    推荐理由:作者预先设定了10%的决策阈值再实测,读者可以据此判断trellis量化是否值得在硬件里加解码器。

  16. GitHub · 去对齐工具与仓库18

    Vhagar181 开源仓库:优化 LLM 在多任务环境中的上下文推理(论文审稿中)

    Vhagar181 上线论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的配套代码仓库,论文正在 COAI 2025 审稿中。该论文提出优化策略以增强 LLM 跨多任务的上下文推理能力,实验显示在动态环境中适应性更优。仓库标注“即将发布”,将包含实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程。