跳到正文
10月23日周五
  1. arXiv · cs.AI36

    MoG-VLM:基于运动引导视觉语言模型的高效视频异常检测

    MoG-VLM 是一个运动自适应视频异常检测框架,用时间梯度幅度(TGM)做内容感知采样,仅在异常可能性升高的帧附近触发 VLM 推理。该方法在 XD-Violence、UCF-Crime、MSAD 和 ShanghaiTech 四个基准上分别取得 91.91%、84.30%、87.88% 和 78.96% 的 AUC-ROC,其中三个基准在 zero-shot、免训练设置下刷新 SOTA。在 XD-Violence 上较此前最佳提升 +0.57%,同时推理提速 1.31x,代码已在 GitHub 开源。

  2. arXiv · cs.AI27

    可争议智能体用于数据治理:跨结构化与非结构化系统记录 AI 生成元数据的人类监督

    一篇 arXiv 论文提出“可争议治理”模式:基于 LLM 的专家智能体为有争议的元数据决策生成带评分和引用的论证,steward 可在提交前接受、拒绝、修改或补充论证,治理记录保留证据、干预与结果。工作流包含分级分诊路径、评分与记录模型及已验证决策的先例门控,版本化领域术语表为智能体提供术语与缩写定义。两个 HVAC 用例展示了基于 Brick Schema 的点位分类(附开源参考实现)和关联索赔字段、遥测与服务记录的保修失效模式决策。

  3. GitHub · 3D 生成新仓库27

    UnifiedGroupGen:基于群—轨道参数化与性质条件流匹配的材料结构生成研究仓库

    开源仓库 UnifiedGroupGen 实现了群—轨道参数化与性质条件流匹配的材料结构生成,将空间群、层群和平面群编译为统一的结构展开、随机先验和训练接口,支持 MP20、C2DB、MPTS52 数据及两阶段 CFG 逆向设计。正式数据 102,608 条,联合划分 82,183/10,190/10,235;共享模型约 18,030,806 参数,1536 次采样中精确回收目标群 1526/1536。物理稳定性验证与公平基准比较仍待完成。

  4. arXiv · cs.CL32

    TRIAD 基准:评测多模态大语言模型的全模态歧义消解能力

    研究者推出 TRIAD 基准,用文本-图像-音频三元组评测全模态大模型的歧义消解能力,包含 327 个手写问题、86 个场景组和 18 类歧义。对 14 个全模态系统的评测显示,最佳模型的组级准确率仍落后人类 20 分以上;移除答案选项后模型组准确率跌至个位数,且现有系统在文本和图像并存时常低估音频线索。

  5. arXiv · cs.CL32

    合成到真实的尼泊尔语-英语夹杂 ASR:一个自发播客基准

    研究者发布尼泊尔语-英语夹杂 ASR 基准,含 13,044 条自发播客语句(共 15.45 小时)。两阶段合成到真实适配框架中,仅用 0.95 小时 TTS 合成语音做 SFT,将 MER 从 23.40% 降至 21.52%,语言切换点错误率(SPER)从 35.89% 降至 28.77%;后续 GRPO 仅带来小幅统计显著调整。SFT 同时将尼泊尔语 MER 提升 2.71 pp,而英语词错率保持 3.38%。

  6. arXiv · cs.CL25

    HFCMA:基于动态粒度发现与最优传输的层次化细粒度跨模态对齐

    论文提出 HFCMA 框架,用于细粒度图文检索,先通过动态粒度发现(DGD)将图像 patch 与文本 token 聚合为语义紧凑的视觉区域和文本短语,再把区域-短语匹配建模为熵正则化的最优传输问题,并引入背景去偏、文本重要性加权和原型一致性正则。在 Flickr30K 和 MS-COCO 上的实验表明,该框架在双编码器检索下提供了结构化局部对齐信息,提升了对细微语义差异的区分能力。

  7. arXiv · cs.CL41

    超越观看与搜索:面向视频中心深度研究报告的智能体评测基准 OmniDR-Bench

    研究者提出视频中心深度研究报告生成任务,并发布技能工作流与评测基准 OmniDR-Bench。该基准包含 50 个中英文任务、覆盖 19 个真实子类别、共 6,414 条标准,并采用 Omni Atomic Rubric Trees(Omni-ARTs)从视听定位、多模态证据使用和交互式呈现三个维度评估。在 18 个智能体配置中,最佳系统仅得 63.3/100 分,代码与数据已开源。

  8. arXiv · cs.AI15

    RoSA:缓解显著性坍缩的鲁棒显著性感知长文本图文对齐框架

    研究者提出 RoSA,一个显著性感知微调框架,用于缓解长文本图文对齐中的「显著性坍缩」问题,即模型过度依赖视觉显著的文本而忽视非显著上下文。RoSA 将图文对分解为互补的显著与上下文视图,结合目标级视觉显著性估计与基于 LLM 的文本分解,并用辅助目标显式对齐两视图。该方法在多个 benchmark 上提升长文本检索性能,辅助目标即插即用,可为现有调优方法带来一致增益,代码与 checkpoints 已开源。

  9. arXiv · cs.AI45

    Dual Exam:多模态智能体与世界模型的受控评测

    arXiv 论文提出 Dual Exam 评测框架,在物理、数字、社会和科学领域分别固定环境响应测试多模态智能体、固定动作干预测试世界模型。Agent 赛道含 1,088 项、15 类报告维度的 10 种配置,GPT 6 Astra 以 31.3 的 Agent Index 居首;World Model 赛道含 400 个案例、8 个场景,GPT-Image-2 以 21.7 的全覆盖总分领先。150 个案例的耦合试点任务成功为零,揭示了任务表现不均与任务相关状态保持失败的问题。

  10. arXiv · cs.AI20

    MQAScore:基于大型音频语言模型的细粒度文本-音乐对齐评估

    研究者提出 MQAScore,利用大型音频语言模型(LALM)对二元问题的肯定回答概率,沿流派、乐器、情绪主题、人声、用途五个维度逐一验证原子音乐概念。他们还基于存在/缺失标注和 LLM 引导的概念替换构建验证标签,并提出 Sensitivity-Invariance Ratio 衡量评估器对改变语义替换的选择性响应。实验显示概念级评分可提升问答式与相似度式评估器,MQAScore 可作为全局相似度的可靠、可解释细粒度补充。

  11. arXiv · cs.AI49

    LLM-as-a-Judge 提示策略的效果取决于评测模型:一项多语言鲁棒性研究

    一项多语言研究发现,LLM-as-a-Judge 评估中的提示策略不可跨模型迁移:评测模型的选择比提示策略的选择影响更大,同一策略在不同 judge 上效果方向会反转,且低资源语言下稳定性下降。研究测试了 9 种提示策略、4 个开源 judge 模型、27 种语言、4 个任务共 13 个数据集,产出超 100 万条基于标准答案的点对评分,并经人类判断验证。研究建议提示策略应针对具体评估场景验证,跨研究比较需同时考虑 judge 与提示配置。

  12. GitHub · 灵魂体仓库35

    raguram-3398 的 AI-engineer 仓库:如何通过一个个经过测试的项目构建可靠的 AI 软件

    GitHub 仓库 raguram-3398/AI-engineer 通过一系列自包含、带 README 的可测试项目,展示如何构建可靠的 AI 软件,包含两个已上线的 AI 产品。Sales Call Intelligence 每通电话约 $0.06,代码测试覆盖 95%,隐私测试移除 27/27 项个人信息;Multimodal RAG Engine 基于 52 份 FDA 文档(2,313 页)问答,92% 的答案声明可由引用页面支撑,20/20 道陷阱问题被拒答,每次回答约 $0.001。

  13. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。

  14. GitHub · 灵魂体仓库64

    千问杯多模态大赛第3名方案开源:Qwen3.5-0.8B 蒸馏 SFT + GRPO 小剂量 RL 全流水线

    参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名(获2万元奖金)的完整方案:在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT(初赛 41.8 分压线晋级),再用 GRPO 30 步小剂量 RL(决赛榜 20.2 分,第 9/20),答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告,权重托管于 Hugging Face;核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。

    推荐理由:作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据,0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。

  15. Hugging Face Blog44

    OlmoEarth v1.3 发布:为全球提供 SOTA 卫星嵌入模型

    Hugging Face 发布卫星嵌入模型 OlmoEarth v1.3,可读取一整年的 Sentinel-1 雷达与 Sentinel-2、Landsat 多光谱数据,为全球每个 10 米像素生成 128 维嵌入向量,并同步公开全球预计算嵌入及浏览器工具 Embeddings Explorer。在 27 项评测中,其 128 维嵌入在 20 项上领先 AlphaEarth Foundations(AEF)和 Tessera v2,64 维版本在 18 项上领先;模型权重、预训练数据与代码全部开源,复现一次最终训练约需 $2,720 的 H100 租用算力。

10月22日周四
  1. GitHub · 3D 生成新仓库35

    KAIST 开源 MUNI:NeurIPS 2026 多模态统一潜在扩散模型官方 PyTorch 实现

    KAIST 团队开源了 MUNI(Multimodal Unified Latent Diffusion)的官方 PyTorch 实现,该工作已被 NeurIPS 2026 接收。MUNI 通过 product-of-experts 或 Hellinger 聚合结合模态特定高斯后验,并与基于 flow 的潜在先验联合训练,实验覆盖 image-text-audio、PolyMNIST-Quadrant-Labels 和 GMM 三类任务。代码需 Python 3.10 和 PyTorch 2.9.1,图像渲染默认使用 Stable UnCLIP。

  2. AIHOT · 精选25

    Kling 4.0 现已上线 OnSolo

    可灵宣布 Kling 4.0 已在 OnSolo 上线。模型支持单次生成 30 秒原生视频,在大动作和运镜下保持稳定,配备立体声与更准的口型同步,并提供 21:9 宽屏。单任务可叠加最多 15 个参考图和 10 个关键帧,以保持角色、镜头与剧情一致。

  3. GitHub · 去对齐工具与仓库27

    Zeon7744/pic-workflow:面向个人创作者的图片→视频→成片工作流引擎

    Zeon7744 在 GitHub 开源 pic-workflow,一个面向个人创作者的“图片→视频→成片”多模态生产引擎,覆盖短剧、营销图与创意内容。工具含核心引擎与 SOP 模板,定价分 Free(¥0,每天 1 次生成)与 Pro(¥99/月,不限次,含角色一致性引擎与四维风格矩阵),通过爱发电收款,商用需遵守平台 AIGC 标注要求。

  4. arXiv · cs.CL22

    LLM 作为问卷受访者:与简单语义基线的比较

    一项 arXiv 研究评估了三个 LLM 基于部分已知回答预测问卷缺失题项回答的能力,并与最大化 embedding 相似度的简单基线对比,数据来自两项关于自动驾驶或轻型电动车态度的调查。结果显示 LLM 大多优于基线,但随已知回答比例下降,其表现持续变差,在其中一个调查中降至与基线持平,表明其数据增强能力依赖足够的人类数据。

  5. arXiv · cs.CL35

    MPIXEL 像素语言模型的多语言预训练扩展研究

    arXiv 论文提出 MPIXEL 像素语言模型系列,沿更多语言、更多文字、更大模型容量三条轴扩展多语言预训练,在覆盖 83 种语言的五项任务上评估。结果显示扩展呈局部效应:各轴仅提升新增语言与文字,更大容量可缓解多语言诅咒;对未见文字的迁移随多语言预训练改善但不随扩展继续提升。这些模型在多种文字系统的低资源语言上超过 subword 与字符级基线。

  6. arXiv · cs.CL31

    用混合语言讽刺句子基准测试评估大语言模型

    研究者构建了包含 60 余万条样本的罗马尼亚语-英/德/法/意混合语言讽刺检测数据集 CS-SeLeRoNa 及人工校验的 CS-SeLeRoNa-Gold 基准,采用随机替换、短语翻译、依存句法分析和 LLM 四种方法生成语料。评测显示,老一代开源模型 macro-F1 降至 37%-55%,Gemma 4 31B 零样本达 68.1%,接近 GPT-5 mini 的 69.5%;微调后 Gemma 4 31B 在 CS-SeLeRoNa 上达 77.5%、gold 基准上达 72.6%,超过前沿模型零样本基线。

  7. arXiv · cs.AI54

    arXiv 论文:用 Gemini 3.8 Flash 零样本筛查低分辨率热成像跌倒视频

    论文将 Gemini 3.8 Flash(temperature 0)作为事件触发跌倒筛查器的决策端,零样本判定 32x24 公开热成像数据集中的短片段:438 次摆拍跌倒中被叫出 67%(留出受试者 69%),499 个非跌倒窗口无一误报。在 160x120 有人居住房间 76 小时录音中,395 个日常片段零误报,9 次可见摆拍跌倒捕获 4 次;删除提示词中一句关于离开视野的警示后,敏感率在家用场景升至 9/9,但会把故意躺下误判为跌倒。8x6 像素下敏感率降至 34%,而两个传统检测器在实验室近乎全中却在家庭场景每天误报 14.2 和 23.9 次。作者公开了帧级跌倒标注和全部模型回答。

    推荐理由:论文用真实部署口径实测多模态 LLM 做热成像跌倒筛查,给出了敏感率与误报数据,并指出提示词一句话对结果的显著影响。

  8. arXiv · cs.AI54

    arXiv 论文揭示企业文档摄取中格式线索的静默丢失

    arXiv 论文(arXiv:2610.30026)指出,主流文档转换器会丢失作者通过排版编码的含义,导致企业 Agent 自信地答错而非明显不完整。基于 76 份真实政策文档的任务上,格式盲摄取使 micro F1 从 0.690 跌至 0.150(docling)和 0.075(纯文本),差距在两个厂商的六个回答模型上复现;span 级 leave-one-out 将损失定位到高亮(+0.302)和颜色(+0.262),6,460 份文档中 32.8% 带有刻意颜色或高亮。结论是可靠性取决于摄取而非推理,修复方式廉价且可测量。

    推荐理由:研究用 76 份真实政策文档量化文档摄取层丢失格式线索的程度,并给出低成本可测的修复方向,对 Agent 构建者有直接参考价值。

  9. arXiv · cs.AI15

    BatchBench:基于 JUMP Cell Painting 的生物医学图像批效应与域偏移鲁棒性基准

    研究者推出 BatchBench,一个评估 AI 系统在生物医学图像上对未见实验批次和数据来源的鲁棒性排行榜。它基于最大的公开生物医学成像数据集之一 JUMP-CP 构建,该数据集由 Cell Painting 实验生成,存在明显的批效应和域偏移。摘要指出,尽管域自适应方法已有进展,域偏移下的性能差距仍然显著。

  10. arXiv · cs.AI49

    MOSAIC:面向对话智能体长期记忆与跨模态推理的全模态基准

    研究者推出 MOSAIC 基准,包含 923 个问题,覆盖 11-24 个会话的文本、图像、视频、音频人格化历史。该基准通过冻结问题、读取器、提示词与预算,对表示、检索、传递环节进行干预诊断,发现表示损失依赖模态、即使有金标准证据读取仍是主要瓶颈,且拒答能力弱。MOSAIC 将全模态记忆评测从排行榜转变为对写入、检索、传递、读取各环节失败的诊断。

  11. arXiv · cs.AI12

    YingLan:面向异构海洋观测统一表征学习的多模态海洋基础模型

    研究者提出多模态海洋基础模型 YingLan,融合物理属性条件动态编码、Spatiotemporal Increment Coupling(STIC)与海洋状态演化感知预训练,统一处理卫星影像、网格化海洋场和浮标观测等异构数据。模型基于 MindSpore 实现,在华为 Ascend 910B NPU 上训练;在深圳近海七天海表盐度预报任务中,平均 RMSE 为 0.687508 PSU,较 LangYa、XiHe、GloNet2 分别降低相对误差 0.58%、5.31% 和 12.42%。

  12. arXiv · cs.AI21

    OpenMAP-HIE:面向新生儿缺氧缺血性脑病无监督病灶分割的病理引导 score-based 扩散模型

    Johns Hopkins 团队提出 OpenMAP-HIE,一种病理引导的 score-based 扩散模型,无需体素级标注即可在 ADC 图像上无监督定位新生儿缺氧缺血性脑病(HIE)病灶。方法用扩散模型学习健康新生儿 ADC 分布,并以 ControlNet 条件分支保留患者解剖结构,在 BONBID-HIE 数据集上取得 Dice 0.283±0.244,加入群体 ADC Z-map 精化后 Dice 提升至 0.602±0.269。

  13. arXiv · cs.AI40

    LLMSeg:免训练的 B 样条文本提示图像分割

    研究者提出 LLMSeg,一种免训练管线,将支持视觉的多模态大语言模型直接变成文本提示图像分割器,无需分割头、mask 解码器或专门训练。方法将分割分解为 detect、segment、refine 三个 LLM 驱动阶段,用闭合周期 B 样条勾勒边界并迭代修正。基于现成的 Gemini-3.7-Flash,LLMSeg 在 ReasonSeg val 上达到 71.5 cIoU,与专门的 SAM 3 相当甚至更优,代码已开源。

  14. arXiv · cs.AI29

    MERP:面向鲁棒多模态多标签情感识别的潜在瓶颈框架

    MERP 框架通过将多模态序列映射到固定大小的潜在库进行推理,提升模态缺失时的情感识别鲁棒性。在 20% 测试期随机模态缺失下,它在 CMU-MOSEI 和 M3ED 上分别取得 0.563 和 0.780 micro-F1;在 CMU-MOSEI 仅音频的严重场景中保留 0.473 micro-F1,远超 LDDU 的 0.022。该方法无需训练时的缺失模态样本,代码已开源。

  15. arXiv · cs.CL22

    听到却说不准:Prompting 低估了冻结大型音频-语言模型对音乐时刻的时间信息

    一项 arXiv 研究发现,大型音频-语言模型(LALMs)难以定位音乐中被描述的时刻,但这并非时间信息缺失,而是 prompting 提取方式的瓶颈。研究基于 Slakh2100 stem 激活构建配对查询探针,对同一段音频同时施加状态查询和变化查询,并改变模型可见的前置音频量。结果显示,状态查询无需上下文即高于基线,变化查询在多数短段模型中随前置上下文改善,而 30s padded 编码器无类似恢复;prompting 失败低估了模型可验证的内容,但未低估其可定位的内容。

  16. arXiv · cs.CL17

    结合计算机视觉与知识接地的语言模型,构建智能养蜂辅助系统

    研究者提出一套边缘可部署的蜂箱巢框检测流程:用目标检测器识别具生物学意义的巢房类别,将检测结果蒸馏为结构化事实模式,再转为受约束的事实文本并触发知识库,生成可解释、可执行的蜂群检查报告。系统基于开源 FAIRHiveFrames-1K 数据集构建,并额外发布将图像事实与文本解释互相对应的 FAIRHiveText-1K 数据集,便于后续基于 LLM 的研究。

  17. arXiv · cs.CL43

    询问“导演看到什么”会改变视觉语言模型的选择

    一项 arXiv 研究显示,在 Director Task 中,先询问模型“导演能看到哪些方块”再让它执行“选最大方块”的指令,会使 GPT 六个模型选择被遮挡方块的比例上升 12 至 88 个百分点,Qwen3.8-27B 上升 17 个百分点,尽管模型大多能正确报告导演视角。原因在于该问题改变了模型对请求的解读方式;当提示词明确说明导演所知所指时,正确报告与误选隐藏方块同时出现的比例不足 1%。作者提出仅差这一问的成对提示词设计,作为任何视角采纳基准可用的无问题基线。