跳到正文
  1. arXiv · cs.CL54

    arXiv 论文:用自主进化优化推理程序提升 VLM 科学图表分析准确率

    论文提出在冻结的 VLM 外部搜索推理程序,借鉴 AlphaEvolve 的自主进化思路,由 LLM judge 依据训练题失败案例迭代改进代码。在 3 个 VLM 和 4 个科学图表基准上,描述性问题的精确匹配准确率平均从 16.6% 提升到 41.3%,单次最大提升 55.2 个百分点,进化后的程序还比基线快 3.8 倍。

    推荐理由:论文说明相当一部分 VLM 图表问答错误来自推理管线而非模型本身,不改权重、只进化推理程序即可大幅提分。

  1. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  1. arXiv · cs.AI54

    arXiv 论文:用 Gemini 3.8 Flash 零样本筛查低分辨率热成像跌倒视频

    论文将 Gemini 3.8 Flash(temperature 0)作为事件触发跌倒筛查器的决策端,零样本判定 32x24 公开热成像数据集中的短片段:438 次摆拍跌倒中被叫出 67%(留出受试者 69%),499 个非跌倒窗口无一误报。在 160x120 有人居住房间 76 小时录音中,395 个日常片段零误报,9 次可见摆拍跌倒捕获 4 次;删除提示词中一句关于离开视野的警示后,敏感率在家用场景升至 9/9,但会把故意躺下误判为跌倒。8x6 像素下敏感率降至 34%,而两个传统检测器在实验室近乎全中却在家庭场景每天误报 14.2 和 23.9 次。作者公开了帧级跌倒标注和全部模型回答。

    推荐理由:论文用真实部署口径实测多模态 LLM 做热成像跌倒筛查,给出了敏感率与误报数据,并指出提示词一句话对结果的显著影响。

  2. arXiv · cs.AI54

    arXiv 论文揭示企业文档摄取中格式线索的静默丢失

    arXiv 论文(arXiv:2610.30026)指出,主流文档转换器会丢失作者通过排版编码的含义,导致企业 Agent 自信地答错而非明显不完整。基于 76 份真实政策文档的任务上,格式盲摄取使 micro F1 从 0.690 跌至 0.150(docling)和 0.075(纯文本),差距在两个厂商的六个回答模型上复现;span 级 leave-one-out 将损失定位到高亮(+0.302)和颜色(+0.262),6,460 份文档中 32.8% 带有刻意颜色或高亮。结论是可靠性取决于摄取而非推理,修复方式廉价且可测量。

    推荐理由:研究用 76 份真实政策文档量化文档摄取层丢失格式线索的程度,并给出低成本可测的修复方向,对 Agent 构建者有直接参考价值。

  1. Hugging Face Blog53

    IBM 发布 Granite Speech 5.0 系列语音模型,含新增 2B 及两款更新版本

    IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。

    推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。

  1. Hugging Face · 趋势模型58

    FastVideo 发布 FastH3 Omni 的 ComfyUI 版 BF16 与 INT8 ConvRot 模型

    FastVideo 在 Hugging Face 发布 FastH3 Omni 最终版的 ComfyUI 就绪权重,提供 BF16 和 INT8 ConvRot 两种扩散模型,可从提示词与有序图像、视频、音频参考生成视频及同步音频。部署需搭配 qwen3vl_32b 文本编码器和视频、音频 VAE,采样 8 步、guidance 1.0、视频 shift 12.0、音频 shift 3.0,参考输入用 <Picture 1> 等标签;NVFP4 文本编码加速需 Blackwell 硬件。模型由 FastVideo 与 Nuva Lab 合作开发,权重遵循 MiniMax-H3 Community License Agreement。

    推荐理由:原文给出完整文件清单、采样参数和不同硬件的部署路径,想本地跑 ComfyUI 视频加音频生成可以直接照做。

  2. arXiv · cs.CL56

    OpenVLHarness:结合多模态记忆的视觉智能体工具使用框架

    论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。

    推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。

  3. Ollama Blog52

    Cloudflare 27B 多模态决策模型 Clef 上线 Ollama,本地与云端均可运行

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来,以 Apache 2.0 协议开源,支持文本、JSON 与图像输入,可一次读取输入并同时对所有问题的答案打分,兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index,在 Jev benchmark 套件多数项目上超过 Jev,例如 BFCL case exact 98.47 对 95.75;43 个评测的延迟中位数为 209.3ms(Clef-flash 为 38.8ms)。

    推荐理由:官方发布了多模态决策模型 Clef 的完整基准与延迟数据,读者可以直接对比它和 Jev 等模型在各场景的实际表现。

  1. arXiv · cs.CL53

    Muse Glimmer 30B 端侧智能体模型论文发布,Apache 2.0 开源

    论文介绍 Muse Glimmer,一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型,集多步推理、工具调用与失败恢复于一体,支持文本与图像输入,训练数据覆盖一百多种语言,量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B,模型以 Apache 2.0 许可发布。

    推荐理由:论文给出30B级端侧Agent模型在同尺寸模型上的基准对比,对关注本地部署智能体的人有参考价值。

  1. arXiv · cs.AI65

    四个 Gemini 4 Argon 智能体自主通关 Minecraft

    研究者将四个 Gemini 4 Argon 智能体放入沙盒化的 Minecraft 生存世界,目标是击败末影龙,每个智能体通过开源库 Mineflayer 控制一名玩家,靠游戏内聊天和共享记忆协调,没有人类分配角色或编写游戏逻辑。团队从随机生成的 Easy 难度世界出发,编写了 2,783 个程序,死亡 605 次,用 27 小时 14 分钟击败了末影龙。作者称这是据其所知首次由 AI 智能体仅用标准 Mineflayer 库、无预探种子等人类专用工具完成的端到端自主通关,论文还描述了分工、知识共享、互相恢复物品等策略与结果局限。

    推荐理由:论文给出了完整运行数据与协作策略描述,读者可以据此了解多智能体长时程自主任务的实际做法和局限。

  2. Hugging Face Blog75

    Meta 发布开源权重多模态 MoE 模型 Muse Spark Open,约 816B 参数、42B 激活

    Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M token。模型针对 agentic coding 训练,可读代码库、写代码、调试并调用工具;官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方,BF16 权重约 1.5 TB,NVFP4 版可跑在单节点 B200 上,并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。

    推荐理由:官方博客给出完整架构参数与多套部署配方,从 llama.cpp 量化到 TRL 微调实测数据都有,可按需选路径复现。

  1. Hugging Face Blog73

    Apertus 1.5 发布:8B 与 70B 开放权重模型新增多模态与思考模式

    Project Apertus 发布 Apertus 1.5,在 8B 和 70B 两代模型基础上以继续预训练方式加入图像与音频理解、可选思考模式,上下文窗口扩至 262,144 tokens(4 倍),权重于 2026 年 7 月 24 日以 Apache 2.0 许可上传 Hugging Face。8B 与 70B 分别新增 4T 和 2T tokens 训练数据,多模态通过 Emu3.5 图像 tokenizer 和 WavTokenizer 以 early-fusion 方式并入词表,架构不变;后训练含 SFT、RLVR、DPO 与 SDPO,并公开中间检查点、数据混合与技术报告(arXiv:2610.15542)。

    推荐理由:官方发布说明完整公开了四阶段预训练、五阶段后训练流程与中间检查点,读者可复现各阶段对模型行为的影响。

  2. arXiv · cs.CL58

    PrismaCoder:基于分解式评分标准合成的开源多模态代码模型发布

    Qiushi Sun 等人在 arXiv 发布论文,提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准,同一 rubric 既筛选监督语料又驱动强化学习;据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集,两个模型在开源中大幅领先并接近闭源系统,代码与数据已开放。

    推荐理由:论文把渲染正确性拆成可核查的评分标准,同一套 rubric 既筛数据又当强化学习奖励,方法可迁移到其他多模态任务。

  3. arXiv · cs.CL53

    SYNC:无需训练即可实现跨语言模型间的事实通信

    Xin Li 在 arXiv 发布 SYNC(Symbol-Indexed Neural Communication),一种免微调、免学习翻译器的词索引接口,让异构语言模型通过共享词表索引交换事实。发送方仅凭描述从共享词表选词并发送索引,接收方用自己的词方向向量将事实写入隐藏状态;在 3 个发送方与来自 5 个模型族的 9 个接收方上,新场景四问成功率 72.0-98.3%,最高比中层写入高 96 个百分点,两个最大接收方与纯文本持平;任务无关探针提前预测可用写入深度 45/45 命中,新布局下逐条事实消息保持 89.6-100% 成功率。项目页、代码与数据已公开。

    推荐理由:论文给出跨架构模型间免训练通信的具体接口设计和多组收发模型组合的实测数据,方法可复现且代码数据已开放。

  1. Google · AI 博客74

    Google 发布 Gemini 4 Argon,全渠道开放并公布基准表现

    Google 发布 Gemini 4 Argon,面向开发者、企业和消费者全球开放,API 定价为每百万输入 token 2 美元、输出 token 10 美元,支持 1M 输入输出 token 上限。模型在 Vals Index 排名第一,ERQA 具身推理基准得 87%,在 Antigravity 中使智能体代码提交量增加超 35%、回滚减少近三分之一;安全方面对抗性违规减少近 2 倍,Gray Swan 间接提示注入基准下 15 次自适应攻击成功率降至 0.7%。

    推荐理由:官方发布给出工程、科学与机器人三线的实测数据,可用于评估该模型在长程复杂任务上的真实表现。

  1. Hugging Face · 趋势模型62

    Black Forest Labs 开放 FLUX 3 Image Klein 5.6B 文生图与图像编辑权重

    Black Forest Labs 在 Hugging Face 开放 FLUX 3 Image Klein 权重,这是一个 5.6B 参数的文生图与图像编辑模型,支持最多 10 张参考图,以 Qwen3-VL-4B-Instruct 作为文本编码器。仓库含 BF16 蒸馏版及 FP8、NVFP4 量化变体,B200 上 1024x1024 推理峰值显存 BF16 为 31 GB;蒸馏版 16 步采样供自托管与 BFL API 使用,未蒸馏 Base 版用于微调与 LoRA 训练。模型采用 FLUX Kommunity License v.1.0,年收入低于 500 万美元的 Qualifying Users 可商用输出。

    推荐理由:模型卡同时给出蒸馏与未蒸馏两个检查点的定位、显存占用和许可证门槛,方便自托管者判断选哪个版本。

  1. Hugging Face · 趋势模型64

    NVIDIA 发布 Nemotron 3.5 Super VL 120B-A12B 的 NVFP4 量化版

    NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本,这是一个 120B 总参数、12B 激活参数的视觉语言模型,采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器,支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成,模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果,并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置,许可证为 OpenMDW-1.1,可商用。

    推荐理由:模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置,读者可以据此评估量化损失与所需显存门槛。

  1. Hugging Face · 趋势模型56

    OpenMOSS 发布 MOSS-Image-SFT 文生图模型

    OpenMOSS 发布 MOSS-Image 系列的监督微调文生图模型 MOSS-Image-SFT,由 MOSS-Image-Base 微调而来,示例显示 SFT 版文本分组更清晰、白板排版更有序。模型支持自然语言提示词、标签序列和 JSON Layout 控制文字位置与物体排布,权重与推理代码以 Apache 2.0 许可开源,VAE 采用 FLUX.2 small decoder,并提供 ComfyUI 插件和 Prompt Enhancer skill。

    推荐理由:官方给出了从 Base 到 SFT 的同图对比和完整推理配置,读者可以直接复现文本排版更整齐的文生图效果。

  2. Hugging Face · 新模型:uncensored52

    SargeDev 发布 JEV-27B-VL-Uncensored-NVFP4 量化模型

    SargeDev 在 Hugging Face 发布 JEV-27B-VL-Uncensored-NVFP4,将 AutoTrust 的 System-1 决策模块合并进 huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 底座(layers 18-51 ablated,视觉塔不动),再做 NVFP4 量化(文本塔 W4A4 + FP8 down_proj,视觉塔保留 bf16)。在 27,695 行测试集上,noul AUROC 从 0.9961 降至 0.992,choice 与 score top-1 分别下降 3.4 和 7.6 个百分点,未达原厂门槛;温度重校准后 ECE 全部达标,10 条提示词测试拒绝率为 0.0。

    推荐理由:原文给出换用 abliterated 底座前后在 27,695 行测试集上的指标对照,能看清去对齐替换底座对决策能力与校准的实际代价。