新闻、仓库与研究，按时间排列。
研究者提出 OACap（Observation-Adaptive Video Captioner），一个以描述为中心的智能体，将缺失信息转化为定向观察请求，借助时空工具获取证据并迭代校验和修订描述，在通用视频理解基准上使用固定纯文本读取器即可持续提升性能。论文还发布 FSCap-Bench 诊断描述保留的信息，其 CSFS 分数在 93.0-98.3% 的有效描述对上对四种受控扰动响应符合预期，CSRS 分数则通过 video-caption-video-caption 往返度量语义保留度。
研究者推出 Omnilingual-MsASR 基准，评测全模态大语言模型在长篇多说话人语音识别（MsASR）上的表现，覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景，并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈，tcpWER 频繁超过 100%，细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。
开源本地 AI 平台 Vortelio 发布，用单个 Go 二进制在本机运行 LLM、Stable Diffusion/FLUX.1 图像生成、Whisper large-v3 语音转写、Kokoro TTS、WAN 2.1 视频生成、TripoSR 3D 生成，并通过 CrewAI 编排多智能体工作流，无需云端、API 密钥或订阅。平台提供 OpenAI 和 Ollama 兼容 API，可无缝替换现有 SDK 代码，还内置类似 Claude Code 的终端编程智能体 vortelio code。
GitHub 开源项目 Tiny Chat 是一款轻量级聊天应用，在同一界面统一支持 Claude、GPT、Grok、DeepSeek 等模型，提供原地编辑、对话分支、透明推理与工具调用等功能。所有模型共享同一套对话和记忆，可随时切换模型和提供商；支持附加 GitHub 仓库、图片、视频、PDF 等多模态内容，并可生成图像、视频和音频，支持定时提醒。构建版本覆盖 Windows、macOS、Linux、iOS 和 Android。
Google Research 在 JAMA Network Open 发表前瞻性多中心研究，评估基于“盲扫”超声的 AI 孕周评估模型。该研究重点考察模型在不同临床环境和设备上的泛化能力，其准确性与专家操作相当。
InclusionAI（蚂蚁集团支持）随 Ming-3.0-Audio-Tiny 一同发布了 0.5B 参数的 Ming-3.0-TTS-0.5B 语音合成模型。该模型支持语音克隆、语音设计、7 种语言以及情感与风格控制。
IBM 在 Hugging Face 发布 Granite Speech 5.0 系列：新增 granite-speech-5.0-2b 语音语言模型，并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置，英文平均 WER 5.06%，在开源权重 ASR 模型中排名第 2；Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx；4.1 2B Plus 说话人归因与时间戳更准，长语音 WER 降 24%。三款模型均为 Apache 2.0 许可，支持 Transformers、vLLM、llama.cpp 等。
推荐理由：官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据，读者可据此挑选适合的语音模型。
/u/No-Dragonfly6246 发布了优化版 Cosmos3-Edge，用 INT4 量化让 BF16 装不下的 8GB Orin Nano 也能运行。Orin Nano Super 8GB 解码速度 152.5 tok/s，VLM 峰值内存低至 3.3GB；五个 VLM 基准分数从 65.56 降至 65.20，当前已发布 VLM 部分，扩散模型与 robot policy 部分即将添加。试用地址 https://embedl.com/nvidia/cosmos3-edge/orin-nano-super
推荐理由：作者给出了量化后各设备的解码速度、峰值内存和五个 VLM 基准的前后分数，部署收益可直接对照验证。
Microsoft 在 GitHub 发布 multi-modal-rag-with-colpali 仓库，提供基于 Azure Kubernetes Service 的多模态 RAG 方案，将文档页作为图像处理并生成 token 级嵌入。默认使用量化版 TomoroAI/tomoro-ai-colqwen3-embed-4b-awq（4B 参数、320 维嵌入），由 vLLM 在 12 GB A10 GPU 上推理，检索用 Qdrant 向量数据库。方案包含事件驱动的文档处理流水线、Bicep 基础设施模板、Helm charts 及 Agent API 和 UI。
OvisOCR3 基于 Qwen3.5-0.8B，以 Apache 2.0 开放，附 vLLM 推理示例。新增结构化 JSON 输出（含边界框与元素类别）、按字段或 JSON 模板的关键信息抽取、图表描述与流程图 Mermaid 输出，以及先解析再用同一模型合并相邻页表格片段的跨页表格重建。官方报告 OmniDocBench v1.6 得分 96.74、MDPBench 88.80（由 69.00 提升）、PureDocBench 82.31（由 75.10 提升）。
augmem 开源了 cortext.cpp，一个 C++20 本地多模态记忆引擎，可将文本、音频、图像信号存入 SQLite 并在后续调用时返回相关记忆的小型上下文包，面向长时运行的助手与实时应用，避免把整段历史窗口回传给 LLM。文本、音频、语音和图像共享 AIST-87M GGUF 检索空间，需搭配 0.4 MB 的 late-interaction 重排器 AIST-87M-LI.gguf；提供 Python、TypeScript、Go、Dart、WASM 绑定及 CLI。
GitHub 开源项目 heisenberg-trainer 提供 AIOps 时序曲线工具集，覆盖时序图像生成、预处理标注、网页预览，以及基于 Qwen3.5 的多模态模型训练（GRPO / OPD / JEV）。其 JEV 判别式模型对候选选项打分做曲线分类，GRPO 则用 format、accuracy、consistency 等奖励函数训练 Qwen3.5-0.8B 输出 trend（7 类）与 recover（4 类）标签。数据共 3248 样本且类别严重不均衡，奖励采用三级梯度设计，错误标签罚 -0.2、输出 other 罚 -0.5，以避免组内零方差导致梯度消失。
Qualcomm 开源的 efficient-transformers 库将预训练 LLM 重写为可在 Qualcomm Cloud AI（AI100、AI200 等）上高效推理的优化形式，提供图变换、低精度执行、ONNX 导出、Patcher 与示例应用等能力。最新动态包括 07/2026 新增 Kimi-K2.5 视觉语言模型支持和 QEFFAutoModelForCausalLM.export() 的 dynamo ONNX 导出，06/2026 新增 Gemma4、Qwen3.6、Qwen3 VL、GLM-4.5 MoE 支持等。
MLSI（Machine Learning Structure Identifier）是一个基于 PyTorch 实现 DGCNN 的晶体结构识别引擎，以 OVITO Python modifier 形式提供。仓库含两类预训练模型：一类分类 BCC、FCC、HCP 等简单晶体结构及其熔体，另一类可区分 25 种 SiO2 相（含 alpha-quartz、coesite、stishovite 等及非晶相和熔体）。项目处于开发中，测试环境为 OVITO Pro 3.10.1 与 PyTorch 1.13.1，并提供脚本供用户训练自己的模型。
研究者提出 MOTION，一个用于社区一致性人类移动生成的多智能体框架，将移动生成形式化为动态用户-位置图生成。该框架由用户 agent、位置 agent 和全局管理 agent 组成，先用 Leiden 算法检测历史移动中的社区并提取社区条件交互先验，再由用户 agent 规划移动、位置 agent 从社区视角推断到达、管理器协调两视角并定向反思修正。在两个真实数据集上，MOTION 在个体轨迹、人口与流量分布、社区与图结构等指标上比基线至少高出 4.05%，代码已开源。
一篇入选 NeurIPS 2026 Spotlight 的论文提出，用信息分解作为统一形式框架来操作化 AI 系统中关于涌现与协同的评估。该框架区分组件独有的信息、多组件共享的冗余信息和只有组合才能获得的协同信息，并给出可证伪标准：系统行为只有在携带关于任务结果的协同信息时才可称涌现。论文将这一视角应用于注意力头、自主智能体和人机团队。
这篇论文研究用多模态深度学习从 ECG 记录和患者元数据预测 NT-proBNP，并评估其生理合理性。基于 MIMIC-IV 的回归、二分类和三分类实验显示，12 导联配置持续优于 lead II 单导联：回归 MAE 为 534.98 pg/mL（单导联）对 514.27 pg/mL（12 导联），二分类 AUROC 分别为 0.849 和 0.876。结果表明精确回归仍有挑战，但更宽浓度范围的分类效果较好；实验仍需独立数据集验证。
研究者提出 AnomalyAgent，一种用于视觉异常检测的后训练融合框架。该框架对齐异构检测器的分数与异常图，将融合建模为有限动作选择问题，用受约束的 VLM 检查高冲突样本并选择分数动作和图动作。在 MVTec AD 与 VisA 上，AnomalyAgent 相比等权融合持续提升，取得了对比融合方法中最优的 mean image AUROC 和 pixel AP。
论文提出混合框架 CoRAL，采用非对称 Planner-Executor（APE）架构：扩散语言模型 Planner 并行生成 K 条推理轨迹，大型自回归模型 Executor 择优并合成最终答案。训练中引入 Reward-Guided Denoising for CoT（RDC），将结果奖励融入扩散过程以引导目标导向推理。视觉语言基准实验显示 CoRAL 显著优于已有扩散方法，并对强 ARM 达到有竞争力的性能，兼顾效率与质量。
研究者提出 GBClaw，一个用于研究一般晶界结构与变形的智能体 AI 框架，将 LLM 与编排器、专用 agent、领域工具、仿真接口和分层记忆整合为模块化架构。该框架应用于镍中 14 个一般非对称倾转晶界，表征了界面缺陷结构并识别出多种变形模式，发现有/无次级晶界失配位错时边界滑移的剪切强度差异显著。
一项 arXiv 研究提出，大型音频-语言模型（LALM）中存在音频与文本表征对齐的共享子空间，并识别出同时表征音频与文本的跨模态神经元。研究在 3 个 LALM 和 4 类声学属性上发现不同程度的音频-文本神经元对齐。因果干预实验显示，这些神经元不仅对预测不可或缺，还可通过激活与去激活进行操控。
研究者推出 MythoSemantic，用于神话与宗教文本的比较研究。该系统利用神经语言模型将文本嵌入共享语义空间，让用户在交互界面中发现跨文化传统的语义平行关系，其嵌入片段的粗粒度几何结构与有据可查的历史传统关系相符。研究还量化了词汇重叠和专有名词对该几何结构的解释程度，系统网页与可安装包均已公开。
一项提交至 ICASSP 2027 的研究开源了 VLM-ImFreeRisk 仓库，展示在冻结医学 VLM 回答完整的图像-问题对后，仅凭问题和答案的 BiomedCLIP 嵌入做逻辑回归即可预测答案对错，在 VQA-RAD 上达 AUROC 0.77–0.79，SLAKE 上达 0.88–0.94，测试对象包括 MedGemma-4B-IT、Gemma-3-4B-IT、Qwen2.5-VL-7B/3B 和 Qwen2-VL-2B。约四分之一的测试题被五个 VLM 共同答错，且基于一个模型的错误训练的预测器可迁移检测其他模型（AUROC 0.71–0.83）。保留风险最低的 50% 答案可将精确准确率从 59/55/60/53% 提升至 81/76/91/84%。
研究者提出 AnomalyJev，一个无需 token 生成的轻量级框架，通过从异常解释中提取可验证声明并与真值标注比对，评估多模态大语言模型异常检测解释的忠实度与完整性。团队构建了包含 640 条解释、超 1,600 条专家评分的人工标注评测集。AnomalyJev 与人类标注者的一致性超过多数开源 MLLM judge，接近旗舰 MLLM judge，且运行时和资源消耗仅为其一小部分。
研究者提出 AudiPsy，一个基于证据的 omni-LLM，用于从口语心理咨询对话中评估抑郁。其采用 OAS（观察-评估-总结）范式，整合对话转录、文本与声学情绪及其不一致性进行结构化推理，并构建了合成语料 AudiPsy-Counsel 和三阶段课程训练。在 DAIC-WOZ 上表现优于专业抑郁检测方法与通用语音/omni-LLM，EATD-Corpus 上的补充评测验证了其对自然对话的适用性。
arXiv 论文首次系统综述码混合（CM）文本与语音和母语之间的双向迁移研究，按迁移方向、路径和模态建立分类体系。综述发现迁移大多是母语流向 CM 设定，反向迁移较新且主要通过对齐助力；文本与语音研究方法相通但很少互相引用。在共享语音基准上，母语数据的帮助大于新架构。
PhonoBridge 提出两阶段框架，将 EMG 信号经通道感知前端转为音素，再用 LLM 重建文本，并通过 EPGA 数据增强适配前端噪声。利用 LibriSpeech 转录生成音素-文本对扩充训练数据，无需额外 EMG 录制。在 Open Vocabulary 无声语音数据集上，PhonoBridge 达到 24.77% WER，优于此前同测试集最佳的 28.27%。
一项研究通过 SilCC 与 PixCC 两个数据集，从原创性和有效性两个维度对比人类与多模态大语言模型（MLLM）对抽象视觉刺激的联想创造力。结果显示，人类的联想描述在语义距离、熵值和相对参考词库的新颖性上均高于 MLLM。随着难度提升，SilCC 中有效性下降，PixCC 中人类逐渐从整体联想转向描述低层视觉特征。
一项 arXiv 研究借鉴儿童点数时的认知动作（逐项指点、移动物品），以无训练的 Agent 循环让 9 个视觉语言模型在 682 张图片、7 种测试条件下执行计数并留下可审计的标记轨迹。结果显示各模型精确计数范围差异巨大（R80 从 3 到 150 个点），指标记数大多不能提升准确率，但可作为串行视觉推理的审计手段：标签扰动探测表明精确指点的模型是照标签读出答案，且模型很少在看自己的标记后修正答案。
arXiv 论文提出 LatBridge，通过共享 Bridge 与共享潜在通信协议下的独立接口，让多智能体系统在替换 agent 模型后复用未变接口、选择匹配的低秩接口并仅训练缺失部分，所有模型保持冻结。在八个小型模型配置上，basic 模式平均准确率达 MATH 14.8%、ALFWorld 下一步动作预测 27.3%。accelerated 模式无需自回归生成即可构建目标输入。
该 arXiv 论文提出在客户端本地将文本转为向量，并经 55.6M 参数的训练网络变换后，再交给托管方运行冻结的 Qwen3.8-27B 模型，托管方始终收不到文本或 token id。在 1,490 道训练外的 MMLU 问题上，该变换仅损失 1.5 个百分点准确率（80.7% vs. 82.3%），同时 30.1% 的内容 token 经最近邻查找已无法还原为原始 token。
arXiv 论文提出 SMART 框架，将 ASR 语义评估转化为上下文感知的分段级后果评估，通过结构化评分标准给出后果标签并量化 Semantic Impact Error Rate（SIER）。在多数投票人工标注上 SMART 达到 0.843 F1，高于直接 LLM 判断的 0.745，且对评估模型的选择相对不敏感。配套的无参考评分标准修正方法在两个数据集上相比 w/o Rubric 基线再降低 MER 0.85-0.98 个百分点、SIER_lex 1.18-1.65 个百分点。
研究者提出物理工况引导的视觉-语言匹配方法 POC-VLM，用于工业管道系统的空化诊断。该方法将样本具体运行变量融入候选空化文本构建物理语义描述，通过时频条件文本自适应模块与声学响应对齐，并在决策层融合基于 K 近邻的物理工况先验。在三个真实空化数据集上，POC-VLM 持续优于代表性数据驱动、多模态及领域专用诊断方法，并在不同采样率、噪声水平和观测时长下保持稳健表现。
一项 arXiv 研究跟踪一个 8.4B 参数模型在日文金融文档上历经三个训练阶段的表现，在五个文本输入基准上评估后发现各阶段相互影响呈非加性：纯数学蒸馏会覆盖先前获得的金融知识，领域阶段修复多于新增内容。跳过阶段的消融虽最利于领域知识，却损失数值推理增益，因此最佳 checkpoint 取决于任务本身。
研究者推出 MMEnterprise-Bench，包含 1,613 道基于模拟协作项目中演化多模态记录的问题，覆盖证据推理、冲突消解和不可回答三类任务。对 10 个闭源与开源多模态 LLM 的评测显示，最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现吃力。增大检索预算或换用更大检索器能提升证据召回，但不一定转化为更高的回答准确率。
研究者提出 HypTI，一个在双曲空间中融合临床表格评估与 MRI 扫描的多模态痴呆检测框架。该方法用可学习 Lorentz 原型建模表格数据的层级关系，并用 ROI 引导的多尺度表征学习捕捉脑区解剖模式，再通过自适应融合模块动态整合多模态嵌入。在 OASIS-3 数据集上的实验显示，该框架相较代表性方法取得较强性能。
Meta 的开源权重模型 Muse Spark Open 在 Fireworks 上线，提供 Day-0 serverless 调用。该模型为 816B 参数 MoE 架构，每 token 激活 42B 参数，上下文窗口 1M token，主打长上下文编码与 Agent 工作。
推荐理由：给出了参数规模、激活参数和上下文窗口等关键配置，读者可据此判断该模型是否适合长上下文和 Agent 场景。
Agnes AI 发布 agnes-3.0-qwen，一款约 180B 参数（512 专家、每 token 激活 10 个）的混合注意力 MoE 多模态推理模型，采用 Qwen Community License 1.0。该模型在 τ³-Banking 位列对比组第一，Terminal-Bench 2.1 距最佳模型约一分，IFBench 上超过 GPT-5.6 Sol (Max) 和 Claude Opus 4.8 (Max)。支持 1,048,576 token 上下文、65,536 最大输出、文本/图像/视频输入、工具调用及 xhigh/medium/low 三档推理力度。
GitHub 开源项目 OrdinFlow 针对企业和医疗等机构的敏感文档处理，提供 100% 本地、可物理隔离（air-gapped）的解决方案，支持 GDPR、HIPAA 合规。它采用 Spatial ONNX OCR 与本地 Vision-LLM 的双引擎三层共识机制抑制模型幻觉，并内置基于 Set-of-Mark 视觉定位的 Agentic RPA，可自动操作缺乏 REST API 的 Windows 传统桌面软件。项目完全免费开源，可在消费级 GPU/CPU 上运行，无需 Docker/Redis。
面壁智能 MiniCPM-V 团队介绍了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术。该团队称 LES 首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码速度超过 20 token/s。