SGLang 为 Meta 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 推理支持。该模型共 816B 参数、约 42B 激活、支持 1M token 上下文,权重提供 NVFP4 和 BF16 两种格式。
新闻、仓库与研究,按时间排列。
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 推理支持。该模型共 816B 参数、约 42B 激活、支持 1M token 上下文,权重提供 NVFP4 和 BF16 两种格式。
Hugging Face 发布 Granite Switch 4.1(Granite-Switch-4.1-8B 与 -30B),将 Decision aLoRA、Guardian aLoRA 和 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进单一模型,VRAM 占用与基座模型相当。得益于 cache-efficient Activated LoRA 与 vLLM 低秩适配推理加速,模型可在对话、决策与语音请求间高速切换;用户也可用 Granite Libraries 适配器自行组合模型,团队还计划在 Mellea 中发布 Adapter SDK。
Meta 的 Muse Spark Open 开源权重模型即日起在 Together AI 上线,Together AI 为 Day 0 发布合作方。该模型主打长时程智能体编码,具备 1M token 上下文窗口,支持文本、图像、音频、视频多模态输入与计算机使用,并在行动前输出意图说明。
Meta 发布开放权重模型 Muse Spark Open,现已在 OpenRouter 上线,定位为面向编码与智能体工作的美国最强开放权重模型。模型总参数 816B、激活 42B,支持 1M token 上下文窗口,原生多模态,支持图像、视频、音频和 PDF 输入,OpenRouter 定价为输入 $1.25/M、输出 $4.25/M。
推荐理由:原文给出了参数量、激活规模、上下文窗口和 OpenRouter 定价,读者可以直接评估该开放权重模型的部署成本。
Liquid AI 发布闭源多模态决策模型 d1-ultra,可在单次前向传播中读取文本、图像或两者,直接输出校准概率而不生成 token。官方称其在 112 项评测中超越 d1 和 Jev 1.14,在 Artificial Analysis Decision Index 上领先其他决策模型至少 8 分。模型现可通过 Liquid AI API 使用,价格为每百万输入 token $0.042,Vercel 和 OpenRouter 上架计划中。
Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M token。模型针对 agentic coding 训练,可读代码库、写代码、调试并调用工具;官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方,BF16 权重约 1.5 TB,NVFP4 版可跑在单节点 B200 上,并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。
推荐理由:官方博客给出完整架构参数与多套部署配方,从 llama.cpp 量化到 TRL 微调实测数据都有,可按需选路径复现。
FLUX 3 Image Klein 开放权重发布,是一个 5.6B 的文生图与图像编辑模型。它接受提示词和最多 10 张参考图并输出一张图,文生图、单参考图编辑和多参考图合成走同一模型,文本编码器为 Qwen3-VL-4B-Instruct,权重在 Hugging Face 上提供。
同一新闻,精选展示《Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers》
BMO 是一个专有 AI 聊天应用与智能体工作区,通过 Server-Sent Events 逐 token 流式输出,支持 Markdown、代码块、KaTeX 数学公式渲染、图像生成、文档解析与语音交互。模型路由可在 Mistral AI 驱动的 Stanza 2.5、Nexos 3.0 深度推理和 Iris 1.0 图像生成间切换;后端为 Flask 网关,验证 Supabase JWT 并将推理路由至 NVIDIA 端点,前端使用无构建工具的原生 ES modules。
Meta 发布开放权重模型 Muse Spark Open,定位为编码与 Agent 任务,支持长程任务、复杂软件工程和多步推理。
同一新闻,精选展示《Meta 发布开源权重多模态 MoE 模型 Muse Spark Open,约 816B 参数、42B 激活》
可灵(Kling AI)宣布 Kling 4.0 正式全量开放,用户可通过 kling.ai 全新创作界面使用,并新增 MCP 和 CLI 接入以融入视频创作工作流。即将推出 4K 和 1080p 的 10-bit HDR 视频输出,以及面向企业客户和开发者的 API 访问。
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB,一个面向本地日常智能体任务的开源权重视觉语言模型,采用原生 2-bit 量化(IQ2,量化感知训练)将 74B 总参数(9B 激活)压进 24GB 显存。架构为 Mamba-2 与 Transformer 混合加 LatentMoE,配 C-RADIO v4-H 视觉编码器,支持文本、图像和视频输入,上下文最长 256K tokens,可通过 vLLM 部署在 A100、H100-80GB 或 Blackwell 上,并支持经 DFlash 的 LiLiCorr 投机解码。许可证为 OpenMDW-1.1,可商用;GGUF 权重已上架 Hugging Face。
推荐理由:原文给出了参数结构、量化精度、显存占用和部署硬件等具体规格,读者可以据此评估本地跑智能体任务的可行性。
Project Apertus 发布 Apertus 1.5,在 8B 和 70B 两代模型基础上以继续预训练方式加入图像与音频理解、可选思考模式,上下文窗口扩至 262,144 tokens(4 倍),权重于 2026 年 7 月 24 日以 Apache 2.0 许可上传 Hugging Face。8B 与 70B 分别新增 4T 和 2T tokens 训练数据,多模态通过 Emu3.5 图像 tokenizer 和 WavTokenizer 以 early-fusion 方式并入词表,架构不变;后训练含 SFT、RLVR、DPO 与 SDPO,并公开中间检查点、数据混合与技术报告(arXiv:2610.15542)。
推荐理由:官方发布说明完整公开了四阶段预训练、五阶段后训练流程与中间检查点,读者可复现各阶段对模型行为的影响。
Reddit 用户转发 NVIDIA Nemotron-3.5-Super-VL-120B-A12B 模型家族发布的消息。标题显示该家族包含 base、NVFP4、BF16 版本以及 LiLiCorr 投机解码变体。
研究者推出 Read-Parse-Describe 统一文档解析数据集,要求模型对页面图像输出含边界框、语义标签、阅读顺序、识别文本及视觉元素替代描述的布局元素列表。数据集基于 2,402 份文档,含 18,163 页、125,218 个布局元素和 11,338 个视觉实例,并提出可插拔的空间感知增强器。实验显示现有端到端 VLM 与流水线解析器仍难以同时恢复阅读顺序与视觉语义,增强模型取得较强联合表现,数据集与代码将公开。
arXiv 论文提出 ActiveEvidence 框架,将多模态智能体的主动证据获取建模为决策可认证问题,用反事实证据交互图(CEIG)表示证据价值与条件伤害,并通过 ε-决策证书判断未解析项是否可能改变所选动作。在 640 个案例(384/128/128 划分)上,控制器达到任务分 0.842、grounding F1 0.816、证据召回 0.873、1.74 次接受调用、286.5K visual tokens 和 742ms p95 延迟;证书重放显示 0.992 动作一致率与 0.988 证书率,每决策仅评估 19.6 而非 191.4 个昂贵交互项。
一项研究开发轻量级 CNN,将马铃薯叶片分为健康、早疫病和晚疫病三类。模型基于 PlantVillage 数据集 2,215 张图像训练,测试准确率 98.66%,在埃塞俄比亚 Banja 采集的 247 张田间图像上达到 90.28% 准确率。该模型仅含 446,787 个可训练参数、约 1.70 MB,每训练 epoch 平均 5.58 秒,快于 VGG16 的 9.96 秒和 MobileNetV2 的 7.68 秒。
一项 arXiv 研究提出考虑语言重复性的联合扩展规律,刻画活跃参数量、每语言训练 token 数、专家数与语言覆盖之间的关系,基于 64 个预训练配置的 26,300 条逐语言 loss 观测拟合,预测误差较最强基线降低 28%。在相同活跃参数与每语言 token 数下,32 个专家将语言从 12 扩展到 200 时的 loss 损失较稠密模型减少 83%。
论文提出 AFFIRM(Affine Fields for Interface Repair across Modalities),在知识检查点冻结的前提下,通过先学习并冻结基础修正、再叠加查询级修正的可拆卸算子,单次前向修复语音访问。在 PopQA 平衡合成语音上与 SALSA、低秩 ReFT 相比未显出明确优势;在 SLUE-SQA-5 录音问题上,PopQA 拟合的 AFFIRM 算子免重训迁移,ROUGE-L 较 No Repair 基线提升 0.0941。
Anuvani-LID 是一个 115M 参数的 conformer 语言识别模型,基于 54,643 小时印度语音训练,覆盖 22 种印度语言及印度口音英语。在 102 条件基准的 37 个条件下,其平均 macro-F1 达 0.914,比 Gemini 3.5 Flash 高 5.2 分,1 秒音频上领先 24 分,23 种语言得分 0.897,ECE 校准误差 0.008。
研究者推出 CSWBench,通过 Focused Narrative 与 Extended Narrative 两种设置评估 LLM 在创意写作中的语境敏感语码转换能力,并提出含事件级与全文级评估的 CSWEval 框架。对 12 个 LLM 的测试显示,模型具备语码转换能力但表现不均,多语言文学整合上的模型差异最明显。
SCOUT 是一个级联双轨检索框架,先用轻量级检索器筛选候选池,再用多向量重排器精排,并通过跨模态查询精炼融合语义信号。在 4 个基准上对比 6 个基线,查询延迟最高降低 80.7x(平均 28.8x),NDCG 超出 SOTA 最多 7.8%。
研究者提出 semCER,在保留 CER 对齐与分母的基础上,由 LLM judge 为每个字形编辑赋予严重度权重,无需分词。该指标在英语、越南语、中文上逐编辑追踪读者评分,并在 CER 与 semCER 分歧的样本上更常获得读者支持;团队发布了 6100 万条 judged edits、汇总读者评分及蒸馏后的 scorer。
Qiushi Sun 等人在 arXiv 发布论文,提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准,同一 rubric 既筛选监督语料又驱动强化学习;据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集,两个模型在开源中大幅领先并接近闭源系统,代码与数据已开放。
推荐理由:论文把渲染正确性拆成可核查的评分标准,同一套 rubric 既筛数据又当强化学习奖励,方法可迁移到其他多模态任务。
arXiv 论文指出多模态大语言模型(MLLM)机器遗忘评测存在三大陷阱:缺少 heldout 评估区分概念级遗忘与实例级过拟合、依赖合成微调知识而非预训练真实知识、以及用相同训练设置不公平地比较不同遗忘方法。作者提出基于真实知识的 GEMMU 基准,重新评估代表性遗忘方法后发现显著泛化差距,并挑战了此前基准的结论。
Xin Li 在 arXiv 发布 SYNC(Symbol-Indexed Neural Communication),一种免微调、免学习翻译器的词索引接口,让异构语言模型通过共享词表索引交换事实。发送方仅凭描述从共享词表选词并发送索引,接收方用自己的词方向向量将事实写入隐藏状态;在 3 个发送方与来自 5 个模型族的 9 个接收方上,新场景四问成功率 72.0-98.3%,最高比中层写入高 96 个百分点,两个最大接收方与纯文本持平;任务无关探针提前预测可用写入深度 45/45 命中,新布局下逐条事实消息保持 89.6-100% 成功率。项目页、代码与数据已公开。
推荐理由:论文给出跨架构模型间免训练通信的具体接口设计和多组收发模型组合的实测数据,方法可复现且代码数据已开放。
研究者提出候选集视觉定位(CSVG)任务,估计与对话上下文一致的目标对象集合,并发布跨对话轮次评估候选集变化的 CandVG benchmark。对视觉语言模型的评测显示,视觉定位能力更强并不必然带来更好的 CSVG 表现,模型难以预测完整候选集,主要败在候选生成不足和早期轮次过早收敛到小集合;通过专为 CSVG 设计的指令可部分缓解大规模模型的这一局限。
研究提出 ARP-CD,一种免训练的对比解码框架,利用答案预测位置上视觉 token 的注意力质量,对语言模型输入的视觉隐藏状态做有界梯度更新,在表示空间直接构造对比负样本。在 4 个 Video LLM 和 4 个 benchmark 上的实验显示,ARP-CD 在多数模型-基准组合中优于代表性免训练基线,减少幻觉的同时提升整体视频理解能力。
研究者提出 PRISMATIC,一种基于黑板架构的多智能体系统,由代表不同工作流角色的专用智能体协作生成并优化治疗方案,并引入 DSWA 长期权重调整与 DFPC 短期分歧校准两种自适应协调机制。在 MIMIC-IV 患者记录上的实验显示,相比强 LLM 基线,该系统显著减少药物冲突、提高处方覆盖率和治疗一致性。
研究者推出多模态基准 LabOPBench,包含 756 道经独立评审的专家题,覆盖有机合成与材料科学,按题目专属评分规则评估。8 个多模态模型整体归一化得分为 28.8-45.8%;在 100 题对照子集上,最强模型平均超过本科生但低于博士生。专家分析发现 Evidence Misreading 与 Evidence-Decision Conflict 是主要错误模式。
论文提出 DeltaStreamer,一个受人类观察、记忆与调查方式启发的智能体式流式视频理解框架。该框架结合变化感知记忆、查询驱动的规划与定向回放取证,在查询到来前持续记录视觉变化,到来后检索记忆并回放历史帧以补回遗漏证据。在 OVO-Bench 和 StreamingBench 上分别取得 66.07% 和 59.53% 的总分,超过代表性方法。
开源群组账单分摊应用 Splitter 发布,使用 Nebius Token Factory 上的 Qwen/Qwen3.8-27B 视觉模型读取收据、PDF 发票、付款截图和手写账单,结合用户口述的付款说明自动生成公平分摊方案。应用分两阶段处理:视觉模型提取账单明细,推理阶段调用四个计算器工具核对每个数字,服务器再用整数最小单位和最大余数法重算,确保余额精确到分。用户可自托管,需自备 Nebius API key 和免费 Novu 账户,数据存于本地 SQLite 文件。
OpenBMB 的 MiniCPM-V 4.7 演示显示,35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行,可读现实标识、理解复杂文档并做视觉推理。关键在 LES(Lookahead Expert Scheduling),通过预测并预加载专家缓解 MoE 推理瓶颈;团队还发布了面向低资源设备的 1B 版本,以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub:https://github.com/OpenBMB/MiniCPM-V
推荐理由:帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路,适合关注多模态模型本地部署的读者。
GitHub 仓库 minimax-h3-studio 公开了一套本地全自动视频生产管线,用 MiniMax-H3 全模态模型生成画面与声音,Remotion 程序化合成包装,ffmpeg/Python 负责超分、混音与质量门禁,全部跑在一台 RTX 5090 工作站上。架构分编排(Claude Code)、AI 生成(ComfyUI + MiniMax-H3)、合成渲染(Remotion 4.0.529)、数据(timeline_v2.json zod 契约)、后期与质量六层,含四个生产项目示例;附关键约定如 H3 帧长必须 17k+5、音频母带走 WAV 中转(−14 LUFS)、渲染定稿参数 x264 crf18 + bt709。
推荐理由:仓库公开了从生成到成片的全链路配置与关键参数约定,读者可以对照搭建自己的本地短剧生产线。
开源项目 Honest Lister 用开放权重视觉模型为 eBay/Vinted/Etsy 卖家生成可辩护的商品 listing:每个属性返回值、置信度与视觉证据,经 evidence ledger 分为 observed/inferred/unverified/contradicted 四级,品牌、尺码等高风险属性绝不仅凭推断写入。在 7 件人工标注样本的 Honesty Benchmark 上,无依据断言从 baseline 的 1.14 条降至 0,同时保留 96% 的真实属性;定价基于可比成交区间,可比数据不足时会弃权。本地推理每条 listing 成本约 0,图像不出本机,MIT 许可。
Mistral 发布零样本预测时间序列基础模型 Timestral,含 5M、28M、123M、209M 四个参数版本,本次为 209M 检查点。模型支持单变量与多变量预测、协变量及 21 个分位数的概率预测,上下文最长 32,768 步、单次前向可预测 1,024 步。Timestral-209M 在 GIFT-Eval、TIME 和 fev-bench 三大基准上取得 SOTA 零样本精度,源码已在 GitHub 开放,采用 Modified MIT 许可证。
研究者提出 CREATE,一个包含 155 道视觉远联想测试(RAT)题目的半自动构建基准,要求模型从三张看似无关的图像中找出潜在联系。团队通过 25 人的人类研究验证基准质量,并评估 11 个 VLM,结果显示多数 VLM 在该任务上表现不及人类,其联想能力依赖文本提示概念,不能普遍迁移到视觉谜题。
Fabian Gröger 在 arXiv 论文(NeurIPS 2026 camera-ready)中提出 PORTAL,一种无需配对图文数据与梯度优化的免训练 projector 初始化方法。研究发现仅用 10 到 20% 数据训练 projector 即可恢复大部分下游性能,且不同数据集训练的 projector 可线性插值,表明该阶段主要做粗对齐。PORTAL 通过在共享主子空间上计算视觉与语言特征高斯近似间的最优传输映射跳过 projector 训练,在 6 个 LLM 骨干、2 个视觉编码器和 16 个基准上匹配 558k 图文对训练的标准流程,在 7 组设置中 3 组超越该流程,其余 4 组平均达到其 98% 的分数。论文链接:https://arxiv.org/abs/2610.18598v1
一项 arXiv cs.CL 研究剖析 LLM 在动态诊断中失败的原因,追踪其从证据识别、利用到下游诊断更新的全过程,除诊断准确率外还考察证据覆盖率、轨迹动态、概率与信息熵。研究发现 LLM 虽能诊断完整的静态病例,但难以主动获取对诊断关键的证据,核心挑战从是否具备临床知识转向能否在动态诊断中识别并有效利用正确证据。
一项提交至 ICASSP 2027 的研究提出直接从语音中检测语码转换(CS)的轻量方法:利用单语录音识别预训练语音编码器中的语言选择性隐层维度,并聚合其帧级激活做出预测。在 CS-FLEURS 的 14 个语言对上,Whisper-small 编码器平均 F1 达 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751,可用于筛选多语训练语料。
研究者从专业人道主义灾情报告中提取 15 槽位信息框架,评估 121 份人工报告与 261 份 LLM 生成报告。在 Cyclone Idai 上,gemini-3.7-flash 评审下最佳机器报告得分 0.827 略高于人类上限 0.821,但差异在统计上不可区分,且在 gpt-5.6-luna 下不复现;机器报告仅复现 5.4-11.0% 的当日官方数据,且发布来源信息(日期、机构、权威性)均未达到专业报告覆盖水平。