跳到正文
我的
Hugging Face · 趋势模型·· 4 天前精选AI 评分61

SenseNova 发布循环架构多模态模型 SenseNova-Loop-9B-Preview

sensenova/SenseNova-Loop-9B-Preview

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

SenseNova 在 Hugging Face 发布 SenseNova-Loop-9B-Preview,一款面向长上下文与 Agent 工作流的多模态开源模型,采用共享权重循环解码器加双流 mHC,32 层权重单次前向执行 56 层计算,总参数约 9B、推理参数约 14.6B。训练序列最长 262,144 tokens,混合注意力按每四层三线性一全注意交替;已支持 MTP 推理加速,Dspark 与 Dflash2 在训练中,权重基于 Apache License 2.0 开放。

推荐理由

架构页写清了循环解码器与 mHC 的参数复用方式,还给出了 262,144 tokens 训练长度和部署配置,便于复现。

来源:Hugging Face · 趋势模型 · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。